時価総額: $2.1973T 0.61%
ボリューム(24時間): $72.7825B 5.15%
  • 時価総額: $2.1973T 0.61%
  • ボリューム(24時間): $72.7825B 5.15%
  • 恐怖と貪欲の指数:
  • 時価総額: $2.1973T 0.61%
暗号
トピック
暗号化
ニュース
暗号造園
動画
トップニュース
暗号
トピック
暗号化
ニュース
暗号造園
動画
bitcoin
bitcoin

$64611.964678 USD

-0.05%

ethereum
ethereum

$1828.660957 USD

0.75%

tether
tether

$0.999150 USD

0.03%

bnb
bnb

$592.645433 USD

0.04%

usd-coin
usd-coin

$0.999883 USD

0.02%

xrp
xrp

$0.960349 USD

0.45%

solana
solana

$72.903899 USD

2.44%

tron
tron

$0.306197 USD

1.13%

hyperliquid
hyperliquid

$69.757500 USD

5.12%

zcash
zcash

$924.977899 USD

3.88%

monero
monero

$498.099398 USD

2.74%

dogecoin
dogecoin

$0.059001 USD

0.38%

unus-sed-leo
unus-sed-leo

$9.309707 USD

1.69%

chainlink
chainlink

$9.183937 USD

0.60%

cardano
cardano

$0.153484 USD

0.40%

暗号通貨のニュース記事

Cocomix:前脱出言語モデルへの別のアプローチ

2025/02/14 04:28

大規模な言語モデル(LLMS)を事前トレーニングするための支配的なアプローチは、次のトークン予測に依存しており、言語パターンのキャプチャに効果的であることが証明されています。ただし、この方法には顕著な制限があります。

Cocomix:前脱出言語モデルへの別のアプローチ

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.

大規模な言語モデル(LLM)は、膨大なテキストコーパスの事前販売のおかげでますます強力になっています。しかし、どのようにしてそれらの効率と解釈可能性を改善できますか? Meta AIは、トークン予測と概念ベースの推論を組み合わせた新しいアプローチである連続コンセプトミキシング(CoComix)を導入します。

Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.

ほとんどのLLMは、Clozeスタイルの次のトークン予測タスクで前提とされています。この方法は言語パターンをキャプチャしますが、制限もあります。言語トークンは多くの場合、表面レベルの情報のみを伝え、モデルがより深い推論機能を開発するために膨大な量のテキストを処理する必要があります。さらに、トークンベースの学習は、長期的な依存関係を把握するのが困難であり、計画と抽象化をより困難なタスクにします。

To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.

これらの制限に対処するために、研究者は、知識の蒸留や構造化された入力増強などの代替戦略を調査しました。ただし、これらのアプローチは、トークンベースの学習の制限を完全に解決しません。

This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.

これは重要な疑問を提起します。LLMは、トークンレベルの処理と概念的な理解を組み合わせた方法でトレーニングできますか? Meta AIは、潜在的なソリューションとして連続概念ミキシング(CoComix)を導入します。

CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.

Cocomixは、トークン予測を、前処理されたモデルの隠された状態から導き出された連続概念のモデリングと統合します。この方法では、スパース自動エンコーダー(SAE)を採用して高レベルのセマンティック表現を抽出し、トークンの埋め込みでそれらをインテリアすることにより、トレーニングプロセスに組み込まれます。

This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.

この設計により、モデルはトークンベースの学習の利点を維持しながら、より広い概念構造を認識し、処理する能力を高めることができます。トークンベースのパラダイムをコンセプトレベルの情報で充実させることにより、Cocomixは推論効率とモデルの解釈可能性を向上させることを目指しています。

Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.

Meta AIは、大規模な言語モデル(LLMS)を事前に取引するための異なるアプローチである連続概念ミキシング(CoComix)を導入します。この方法では、トークンの予測と概念ベースの推論を組み合わせて、効率と解釈性を高めます。

In a nutshell, CoCoMix operates through three main components:

一言で言えば、Cocomixは3つの主要なコンポーネントを介して動作します。

A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.

トークンベースの言語モデルは、Clozeスタイルの次のトークン予測タスクでトレーニングされています。モデルは、前のコンテキストが与えられたシーケンスで次のトークンを予測することを学びます。このコンポーネントは、標準のLLM事前トレーニングの基礎を形成します。

A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.

スパースオートエンコーダー(SAE)は、言語モデルの隠された状態でトレーニングされています。 SAEは、言語モデルの隠された状態から高レベルのセマンティック表現を抽出することを目指しています。このステップは、継続的な概念を導き出すために重要です。

The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.

言語モデルからのトークンの埋め込みは、SAEによって抽出された連続概念とインターリーブされます。このインターリーブは、各トレーニングステップで実行されます。結果として得られる組み合わせ埋め込みは、言語モデルをトレーニングするために使用されます。

This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.

このアプローチにより、サンプルの効率が向上し、モデルがトークンのトークンが少なくなると同等のパフォーマンスを実現できます。さらに、CoComixは、抽出された概念を検査および調整できるようにすることにより、解釈可能性を向上させ、モデルが情報をどのように処理するかをより明確に見ます。

Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:

Meta AIは、OpenWebtext、Lambada、Wikitext-103、Hellaswag、Pics、Square、Arc-Easy、Winograndeなど、複数のベンチマークにわたってCocomixを評価しました。調査結果は、次のことを示しています。

On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.

OpenWeBtext、Lambada、およびWikitext-103では、標準のトークンベースの方法で前提としたモデルと比較して、Cocomixで前処理されたモデルがダウンストリームタスクでより良いパフォーマンスを実現します。この改善は、マスクされた言語モデリング、クローズスタイルの次のトークン予測、質問への回答など、さまざまなタスクにわたって観察されます。

Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.

Cocomixで前処理されたモデルは、サンプル効率の改善を示しています。具体的には、標準的な方法で前処理されたモデルに匹敵するパフォーマンスを達成しますが、トレーニングトークンを4倍少なく使用します。この結果は、継続的な概念を事前削除プロセスに組み込むことで達成される効率の向上を強調しています。

CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.

Cocomixは、モデルの推論プロセスに関する洞察を提供する解釈可能な概念を抽出することを可能にします。 SAEのハイパーパラメーターを調整することにより、研究者は抽出された概念の粒度と解釈可能性を制御できます。

Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.

全体として、Cocomixは、トークンの予測と概念ベースの推論を組み合わせることにより、LLM事前化に対する代替アプローチを提示します。この方法は、根底にある次のトークン予測フレームワークを混乱させることなく、効率と解釈性を向上させます。実験結果は、この手法が、特に構造化された推論と透明な意思決定を必要とする分野で、言語モデルのトレーニングを改善するためのバランスの取れた方法を提供することを示唆しています。

Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.

将来の研究では、概念の抽出方法の改良と、連続表現を事前削除ワークフローにさらに統合することに焦点を当てることができます。

オリジナルソース:marktechpost

免責事項:info@kdj.com

提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。

このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

2026年11月18日 に掲載されたその他の記事