Capitalisation boursière: $2.1973T 0.61%
Volume(24h): $72.7825B 5.15%
  • Capitalisation boursière: $2.1973T 0.61%
  • Volume(24h): $72.7825B 5.15%
  • Indice de peur et de cupidité:
  • Capitalisation boursière: $2.1973T 0.61%
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
Top nouvelles
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
bitcoin
bitcoin

$64557.648852 USD

-0.24%

ethereum
ethereum

$1828.511433 USD

0.69%

tether
tether

$0.999046 USD

0.00%

bnb
bnb

$592.711732 USD

0.04%

usd-coin
usd-coin

$0.999776 USD

0.01%

xrp
xrp

$0.960408 USD

0.46%

solana
solana

$72.759121 USD

2.17%

tron
tron

$0.306146 USD

1.23%

hyperliquid
hyperliquid

$69.748274 USD

5.04%

zcash
zcash

$919.909518 USD

3.36%

monero
monero

$498.240193 USD

2.87%

dogecoin
dogecoin

$0.058956 USD

0.13%

unus-sed-leo
unus-sed-leo

$9.310237 USD

1.15%

chainlink
chainlink

$9.171915 USD

0.34%

cardano
cardano

$0.153379 USD

0.36%

Articles d’actualité sur les crypto-monnaies

COCOMIX: une approche différente de la pré-formation des modèles de langue

Feb 14, 2025 at 04:28 am

L'approche dominante de la pré-formation des modèles de grande langue (LLMS) repose sur la prédiction du prochain token, ce qui s'est avéré efficace pour capturer des modèles linguistiques. Cependant, cette méthode est livrée avec des limitations notables.

COCOMIX: une approche différente de la pré-formation des modèles de langue

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.

Les modèles de grands langues (LLM) sont devenus de plus en plus puissants grâce à la pré-entraînement sur de vastes corpus de texte. Mais comment pouvons-nous améliorer leur efficacité et leur interprétabilité? Meta AI introduit un mélange de concepts continu (Cocomix), une nouvelle approche qui combine la prédiction des jetons avec le raisonnement basé sur le concept.

Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.

La plupart des LLM sont pré-entraînés sur une tâche de prédiction de style Cloze. Bien que cette méthode capture les modèles linguistiques, il a également des limites. Les jetons linguistiques ne transmettent souvent que des informations au niveau de la surface, nécessitant des modèles pour traiter des quantités massives de texte pour développer des capacités de raisonnement plus profondes. En outre, l'apprentissage basé sur des jetons a du mal à capturer des dépendances à long terme, ce qui rend les tâches qui nécessitent une planification et une abstraction plus difficiles.

To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.

Pour répondre à ces limites, les chercheurs ont exploré des stratégies alternatives, telles que la distillation des connaissances et l'augmentation structurée des entrées. Cependant, ces approches ne résolvent pas pleinement les limites de l'apprentissage basé sur les jetons.

This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.

Cela soulève une question importante: les LLM peuvent-elles être formées d'une manière qui combine le traitement au niveau des jetons avec une compréhension conceptuelle? Meta Ai introduit le mélange de concepts continu (cocomix) comme solution potentielle.

CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.

Cocomix intègre la prédiction des jetons à la modélisation de concepts continus dérivés des états cachés d'un modèle pré-entraîné. La méthode utilise un autoencoder clairsemé (SAE) pour extraire des représentations sémantiques de haut niveau, qui sont ensuite incorporées dans le processus de formation en les entrelacement avec des incorporations de jetons.

This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.

Cette conception permet au modèle de maintenir les avantages de l'apprentissage basé sur les jetons tout en améliorant sa capacité à reconnaître et à traiter des structures conceptuelles plus larges. En enrichissant le paradigme à base de jetons avec des informations au niveau du concept, Cocomix vise à améliorer l'efficacité du raisonnement et l'interprétabilité du modèle.

Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.

Meta Ai introduit un mélange de concepts continu (cocomix), une approche différente de la pré-formation des modèles de gros langage (LLM). Cette méthode combine la prédiction des jetons avec le raisonnement basé sur le concept pour améliorer l'efficacité et l'interprétabilité.

In a nutshell, CoCoMix operates through three main components:

En un mot, Cocomix fonctionne à travers trois composants principaux:

A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.

Un modèle linguistique basé sur des jetons est formé sur une tâche de prédiction de style Cloze. Le modèle apprend à prédire le token suivant dans une séquence compte tenu du contexte précédent. Ce composant constitue la base de la pré-entraînement LLM standard.

A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.

Un autoencoder clairsemé (SAE) est formé sur les états cachés du modèle de langue. Le SAE vise à extraire des représentations sémantiques de haut niveau des états cachés du modèle de langue. Cette étape est cruciale pour dériver des concepts continus.

The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.

Les incorporations de jetons du modèle de langue sont entrelacées avec les concepts continus extraits par le SAE. Cet entrelacement est effectué à chaque étape de formation. Les incorporations combinées résultantes sont ensuite utilisées pour former le modèle de langue.

This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.

Cette approche améliore l'efficacité des échantillons, permettant aux modèles d'obtenir des performances comparables avec moins de jetons d'entraînement. De plus, Cocomix améliore l'interprétabilité en permettant d'inspecter et d'ajuster les concepts extraits, offrant une vue plus claire de la façon dont le modèle traite les informations.

Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:

Meta Ai a évalué Cocomix sur plusieurs repères, notamment OpenWebText, Lambada, WikiteXT-103, Hellaswag, Pics, Square, Arc-Easy et Winogrande. Les résultats indiquent:

On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.

Sur OpenwebText, Lambada et Wikitext-103, les modèles pré-entraînés avec du cocomix obtiennent de meilleures performances dans les tâches en aval par rapport aux modèles pré-entraînés avec des méthodes à jeton standard. Cette amélioration est observée à travers une gamme de tâches, notamment la modélisation du langage masqué, la prédiction de style Cloze et la réponse aux questions.

Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.

Les modèles pré-entraînés avec du cocomix montrent une amélioration de l'efficacité de l'échantillon. Plus précisément, ils atteignent des performances comparables aux modèles pré-entraînés avec des méthodes standard mais en utilisant des jetons de formation 4x moins. Ce résultat met en évidence les gains d'efficacité obtenus en incorporant des concepts continus dans le processus de pré-formation.

CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.

Cocomix permet l'extraction de concepts interprétables qui fournissent un aperçu du processus de raisonnement du modèle. En ajustant les hyperparamètres des SAE, les chercheurs peuvent contrôler la granularité et l'interprétabilité des concepts extraits.

Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.

Dans l'ensemble, Cocomix présente une approche alternative à la pré-entraînement de LLM en combinant la prédiction des jetons avec le raisonnement basé sur le concept. Cette méthode améliore l'efficacité et l'interprétabilité sans perturber le cadre de prédiction sous-joint sous-jacent. Les résultats expérimentaux suggèrent que cette technique fournit un moyen équilibré d'améliorer la formation du modèle de langue, en particulier dans les domaines nécessitant un raisonnement structuré et une prise de décision transparente.

Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.

Les recherches futures pourraient se concentrer sur le raffinage des méthodes d'extraction du concept et intégrer davantage les représentations continues dans la pré-élaction des flux de travail.

Source primaire:marktechpost

Clause de non-responsabilité:info@kdj.com

Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!

Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.

Autres articles publiés sur Nov 18, 2026