|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
COCOMIX: une approche différente de la pré-formation des modèles de langue
Feb 14, 2025 at 04:28 am
L'approche dominante de la pré-formation des modèles de grande langue (LLMS) repose sur la prédiction du prochain token, ce qui s'est avéré efficace pour capturer des modèles linguistiques. Cependant, cette méthode est livrée avec des limitations notables.

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.
Les modèles de grands langues (LLM) sont devenus de plus en plus puissants grâce à la pré-entraînement sur de vastes corpus de texte. Mais comment pouvons-nous améliorer leur efficacité et leur interprétabilité? Meta AI introduit un mélange de concepts continu (Cocomix), une nouvelle approche qui combine la prédiction des jetons avec le raisonnement basé sur le concept.
Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.
La plupart des LLM sont pré-entraînés sur une tâche de prédiction de style Cloze. Bien que cette méthode capture les modèles linguistiques, il a également des limites. Les jetons linguistiques ne transmettent souvent que des informations au niveau de la surface, nécessitant des modèles pour traiter des quantités massives de texte pour développer des capacités de raisonnement plus profondes. En outre, l'apprentissage basé sur des jetons a du mal à capturer des dépendances à long terme, ce qui rend les tâches qui nécessitent une planification et une abstraction plus difficiles.
To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.
Pour répondre à ces limites, les chercheurs ont exploré des stratégies alternatives, telles que la distillation des connaissances et l'augmentation structurée des entrées. Cependant, ces approches ne résolvent pas pleinement les limites de l'apprentissage basé sur les jetons.
This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.
Cela soulève une question importante: les LLM peuvent-elles être formées d'une manière qui combine le traitement au niveau des jetons avec une compréhension conceptuelle? Meta Ai introduit le mélange de concepts continu (cocomix) comme solution potentielle.
CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.
Cocomix intègre la prédiction des jetons à la modélisation de concepts continus dérivés des états cachés d'un modèle pré-entraîné. La méthode utilise un autoencoder clairsemé (SAE) pour extraire des représentations sémantiques de haut niveau, qui sont ensuite incorporées dans le processus de formation en les entrelacement avec des incorporations de jetons.
This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.
Cette conception permet au modèle de maintenir les avantages de l'apprentissage basé sur les jetons tout en améliorant sa capacité à reconnaître et à traiter des structures conceptuelles plus larges. En enrichissant le paradigme à base de jetons avec des informations au niveau du concept, Cocomix vise à améliorer l'efficacité du raisonnement et l'interprétabilité du modèle.
Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.
Meta Ai introduit un mélange de concepts continu (cocomix), une approche différente de la pré-formation des modèles de gros langage (LLM). Cette méthode combine la prédiction des jetons avec le raisonnement basé sur le concept pour améliorer l'efficacité et l'interprétabilité.
In a nutshell, CoCoMix operates through three main components:
En un mot, Cocomix fonctionne à travers trois composants principaux:
A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.
Un modèle linguistique basé sur des jetons est formé sur une tâche de prédiction de style Cloze. Le modèle apprend à prédire le token suivant dans une séquence compte tenu du contexte précédent. Ce composant constitue la base de la pré-entraînement LLM standard.
A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.
Un autoencoder clairsemé (SAE) est formé sur les états cachés du modèle de langue. Le SAE vise à extraire des représentations sémantiques de haut niveau des états cachés du modèle de langue. Cette étape est cruciale pour dériver des concepts continus.
The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.
Les incorporations de jetons du modèle de langue sont entrelacées avec les concepts continus extraits par le SAE. Cet entrelacement est effectué à chaque étape de formation. Les incorporations combinées résultantes sont ensuite utilisées pour former le modèle de langue.
This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.
Cette approche améliore l'efficacité des échantillons, permettant aux modèles d'obtenir des performances comparables avec moins de jetons d'entraînement. De plus, Cocomix améliore l'interprétabilité en permettant d'inspecter et d'ajuster les concepts extraits, offrant une vue plus claire de la façon dont le modèle traite les informations.
Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:
Meta Ai a évalué Cocomix sur plusieurs repères, notamment OpenWebText, Lambada, WikiteXT-103, Hellaswag, Pics, Square, Arc-Easy et Winogrande. Les résultats indiquent:
On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.
Sur OpenwebText, Lambada et Wikitext-103, les modèles pré-entraînés avec du cocomix obtiennent de meilleures performances dans les tâches en aval par rapport aux modèles pré-entraînés avec des méthodes à jeton standard. Cette amélioration est observée à travers une gamme de tâches, notamment la modélisation du langage masqué, la prédiction de style Cloze et la réponse aux questions.
Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.
Les modèles pré-entraînés avec du cocomix montrent une amélioration de l'efficacité de l'échantillon. Plus précisément, ils atteignent des performances comparables aux modèles pré-entraînés avec des méthodes standard mais en utilisant des jetons de formation 4x moins. Ce résultat met en évidence les gains d'efficacité obtenus en incorporant des concepts continus dans le processus de pré-formation.
CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.
Cocomix permet l'extraction de concepts interprétables qui fournissent un aperçu du processus de raisonnement du modèle. En ajustant les hyperparamètres des SAE, les chercheurs peuvent contrôler la granularité et l'interprétabilité des concepts extraits.
Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.
Dans l'ensemble, Cocomix présente une approche alternative à la pré-entraînement de LLM en combinant la prédiction des jetons avec le raisonnement basé sur le concept. Cette méthode améliore l'efficacité et l'interprétabilité sans perturber le cadre de prédiction sous-joint sous-jacent. Les résultats expérimentaux suggèrent que cette technique fournit un moyen équilibré d'améliorer la formation du modèle de langue, en particulier dans les domaines nécessitant un raisonnement structuré et une prise de décision transparente.
Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.
Les recherches futures pourraient se concentrer sur le raffinage des méthodes d'extraction du concept et intégrer davantage les représentations continues dans la pré-élaction des flux de travail.
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Zcash, Chainlink et Ethereum : baleines en mouvement, tendances en matière de confidentialité et changements dans les ETF
- Nov 18, 2026 at 04:05 am
- L’activité des baleines dans Zcash, Chainlink et Ethereum met en évidence la dynamique du marché. Découvrez les tendances en matière d’adoption de la confidentialité et de performances des ETF.
-
- L'attention, après l'attention et le mécanisme de l'IA : naviguer dans la nouvelle économie
- Nov 18, 2026 at 04:00 am
- L’ère des agents IA est arrivée, transformant la façon dont nous payons et sommes payés. Explorez le passage sismique des modèles basés sur l'attention à la finance axée sur les transactions et le rôle essentiel des mécanismes d'IA.
-
- Les étiquettes d'adresse Trust Wallet améliorent la sécurité cryptographique : l'envoi est rendu plus simple et plus sécurisé
- Nov 17, 2026 at 08:05 pm
- La nouvelle fonctionnalité d'étiquetage d'adresse de Trust Wallet simplifie les transactions cryptographiques, réduisant les erreurs et renforçant la confiance des utilisateurs dans l'envoi d'actifs numériques en toute sécurité.
-
- Trezor est confronté cette année à une violation de données de tiers : les problèmes de données client, de violation de partenaires et de violations de tiers augmentent
- Nov 17, 2026 at 12:05 pm
- Les données client de Trezor, les violations de partenaires et les incidents de violation par des tiers mettent en évidence des risques importants pour les détenteurs de crypto. Une récente violation chez le partenaire d'expédition Skladon a révélé 27 000 commandes, à la suite d'incidents précédents.
-
- Analyse des prix injectifs (INJ) : le boost des ETF et les mises à niveau du protocole stimulent la dynamique des actifs cryptographiques
- Nov 17, 2026 at 11:55 am
- Le prix de l'INJ d'Injective connaît une hausse alimentée par le premier ETF mis en bourse coté aux États-Unis et la prochaine mise à niveau de Veyra, signalant une forte dynamique des actifs cryptographiques.
-
- Hausse des prix de Pepe (PEPE) : une lueur d’espoir dans un océan de peur ?
- Nov 17, 2026 at 11:55 am
- Après une semaine difficile, Pepe (PEPE) montre des signes de vie avec une légère hausse des prix, laissant les investisseurs se demander s'il s'agit d'une véritable reprise ou simplement d'un arrêt avant une nouvelle baisse.
-
- XRP fait face à des problèmes de prix au milieu des sorties d'ETF au comptant et de la pression de vente à l'échelle du marché
- Nov 17, 2026 at 07:55 am
- Le XRP connaît des baisses de prix significatives, reflétant les tendances plus larges du marché entraînées par les sorties d’ETF et les préoccupations macroéconomiques.
-
-
- Solana alimente les plans de tokenisation de Wall Street : une vision 2027
- Nov 16, 2026 at 08:05 am
- DTCC intègre Solana dans son service de tokenisation d'ici 2027, permettant la tokenisation de 114 000 milliards de dollars de titres, soulignant le rôle de la blockchain dans le rapprochement de la finance traditionnelle et des actifs numériques.

































