|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Nachrichtenartikel zu Kryptowährungen
Cocomix: Ein anderer Ansatz für Vorbetragsprachmodelle
Feb 14, 2025 at 04:28 am
Der dominierende Ansatz für die Vorhersehung großer Sprachmodelle (LLMs) beruht auf der nächsten Vorhersage, die sich bei der Erfassung von Sprachmustern als wirksam erwiesen hat. Diese Methode enthält jedoch bemerkenswerte Einschränkungen.

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.
Große Sprachmodelle (LLMs) sind dank der Vorbereitung auf riesige Textkorpora immer mächtiger geworden. Aber wie können wir ihre Effizienz und Interpretierbarkeit verbessern? Meta AI führt eine kontinuierliche Konzeptmischung ein (Cocomix), einen neuartigen Ansatz, der die Token-Vorhersage mit konzeptbasiertem Denken kombiniert.
Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.
Die meisten LLMs sind auf einer nächstgefischten Vorhersageaufgabe im Lücke im Lücke im Lückleer gesetzt. Während diese Methode sprachliche Muster erfasst, hat sie auch Einschränkungen. Sprachmarken vermitteln häufig nur Informationen auf Oberflächenebene, wodurch Modelle massive Textmengen verarbeiten müssen, um tiefere Argumentationsfunktionen zu entwickeln. Darüber hinaus hat tokenbasierter Lernen Schwierigkeiten, langfristige Abhängigkeiten zu erfassen und Aufgaben zu ergreifen, die Planung und Abstraktion schwieriger erfordern.
To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.
Um diese Einschränkungen anzugehen, haben Forscher alternative Strategien wie Wissensdestillation und strukturierte Eingabevergrößerung untersucht. Diese Ansätze lösen jedoch die Einschränkungen des tokenbasierten Lernens nicht vollständig.
This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.
Dies wirft eine wichtige Frage auf: Kann LLMs auf eine Weise geschult werden, die die Verarbeitung auf Token-Ebene mit konzeptionellem Verständnis kombiniert? Meta AI führt eine kontinuierliche Konzeptmischung (Cocomix) als potenzielle Lösung ein.
CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.
Cocomix integriert die Token -Vorhersage in die Modellierung kontinuierlicher Konzepte aus verborgenen Zuständen eines vorbereiteten Modells. Die Methode verwendet einen spärlichen Autoencoder (SAE), um hochgradige semantische Darstellungen zu extrahieren, die dann in den Trainingsprozess einbezogen werden, indem sie mit Token-Einbettungen verschoben werden.
This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.
Dieses Design ermöglicht es dem Modell, die Vorteile des tokenbasierten Lernens aufrechtzuerhalten und gleichzeitig seine Fähigkeit zu verbessern, breitere konzeptionelle Strukturen zu erkennen und zu verarbeiten. Durch die Anreicherung des auf Token basierenden Paradigmas mit Informationen auf Konzeptniveaus zielt Cocomix darauf ab, die Argumentationseffizienz und die Modellinterpretierbarkeit zu verbessern.
Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.
Meta AI führt eine kontinuierliche Konzeptmischung (Cocomix) ein, eine andere Annäherung an die Vorabsprachmodelle (LLMs). Diese Methode kombiniert Token-Vorhersage mit konzeptbasiertem Denken, um die Effizienz und Interpretierbarkeit zu verbessern.
In a nutshell, CoCoMix operates through three main components:
Kurz gesagt, Cocomix arbeitet durch drei Hauptkomponenten:
A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.
Ein tokenbasiertes Sprachmodell wird auf einer nächsten Vorhersageaufgabe im Lücke geschult. Das Modell lernt, das nächste Token in einer Sequenz angesichts des vorhergehenden Kontextes vorherzusagen. Diese Komponente bildet die Grundlage für Standard -LLM -Vorbeugungen.
A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.
Ein spärlicher Autocoder (SAE) wird in den versteckten Zuständen des Sprachmodells geschult. Die SAE zielt darauf ab, hochrangige semantische Darstellungen aus den versteckten Zuständen des Sprachmodells zu extrahieren. Dieser Schritt ist entscheidend, um kontinuierliche Konzepte abzuleiten.
The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.
Die Token -Emetten aus dem Sprachmodell sind mit den von der SAE extrahierten kontinuierlichen Konzepten verschachtelt. Diese Verschachtelung wird bei jedem Trainingsschritt durchgeführt. Die resultierenden kombinierten Einbettungen werden dann verwendet, um das Sprachmodell zu trainieren.
This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.
Dieser Ansatz verbessert die Probeneffizienz und ermöglicht es, Modelle mit weniger Trainingstoken vergleichbare Leistung zu erzielen. Darüber hinaus verbessert Cocomix die Interpretierbarkeit, indem er die extrahierten Konzepte inspiziert und anpassen kann und eine klarere Ansicht darüber bietet, wie das Modell Informationen verarbeitet.
Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:
Meta AI bewertete Cocomix über mehrere Benchmarks, darunter OpenWebtext, Lambada, Wikitext-103, Hellaswag, Bilder, Square, Bogen-Soas und Winogrande. Die Ergebnisse zeigen:
On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.
Auf OpenWebtext, Lambada und Wikitext-103 erzielen Modelle, die mit Cocomix vorgelegt wurden, bei nachgeschalteten Aufgaben eine bessere Leistung im Vergleich zu Modellen, die mit Standardmethoden basieren. Diese Verbesserung wird in einer Reihe von Aufgaben beobachtet, einschließlich maskierter Sprachmodellierung, nächstgefeinerter Vorhersage im Neigungsstil und der Beantwortung von Fragen.
Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.
Modelle mit Cocomix zeigen eine verbesserte Probeneffizienz. Insbesondere erzielen sie Leistung, die mit Modellen vergleichbar sind, die mit Standardmethoden vorgebracht sind, jedoch 4x weniger Trainingstoken. Dieses Ergebnis unterstreicht die Effizienzgewinne, die durch die Einbeziehung kontinuierlicher Konzepte in den Vorbereitungsverfahren erzielt werden.
CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.
Cocomix ermöglicht die Extraktion interpretierbarer Konzepte, die Einblicke in den Argumentationsprozess des Modells geben. Durch die Anpassung der Hyperparameter der SAE können Forscher die Granularität und Interpretierbarkeit der extrahierten Konzepte kontrollieren.
Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.
Insgesamt präsentiert Cocomix einen alternativen Ansatz für die LLM-Vorbereitung, indem die Token-Vorhersage mit konzeptbasiertem Denken kombiniert wird. Diese Methode verbessert die Effizienz und Interpretierbarkeit, ohne den zugrunde liegenden nächsten Vorhersage-Framework zu stören. Experimentelle Ergebnisse legen nahe, dass diese Technik eine ausgewogene Möglichkeit zur Verbesserung des Sprachmodelltrainings bietet, insbesondere in Bereichen, die strukturiertes Denken und transparente Entscheidungsfindung erfordern.
Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.
Zukünftige Forschungen können sich auf die Verfeinerung von Methoden zur Konzeptextraktion und die weitere Integration kontinuierlicher Darstellungen in Vorabstiegs -Workflows konzentrieren.
Haftungsausschluss:info@kdj.com
Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!
Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.
-
-
- Aufmerksamkeit, Nachaufmerksamkeit und der KI-Mechanismus: Navigieren in der New Economy
- Nov 18, 2026 at 04:00 am
- Die Ära der KI-Agenten ist da und verändert die Art und Weise, wie wir bezahlen und bezahlt werden. Entdecken Sie den bahnbrechenden Wandel von aufmerksamkeitsbasierten Modellen hin zu transaktionsgesteuerten Finanzen und die entscheidende Rolle von KI-Mechanismen.
-
- Trust Wallet-Adressetiketten verbessern die Kryptosicherheit: Das Senden wird einfacher und sicherer
- Nov 17, 2026 at 08:05 pm
- Die neue Adresskennzeichnungsfunktion von Trust Wallet vereinfacht Kryptotransaktionen, reduziert Fehler und stärkt das Vertrauen der Benutzer beim sicheren Senden digitaler Assets.
-
- Trezor sieht sich dieses Jahr mit Datenschutzverletzungen durch Dritte konfrontiert: Die Bedenken hinsichtlich Kundendaten, Partnerverletzungen und Datenschutzverletzungen durch Dritte nehmen zu
- Nov 17, 2026 at 12:05 pm
- Trezor-Kundendaten, Verstöße von Partnern und Vorfälle von Verstößen Dritter verdeutlichen erhebliche Risiken für Krypto-Inhaber. Durch einen kürzlichen Verstoß beim Versandpartner Skladon wurden nach früheren Vorfällen 27.000 Bestellungen aufgedeckt.
-
- Injektive (INJ)-Preisanalyse: ETF-Boost und Protokoll-Upgrades fördern die Dynamik von Krypto-Assets
- Nov 17, 2026 at 11:55 am
- Der INJ-Preis von Injective verzeichnet einen Anstieg, der durch den ersten in den USA notierten Stake-ETF und das bevorstehende Veyra-Upgrade angeheizt wird, was auf eine starke Dynamik der Krypto-Assets hinweist.
-
- Pepe (PEPE)-Preisanstieg: Ein Hoffnungsschimmer in einem Meer der Angst?
- Nov 17, 2026 at 11:55 am
- Nach einer schwierigen Woche zeigt Pepe (PEPE) mit einem leichten Preisanstieg ein Lebenszeichen, sodass sich die Anleger fragen, ob es sich hierbei um eine echte Erholung oder nur um einen Boxenstopp vor einem weiteren Rückgang handelt.
-
-
-
- Solana unterstützt die Tokenisierungspläne der Wall Street: Eine Vision für 2027
- Nov 16, 2026 at 08:05 am
- DTCC integriert Solana bis 2027 in seinen Tokenisierungsdienst und ermöglicht so die Tokenisierung von Wertpapieren im Wert von 114 Billionen US-Dollar, was die Rolle der Blockchain bei der Verbindung traditioneller Finanzen mit digitalen Vermögenswerten unterstreicht.

































