Marktkapitalisierung: $2.1973T 0.61%
Volumen (24h): $72.7825B 5.15%
  • Marktkapitalisierung: $2.1973T 0.61%
  • Volumen (24h): $72.7825B 5.15%
  • Angst- und Gier-Index:
  • Marktkapitalisierung: $2.1973T 0.61%
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
Top -Nachrichten
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
bitcoin
bitcoin

$64563.014144 USD

-0.49%

ethereum
ethereum

$1826.399090 USD

0.43%

tether
tether

$0.999126 USD

0.01%

bnb
bnb

$592.366491 USD

-0.04%

usd-coin
usd-coin

$0.999816 USD

0.00%

xrp
xrp

$0.959357 USD

0.17%

solana
solana

$72.829239 USD

2.32%

tron
tron

$0.305292 USD

0.83%

hyperliquid
hyperliquid

$69.398764 USD

4.43%

zcash
zcash

$923.127603 USD

2.96%

monero
monero

$498.263532 USD

1.92%

dogecoin
dogecoin

$0.058951 USD

0.22%

unus-sed-leo
unus-sed-leo

$9.321829 USD

1.58%

chainlink
chainlink

$9.169911 USD

0.22%

cardano
cardano

$0.153252 USD

-0.09%

Nachrichtenartikel zu Kryptowährungen

Cocomix: Ein anderer Ansatz für Vorbetragsprachmodelle

Feb 14, 2025 at 04:28 am

Der dominierende Ansatz für die Vorhersehung großer Sprachmodelle (LLMs) beruht auf der nächsten Vorhersage, die sich bei der Erfassung von Sprachmustern als wirksam erwiesen hat. Diese Methode enthält jedoch bemerkenswerte Einschränkungen.

Cocomix: Ein anderer Ansatz für Vorbetragsprachmodelle

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.

Große Sprachmodelle (LLMs) sind dank der Vorbereitung auf riesige Textkorpora immer mächtiger geworden. Aber wie können wir ihre Effizienz und Interpretierbarkeit verbessern? Meta AI führt eine kontinuierliche Konzeptmischung ein (Cocomix), einen neuartigen Ansatz, der die Token-Vorhersage mit konzeptbasiertem Denken kombiniert.

Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.

Die meisten LLMs sind auf einer nächstgefischten Vorhersageaufgabe im Lücke im Lücke im Lückleer gesetzt. Während diese Methode sprachliche Muster erfasst, hat sie auch Einschränkungen. Sprachmarken vermitteln häufig nur Informationen auf Oberflächenebene, wodurch Modelle massive Textmengen verarbeiten müssen, um tiefere Argumentationsfunktionen zu entwickeln. Darüber hinaus hat tokenbasierter Lernen Schwierigkeiten, langfristige Abhängigkeiten zu erfassen und Aufgaben zu ergreifen, die Planung und Abstraktion schwieriger erfordern.

To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.

Um diese Einschränkungen anzugehen, haben Forscher alternative Strategien wie Wissensdestillation und strukturierte Eingabevergrößerung untersucht. Diese Ansätze lösen jedoch die Einschränkungen des tokenbasierten Lernens nicht vollständig.

This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.

Dies wirft eine wichtige Frage auf: Kann LLMs auf eine Weise geschult werden, die die Verarbeitung auf Token-Ebene mit konzeptionellem Verständnis kombiniert? Meta AI führt eine kontinuierliche Konzeptmischung (Cocomix) als potenzielle Lösung ein.

CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.

Cocomix integriert die Token -Vorhersage in die Modellierung kontinuierlicher Konzepte aus verborgenen Zuständen eines vorbereiteten Modells. Die Methode verwendet einen spärlichen Autoencoder (SAE), um hochgradige semantische Darstellungen zu extrahieren, die dann in den Trainingsprozess einbezogen werden, indem sie mit Token-Einbettungen verschoben werden.

This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.

Dieses Design ermöglicht es dem Modell, die Vorteile des tokenbasierten Lernens aufrechtzuerhalten und gleichzeitig seine Fähigkeit zu verbessern, breitere konzeptionelle Strukturen zu erkennen und zu verarbeiten. Durch die Anreicherung des auf Token basierenden Paradigmas mit Informationen auf Konzeptniveaus zielt Cocomix darauf ab, die Argumentationseffizienz und die Modellinterpretierbarkeit zu verbessern.

Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.

Meta AI führt eine kontinuierliche Konzeptmischung (Cocomix) ein, eine andere Annäherung an die Vorabsprachmodelle (LLMs). Diese Methode kombiniert Token-Vorhersage mit konzeptbasiertem Denken, um die Effizienz und Interpretierbarkeit zu verbessern.

In a nutshell, CoCoMix operates through three main components:

Kurz gesagt, Cocomix arbeitet durch drei Hauptkomponenten:

A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.

Ein tokenbasiertes Sprachmodell wird auf einer nächsten Vorhersageaufgabe im Lücke geschult. Das Modell lernt, das nächste Token in einer Sequenz angesichts des vorhergehenden Kontextes vorherzusagen. Diese Komponente bildet die Grundlage für Standard -LLM -Vorbeugungen.

A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.

Ein spärlicher Autocoder (SAE) wird in den versteckten Zuständen des Sprachmodells geschult. Die SAE zielt darauf ab, hochrangige semantische Darstellungen aus den versteckten Zuständen des Sprachmodells zu extrahieren. Dieser Schritt ist entscheidend, um kontinuierliche Konzepte abzuleiten.

The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.

Die Token -Emetten aus dem Sprachmodell sind mit den von der SAE extrahierten kontinuierlichen Konzepten verschachtelt. Diese Verschachtelung wird bei jedem Trainingsschritt durchgeführt. Die resultierenden kombinierten Einbettungen werden dann verwendet, um das Sprachmodell zu trainieren.

This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.

Dieser Ansatz verbessert die Probeneffizienz und ermöglicht es, Modelle mit weniger Trainingstoken vergleichbare Leistung zu erzielen. Darüber hinaus verbessert Cocomix die Interpretierbarkeit, indem er die extrahierten Konzepte inspiziert und anpassen kann und eine klarere Ansicht darüber bietet, wie das Modell Informationen verarbeitet.

Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:

Meta AI bewertete Cocomix über mehrere Benchmarks, darunter OpenWebtext, Lambada, Wikitext-103, Hellaswag, Bilder, Square, Bogen-Soas und Winogrande. Die Ergebnisse zeigen:

On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.

Auf OpenWebtext, Lambada und Wikitext-103 erzielen Modelle, die mit Cocomix vorgelegt wurden, bei nachgeschalteten Aufgaben eine bessere Leistung im Vergleich zu Modellen, die mit Standardmethoden basieren. Diese Verbesserung wird in einer Reihe von Aufgaben beobachtet, einschließlich maskierter Sprachmodellierung, nächstgefeinerter Vorhersage im Neigungsstil und der Beantwortung von Fragen.

Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.

Modelle mit Cocomix zeigen eine verbesserte Probeneffizienz. Insbesondere erzielen sie Leistung, die mit Modellen vergleichbar sind, die mit Standardmethoden vorgebracht sind, jedoch 4x weniger Trainingstoken. Dieses Ergebnis unterstreicht die Effizienzgewinne, die durch die Einbeziehung kontinuierlicher Konzepte in den Vorbereitungsverfahren erzielt werden.

CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.

Cocomix ermöglicht die Extraktion interpretierbarer Konzepte, die Einblicke in den Argumentationsprozess des Modells geben. Durch die Anpassung der Hyperparameter der SAE können Forscher die Granularität und Interpretierbarkeit der extrahierten Konzepte kontrollieren.

Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.

Insgesamt präsentiert Cocomix einen alternativen Ansatz für die LLM-Vorbereitung, indem die Token-Vorhersage mit konzeptbasiertem Denken kombiniert wird. Diese Methode verbessert die Effizienz und Interpretierbarkeit, ohne den zugrunde liegenden nächsten Vorhersage-Framework zu stören. Experimentelle Ergebnisse legen nahe, dass diese Technik eine ausgewogene Möglichkeit zur Verbesserung des Sprachmodelltrainings bietet, insbesondere in Bereichen, die strukturiertes Denken und transparente Entscheidungsfindung erfordern.

Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.

Zukünftige Forschungen können sich auf die Verfeinerung von Methoden zur Konzeptextraktion und die weitere Integration kontinuierlicher Darstellungen in Vorabstiegs -Workflows konzentrieren.

Originalquelle:marktechpost

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Artikel veröffentlicht am Nov 18, 2026