|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
LLM (Pretraining Prectraining Lange Language Models)에 대한 지배적 인 접근법은 언어 패턴을 포착하는 데 효과적인 것으로 입증 된 다음 점점 예측에 의존합니다. 그러나이 방법에는 주목할만한 제한이 있습니다.

Large language models (LLMs) have become increasingly powerful thanks to pretraining on vast text corpora. But how can we improve their efficiency and interpretability? Meta AI introduces Continuous Concept Mixing (CoCoMix), a novel approach that combines token prediction with concept-based reasoning.
광대 한 Text Corpora의 사전 조정 덕분에 대형 언어 모델 (LLM)이 점점 더 강력 해지고 있습니다. 그러나 효율성과 해석 가능성을 어떻게 향상시킬 수 있습니까? Meta AI는 토큰 예측과 개념 기반 추론을 결합한 새로운 접근법 인 COCOMIX (Continuous Concept Mixing)를 소개합니다.
Most LLMs are pretrained on a cloze-style next-token prediction task. While this method captures linguistic patterns, it also has limitations. Language tokens often convey only surface-level information, requiring models to process massive amounts of text to develop deeper reasoning capabilities. Furthermore, token-based learning has difficulty capturing long-term dependencies, making tasks that require planning and abstraction more challenging.
대부분의 LLM은 클로즈 스타일의 차세대 점화 예측 작업에 사전에 사전입니다. 이 방법은 언어 패턴을 캡처하지만 한계도 있습니다. 언어 토큰은 종종 표면 수준의 정보 만 전달하므로 모델이 더 깊은 추론 능력을 개발하기 위해 대량의 텍스트를 처리해야합니다. 또한, 토큰 기반 학습은 장기 의존성을 포착하는 데 어려움이있어 계획과 추상화가 필요한 작업을보다 어려워집니다.
To address these limitations, researchers have explored alternative strategies, such as knowledge distillation and structured input augmentation. However, these approaches do not fully resolve the limitations of token-based learning.
이러한 한계를 해결하기 위해 연구원들은 지식 증류 및 구조화 된 입력 확대와 같은 대체 전략을 탐구했습니다. 그러나 이러한 접근법은 토큰 기반 학습의 한계를 완전히 해결하지 못합니다.
This raises an important question: Can LLMs be trained in a way that combines token-level processing with conceptual understanding? Meta AI introduces Continuous Concept Mixing (CoCoMix) as a potential solution.
이것은 중요한 질문을 제기합니다. LLM은 토큰 수준의 처리와 개념적 이해를 결합한 방식으로 교육을받을 수 있습니까? Meta AI는 잠재적 솔루션으로서 COCOMIX (Continuous Concept Mixing)를 도입합니다.
CoCoMix integrates token prediction with the modeling of continuous concepts derived from hidden states of a pretrained model. The method employs a Sparse Autoencoder (SAE) to extract high-level semantic representations, which are then incorporated into the training process by interleaving them with token embeddings.
Cocomix는 토큰 예측을 사전 예측 모델의 숨겨진 상태에서 파생 된 연속 개념의 모델링과 통합합니다. 이 방법은 SAE (sparse autoencoder)를 사용하여 높은 수준의 시맨틱 표현을 추출 한 다음, 토큰 임베딩과 인터리브하여 훈련 프로세스에 통합됩니다.
This design allows the model to maintain the benefits of token-based learning while enhancing its ability to recognize and process broader conceptual structures. By enriching the token-based paradigm with concept-level information, CoCoMix aims to improve reasoning efficiency and model interpretability.
이 설계를 통해 모델은 토큰 기반 학습의 이점을 유지하면서 광범위한 개념 구조를 인식하고 처리 할 수있는 능력을 향상시킬 수 있습니다. Cocomix는 개념 수준 정보로 토큰 기반 패러다임을 풍부하게함으로써 추론 효율성과 모델 해석 가능성을 향상시키는 것을 목표로합니다.
Meta AI introduces Continuous Concept Mixing (CoCoMix), a different approach to pretraining large language models (LLMs). This method combines token prediction with concept-based reasoning to enhance efficiency and interpretability.
Meta AI는 LLMS (Lange Language Models)를 사전하는 다른 접근법 인 CoCOMIX (Continuous Concept Mixing)를 도입합니다. 이 방법은 토큰 예측과 개념 기반 추론을 결합하여 효율성과 해석 가능성을 향상시킵니다.
In a nutshell, CoCoMix operates through three main components:
간단히 말해 Cocomix는 세 가지 주요 구성 요소를 통해 작동합니다.
A token-based language model is trained on a cloze-style next-token prediction task. The model learns to predict the next token in a sequence given the preceding context. This component forms the basis of standard LLM pretraining.
토큰 기반 언어 모델은 클로즈 스타일의 차세대 예측 작업에 대한 교육을받습니다. 이 모델은 앞의 컨텍스트가 주어진 순서대로 다음 토큰을 예측하는 법을 배웁니다. 이 구성 요소는 표준 LLM 사전 계통의 기초를 형성합니다.
A Sparse Autoencoder (SAE) is trained on the hidden states of the language model. The SAE aims to extract high-level semantic representations from the language model's hidden states. This step is crucial for deriving continuous concepts.
SAE (Sparse Autoencoder)는 언어 모델의 숨겨진 상태에 대해 훈련됩니다. SAE는 언어 모델의 숨겨진 상태에서 높은 수준의 의미 론적 표현을 추출하는 것을 목표로합니다. 이 단계는 지속적인 개념을 도출하는 데 중요합니다.
The token embeddings from the language model are interleaved with the continuous concepts extracted by the SAE. This interleaving is performed at each training step. The resulting combined embeddings are then used to train the language model.
언어 모델의 토큰 임베딩은 SAE에 의해 추출 된 연속 개념과 대화됩니다. 이 인터리빙은 각 훈련 단계에서 수행됩니다. 그 결과 결합 된 임베딩을 사용하여 언어 모델을 훈련시킵니다.
This approach improves sample efficiency, enabling models to achieve comparable performance with fewer training tokens. Additionally, CoCoMix enhances interpretability by making it possible to inspect and adjust the extracted concepts, offering a clearer view of how the model processes information.
이 접근법은 샘플 효율성을 향상시켜 모델이 훈련 토큰이 적고 비슷한 성능을 달성 할 수 있도록합니다. 또한 Cocomix는 추출 된 개념을 검사하고 조정할 수 있도록 해석 성을 향상시켜 모델이 정보를 처리하는 방법에 대한 명확한 견해를 제공합니다.
Meta AI evaluated CoCoMix across multiple benchmarks, including OpenWebText, LAMBADA, WikiText-103, HellaSwag, PIQA, SIQA, Arc-Easy, and WinoGrande. The findings indicate:
Meta AI는 OpenWebText, Lambada, Wikitext-103, Hellaswag, Pics, Square, Arc-Easy 및 Winogrande를 포함한 여러 벤치 마크에서 Cocomix를 평가했습니다. 결과는 다음을 나타냅니다.
On OpenWebText, LAMBADA, and WikiText-103, models pretrained with CoCoMix achieve better performance in downstream tasks compared to models pretrained with standard token-based methods. This improvement is observed across a range of tasks, including masked language modeling, cloze-style next-token prediction, and question answering.
OpenWebText, Lambada 및 Wikitext-103에서 Cocomix와 함께 사전 전환 된 모델은 표준 토큰 기반 방법으로 전망 된 모델과 비교하여 다운 스트림 작업에서 더 나은 성능을 달성합니다. 이 개선은 가면에 걸린 언어 모델링, 클로즈 스타일의 차세대 예측 및 질문 답변을 포함한 다양한 작업에서 관찰됩니다.
Models pretrained with CoCoMix demonstrate improved sample efficiency. Specifically, they attain performance comparable to models pretrained with standard methods but using 4x fewer training tokens. This result highlights the efficiency gains achieved by incorporating continuous concepts into the pretraining process.
COCOMIX로 사전 치료 된 모델은 개선 된 샘플 효율을 보여줍니다. 구체적으로, 그들은 표준 방법으로 사전에 걸린 모델과 비교할 수있는 성능을 얻지 만 4 배 적은 훈련 토큰을 사용합니다. 이 결과는 연속 개념을 사전 계약 프로세스에 통합하여 달성 한 효율성 이득을 강조합니다.
CoCoMix enables the extraction of interpretable concepts that provide insights into the model's reasoning process. By adjusting the hyperparameters of the SAE, researchers can control the granularity and interpretability of the extracted concepts.
Cocomix는 모델의 추론 프로세스에 대한 통찰력을 제공하는 해석 가능한 개념의 추출을 가능하게합니다. SAE의 과복 미터를 조정함으로써 연구원들은 추출 된 개념의 세분성과 해석 성을 제어 할 수 있습니다.
Overall, CoCoMix presents an alternative approach to LLM pretraining by combining token prediction with concept-based reasoning. This method enhances efficiency and interpretability without disrupting the underlying next-token prediction framework. Experimental results suggest that this technique provides a balanced way to improve language model training, particularly in areas requiring structured reasoning and transparent decision-making.
전반적으로, Cocomix는 토큰 예측을 개념 기반 추론과 결합하여 LLM 사전 계통에 대한 대안적인 접근법을 제시합니다. 이 방법은 근본적인 차세대 예측 프레임 워크를 방해하지 않고 효율성과 해석 성을 향상시킵니다. 실험 결과는이 기술이 언어 모델 교육을 개선하는 균형 잡힌 방법, 특히 구조적 추론과 투명한 의사 결정이 필요한 영역에서 균형 잡힌 방법을 제공한다고 제안합니다.
Future research may focus on refining concept extraction methods and further integrating continuous representations into pretraining workflows.
미래의 연구는 개념 추출 방법을 정제하고 지속적인 표현을 전처리 워크 플로에 추가로 통합하는 데 중점을 둘 수 있습니다.
부인 성명:info@kdj.com
제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!
본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

































