Meta, 대규모 언어 모델 개발에 잠재적으로 혁명을 일으킬 수 있는 다중 토큰 예측 기술 공개

메타는 보다 효율적인 인공지능을 위한 경쟁에서 도전장을 던졌습니다. 거대 기술 기업인 IBM은 새로운 멀티 토큰 예측 접근 방식을 활용하여 대규모 언어 모델(LLM)의 개발 및 배포 방식을 잠재적으로 변화시키는 사전 훈련된 모델을 수요일에 출시했습니다.

Meta unveiled pre-trained models on Wednesday that leverage a novel multi-token prediction approach, potentially changing how large language models (LLMs) are developed and deployed.

Meta는 수요일에 새로운 멀티 토큰 예측 접근 방식을 활용하여 대규모 언어 모델(LLM)의 개발 및 배포 방식을 잠재적으로 변화시키는 사전 훈련된 모델을 공개했습니다.

The tech giant’s latest offering comes in the wake of a recent paper published by Meta researchers, which outlines a new training method for LLMs that leverages multi-token prediction. In a bid to further propel research in this domain, Meta has now released pre-trained models for code completion, leveraging this approach on Hugging Face.

거대 기술 기업의 최신 제품은 멀티 토큰 예측을 활용하는 LLM을 위한 새로운 교육 방법을 설명하는 Meta 연구원이 발표한 최근 논문에 이어 나온 것입니다. 이 영역에 대한 연구를 더욱 촉진하기 위해 Meta는 이제 Hugging Face에서 이러한 접근 방식을 활용하여 코드 완성을 위한 사전 훈련된 모델을 출시했습니다.

This technique marks a departure from the traditional approach of training LLMs to predict only the next word in a sequence. Instead, Meta’s method tasks models with forecasting multiple future words simultaneously, promising both enhanced performance and drastically reduced training times.

이 기술은 LLM을 학습하여 시퀀스의 다음 단어만 예측하는 기존 접근 방식에서 벗어났습니다. 대신 Meta의 방법 작업 모델은 여러 미래 단어를 동시에 예측하여 향상된 성능과 대폭적인 훈련 시간 단축을 약속합니다.

The implications of this breakthrough could be far-reaching. As AI models continue to grow in size and complexity, their voracious appetite for computational power has raised concerns about cost and environmental impact. Meta’s multi-token prediction method might offer a way to curb this trend, making advanced AI more accessible and sustainable.

이번 혁신의 의미는 광범위할 수 있습니다. AI 모델의 크기와 복잡성이 지속적으로 증가함에 따라 계산 능력에 대한 탐욕스러운 욕구로 인해 비용과 환경에 미치는 영향에 대한 우려가 높아졌습니다. Meta의 멀티 토큰 예측 방법은 이러한 추세를 억제하여 고급 AI에 대한 접근성과 지속 가능성을 높이는 방법을 제공할 수 있습니다.

Democratizing AI: The promise and perils of efficient language models

AI 민주화: 효율적인 언어 모델의 가능성과 위험

The potential of this new approach extends beyond mere efficiency gains. By predicting multiple tokens at once, these models may develop a more nuanced understanding of language structure and context. This could lead to improvements in tasks ranging from code generation to creative writing, potentially bridging the gap between AI and human-level language understanding.

이 새로운 접근 방식의 잠재력은 단순한 효율성 향상 이상의 것입니다. 한 번에 여러 토큰을 예측함으로써 이러한 모델은 언어 구조와 컨텍스트에 대한 보다 미묘한 이해를 개발할 수 있습니다. 이는 코드 생성부터 창의적인 글쓰기에 이르는 작업의 개선으로 이어질 수 있으며 잠재적으로 AI와 인간 수준의 언어 이해 간의 격차를 해소할 수 있습니다.

Countdown to VB Transform 2024

VB Transform 2024 카운트다운

Join enterprise leaders in San Francisco from July 9 to 11 for our flagship AI event. Connect with peers, explore the opportunities and challenges of Generative AI, and learn how to integrate AI applications into your industry. Register Now

7월 9일부터 11일까지 샌프란시스코에서 열리는 주요 AI 이벤트에 기업 리더들과 함께 하세요. 동료들과 소통하고, Generative AI의 기회와 과제를 살펴보고, AI 애플리케이션을 업계에 통합하는 방법을 알아보세요. 지금 등록하세요