Tokenformer: 매개변수를 토큰으로 처리하여 변환기를 다시 생각함

Transformers는 인공 지능을 변화시켜 NLP, 컴퓨터 비전 및 다중 모드 데이터 통합에서 탁월한 성능을 제공합니다. 이러한 모델은 주의 메커니즘을 통해 데이터 내의 패턴을 식별하는 데 탁월하므로 복잡한 작업에 이상적입니다. 그러나 기존 구조와 관련된 높은 계산 비용으로 인해 변압기 모델의 신속한 확장이 개선되어야 합니다.

Transformers have revolutionized artificial intelligence, offering unparalleled performance in natural language processing (NLP), computer vision, and multi-modal data integration. These models excel at identifying patterns within data through their attention mechanisms, making them ideal for complex tasks. However, the rapid scaling of transformer models needs to be improved because of the high computational cost associated with their traditional structure. As these models grow, they demand significant hardware resources and training time, which increases exponentially with the model size.

Transformers는 자연어 처리(NLP), 컴퓨터 비전 및 다중 모드 데이터 통합 ​​분야에서 비교할 수 없는 성능을 제공하여 인공 지능에 혁명을 일으켰습니다. 이러한 모델은 주의 메커니즘을 통해 데이터 내의 패턴을 식별하는 데 탁월하므로 복잡한 작업에 이상적입니다. 그러나 기존 구조와 관련된 높은 계산 비용으로 인해 변압기 모델의 신속한 확장이 개선되어야 합니다. 이러한 모델이 성장함에 따라 상당한 하드웨어 리소스와 교육 시간이 필요하며 이는 모델 크기에 따라 기하급수적으로 증가합니다.

The primary obstacle in scaling transformers lies in the fixed parameters within their linear projection layers. This static structure limits the model’s ability to expand without being entirely retrained, which becomes exponentially more expensive as model sizes increase. These traditional models typically demand comprehensive retraining when architectural modifications occur, such as increasing channel dimensions.

변환기 스케일링의 주요 장애물은 선형 투영 레이어 내의 고정 매개변수에 있습니다. 이 정적 구조는 완전히 재교육하지 않고 모델을 확장하는 능력을 제한하며, 이는 모델 크기가 증가함에 따라 기하급수적으로 비용이 증가합니다. 이러한 기존 모델은 일반적으로 채널 크기 증가와 같은 아키텍처 수정이 발생할 때 포괄적인 재교육을 요구합니다.

Consequently, the computational cost for these expansions grows impractically high, and the approach lacks flexibility. The inability to add new parameters dynamically stifles growth, rendering these models less adaptable to evolving AI applications and more costly in terms of time and resources.

결과적으로 이러한 확장을 위한 계산 비용은 비실용적으로 높아지고 접근 방식에는 유연성이 부족합니다. 새로운 매개변수를 동적으로 추가할 수 없기 때문에 성장이 억제되고, 이러한 모델이 진화하는 AI 애플리케이션에 대한 적응력이 떨어지고 시간과 리소스 측면에서 비용이 더 많이 듭니다.

Historically, approaches to managing model scalability included duplicating weights or restructuring models using methods like Net2Net, where duplicating neurons expand layers. However, these approaches often disrupt the balance of pre-trained models, resulting in slower convergence rates and additional training complexities.

역사적으로 모델 확장성을 관리하는 접근 방식에는 가중치를 복제하거나 복제 뉴런이 레이어를 확장하는 Net2Net과 같은 방법을 사용하여 모델을 재구성하는 것이 포함되었습니다. 그러나 이러한 접근 방식은 사전 훈련된 모델의 균형을 깨뜨리는 경우가 많아 수렴 속도가 느려지고 훈련이 더욱 복잡해집니다.

While these methods have made incremental progress, they still face limitations in preserving model integrity during scaling. Transformers rely heavily on static linear projections, making parameter expansion expensive and inflexible. Traditional models like GPT and other large transformers often retrain from scratch, incurring high computational costs with each new scaling stage.

이러한 방법은 점진적인 발전을 이루었지만 크기 조정 중에 모델 무결성을 유지하는 데 여전히 한계에 직면해 있습니다. Transformer는 정적 선형 투영에 크게 의존하므로 매개변수 확장 비용이 많이 들고 유연성이 떨어집니다. GPT 및 기타 대형 변압기와 같은 기존 모델은 처음부터 다시 학습하는 경우가 많아 새로운 확장 단계마다 높은 계산 비용이 발생합니다.

Now, researchers at the Max Planck Institute, Google, and Peking University have developed a new architecture called Tokenformer that fundamentally reimagines transformers by treating model parameters as tokens, allowing for dynamic interactions between tokens and parameters.

이제 Max Planck Institute, Google 및 Peking University의 연구원들은 모델 매개변수를 토큰으로 처리하여 토큰과 매개변수 간의 동적 상호 작용을 허용함으로써 변환기를 근본적으로 재구성하는 Tokenformer라는 새로운 아키텍처를 개발했습니다.

In this framework, Tokenformer introduces a novel component called the token-parameter attention (Pattention) layer, which facilitates incremental scaling. The model can add new parameter tokens without retraining, drastically reducing training costs.

이 프레임워크에서 Tokenformer는 증분 확장을 용이하게 하는 토큰 매개변수 주의(Pattention) 계층이라는 새로운 구성 요소를 도입합니다. 모델은 재교육 없이 새로운 매개변수 토큰을 추가할 수 있어 교육 비용을 대폭 절감할 수 있습니다.

By representing input tokens and parameters within the same framework, Tokenformer allows for flexible scaling, providing researchers with a more efficient, resource-conscious model architecture that retains scalability and high performance.

동일한 프레임워크 내에서 입력 토큰과 매개변수를 표시함으로써 Tokenformer는 유연한 확장을 허용하여 확장성과 고성능을 유지하는 보다 효율적이고 리소스에 민감한 모델 아키텍처를 연구원에게 제공합니다.

Tokenformer’s Pattention layer uses input tokens as queries, while model parameters serve as keys and values, which differs from the standard transformer approach, relying solely on linear projections.

Tokenformer의 Pattention 레이어는 입력 토큰을 쿼리로 사용하는 반면 모델 매개변수는 키와 값으로 사용됩니다. 이는 선형 투영에만 의존하는 표준 변환기 접근 방식과 다릅니다.

The model’s scaling is achieved by adding new key-value parameter pairs, keeping input and output dimensions constant, and avoiding full retraining. Tokenformer’s architecture is designed to be modular, enabling researchers to expand the model seamlessly by incorporating additional tokens.

모델의 확장은 새로운 키-값 매개변수 쌍을 추가하고, 입력 및 출력 차원을 일정하게 유지하고, 전체 재학습을 방지함으로써 달성됩니다. Tokenformer의 아키텍처는 모듈식으로 설계되어 연구자가 추가 토큰을 통합하여 모델을 원활하게 확장할 수 있습니다.

This incremental scaling capability supports the efficient reuse of pre-trained weights while enabling rapid adaptation for new datasets or larger model sizes without disrupting learned information.

이 증분 확장 기능은 사전 훈련된 가중치의 효율적인 재사용을 지원하는 동시에 학습된 정보를 방해하지 않고 새로운 데이터 세트 또는 더 큰 모델 크기에 대한 신속한 적응을 가능하게 합니다.

The performance benefits of Tokenformer are notable, as the model significantly reduces computational costs while maintaining accuracy. For instance, Tokenformer scaled from 124 million to 1.4 billion parameters with only half the typical training costs traditional transformers require.

Tokenformer의 성능 이점은 주목할 만합니다. 모델이 정확성을 유지하면서 계산 비용을 크게 줄여주기 때문입니다. 예를 들어 Tokenformer는 기존 변환기에 필요한 일반적인 교육 비용의 절반만으로 매개변수를 1억 2,400만 개에서 14억 개로 확장했습니다.

In one experiment, the model achieved a test perplexity of 11.77 for a 1.4 billion parameter configuration, nearly matching the 11.63 perplexity of a similarly sized transformer trained from scratch.

한 실험에서 모델은 14억 개의 매개변수 구성에 대해 11.77의 테스트 혼란도를 달성했는데, 이는 처음부터 훈련된 비슷한 크기의 변환기의 11.63 혼란도와 거의 일치합니다.

This efficiency means Tokenformer can achieve high performance across multiple domains, including language and visual modeling tasks, at a fraction of the resource expenditure of traditional models.

이러한 효율성은 Tokenformer가 기존 모델에 비해 적은 리소스 비용으로 언어 및 시각적 모델링 작업을 포함한 여러 영역에서 높은 성능을 달성할 수 있음을 의미합니다.

Tokenformer presents numerous key takeaways for advancing AI research and improving transformer-based models. These include:

Tokenformer는 AI 연구를 발전시키고 변환기 기반 모델을 개선하기 위한 수많은 핵심 내용을 제시합니다. 여기에는 다음이 포함됩니다.

Treating parameters as tokens enables incremental model scaling without retraining.

매개변수를 토큰으로 처리하면 재학습 없이 점진적인 모델 확장이 가능합니다.

The token-parameter attention layer facilitates efficient parameter expansion.

토큰 매개변수 주의 계층은 효율적인 매개변수 확장을 촉진합니다.

Modular architecture supports seamless model growth by incorporating additional tokens.

모듈식 아키텍처는 추가 토큰을 통합하여 원활한 모델 성장을 지원합니다.

The model achieves high performance across diverse domains with minimal resource expenditure.

이 모델은 최소한의 리소스 지출로 다양한 도메인에서 높은 성능을 달성합니다.

In conclusion, Tokenformer offers a transformative approach to scaling transformer-based models. This model architecture achieves scalability and resource efficiency by treating parameters as tokens, reducing costs, and preserving model performance across tasks.

결론적으로 Tokenformer는 변환기 기반 모델 확장에 대한 혁신적인 접근 방식을 제공합니다. 이 모델 아키텍처는 매개변수를 토큰으로 처리하고 비용을 절감하며 작업 전반에 걸쳐 모델 성능을 보존함으로써 확장성과 리소스 효율성을 달성합니다.

This flexibility represents a breakthrough in transformer design, providing a model that can adapt to the demands of advancing AI applications without retraining. Tokenformer’s architecture holds promise for future AI research, offering a pathway to develop large-scale models sustainably and efficiently.

이러한 유연성은 재교육 없이 AI 애플리케이션 발전 요구 사항에 적응할 수 있는 모델을 제공함으로써 변환기 설계의 획기적인 발전을 의미합니다. Tokenformer의 아키텍처는 대규모 모델을 지속 가능하고 효율적으로 개발할 수 있는 경로를 제공하여 미래 AI 연구에 대한 가능성을 제시합니다.

Check out the Paper, GitHub Page, and Models on HuggingFace.

HuggingFace에서 Paper, GitHub 페이지 및 모델을 확인하세요.

All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. If you like our work, you will love our newsletter. Don’t Forget to join our 55k+ ML SubReddit.

이 연구에 대한 모든 공로는 이 프로젝트의 연구자에게 돌아갑니다. 또한 Twitter에서 우리를 팔로우하고 Telegram 채널과 LinkedIn 그룹에 가입하는 것을 잊지 마세요. 저희 작업이 마음에 드신다면 저희 뉴스레터도 마음에 드실 것입니다. 55,000개 이상의 ML SubReddit에 가입하는 것을 잊지 마세요.

[Sponsorship Opportunity with us] Promote Your Research/Product/Webinar with 1Million+ Monthly Readers and 500k+ Community Members

[저희와 함께하는 후원 기회] 1백만 명 이상의 월간 독자와 50만 명 이상의 커뮤니티 회원과 함께 귀하의 연구/제품/웹 세미나를 홍보하세요