Gradient와 Crusoe가 Llama-3의 "컨텍스트 창"을 100만 개 토큰으로 확장함에 따라 오픈 소스 긴 컨텍스트 LLM을 향한 경쟁이 더욱 뜨거워지고 있습니다.

최근 협업을 통해 AI 스타트업 Gradient와 클라우드 컴퓨팅 플랫폼 Crusoe는 Llama-3 모델의 "컨텍스트 창"을 100만 개의 토큰으로 확장했습니다. 컨텍스트 창은 LLM(대형 언어 모델)이 처리할 수 있는 입력 및 출력 토큰 수를 결정합니다.

VentureBeat Transform 2024 will feature leaders from OpenAI, Chevron, Nvidia, Kaiser Permanente, and Capital One. This three-day event will provide attendees with the opportunity to gain essential insights about GenAI and expand their network.

VentureBeat Transform 2024에는 OpenAI, Chevron, Nvidia, Kaiser Permanente 및 Capital One의 리더들이 참여합니다. 3일간 진행되는 이 행사는 참석자들에게 GenAI에 대한 필수적인 통찰력을 얻고 네트워크를 확장할 수 있는 기회를 제공할 것입니다.

In a recent collaboration, Gradient and Crusoe extended the context window of Llama-3 models to 1 million tokens. The context window determines the number of input and output tokens a large language model (LLM) can process.

최근 협력을 통해 Gradient와 Crusoe는 Llama-3 모델의 컨텍스트 창을 1백만 개의 토큰으로 확장했습니다. 컨텍스트 창은 LLM(대형 언어 모델)이 처리할 수 있는 입력 및 출력 토큰 수를 결정합니다.

Big tech companies and frontier AI labs are competing to extend the context windows of their LLMs. In a few months, models have gone from supporting a few thousand tokens to more than a million in less than a year. However, LLMs with very long context windows are mostly limited to private models such as Anthropic Claude (200k tokens), OpenAI GPT-4 (128k tokens), and Google Gemini (1 million tokens).

대형 기술 기업과 첨단 AI 연구소는 LLM의 컨텍스트 창을 확장하기 위해 경쟁하고 있습니다. 몇 달 만에 모델은 수천 개의 토큰을 지원하는 것에서 1년도 안 되어 백만 개 이상으로 늘어났습니다. 그러나 컨텍스트 창이 매우 긴 LLM은 대부분 Anthropic Claude(200,000개 토큰), OpenAI GPT-4(128,000개 토큰) 및 Google Gemini(100만 개 토큰)와 같은 비공개 모델로 제한됩니다.

The race to create open-source models with long context windows could reshuffle the LLM market and unlock applications that are not possible with private models.

긴 컨텍스트 창을 갖춘 오픈 소스 모델을 만들기 위한 경쟁은 LLM 시장을 재편하고 개인 모델로는 불가능한 애플리케이션을 잠금 해제할 수 있습니다.

Gradient works with enterprise customers who want to integrate LLMs into their workflows. Even before Llama-3 came out, the company was facing context pain points in projects they were working on for their customers.

Gradient는 LLM을 워크플로에 통합하려는 기업 고객과 협력합니다. Llama-3이 출시되기 전에도 회사는 고객을 위해 진행 중인 프로젝트에서 상황에 따른 문제점에 직면해 있었습니다.