Gradient と Crusoe が Llama-3 の「コンテキスト ウィンドウ」を 100 万トークンに拡張するにつれ、オープンソースのロングコンテキスト LLM をめぐる競争が激化

最近のコラボレーションでは、AI スタートアップの Gradient とクラウド コンピューティング プラットフォームの Crusoe が、Llama-3 モデルの「コンテキスト ウィンドウ」を 100 万トークンに拡張しました。コンテキスト ウィンドウは、大規模言語モデル (LLM) が処理できる入出力トークンの数を決定します。

VentureBeat Transform 2024 will feature leaders from OpenAI, Chevron, Nvidia, Kaiser Permanente, and Capital One. This three-day event will provide attendees with the opportunity to gain essential insights about GenAI and expand their network.

VentureBeat Transform 2024 には、OpenAI、Chevron、Nvidia、Kaiser Permanente、Capital One のリーダーが参加します。この 3 日間のイベントは、参加者に GenAI に関する重要な洞察を獲得し、ネットワークを拡大する機会を提供します。

In a recent collaboration, Gradient and Crusoe extended the context window of Llama-3 models to 1 million tokens. The context window determines the number of input and output tokens a large language model (LLM) can process.

最近のコラボレーションで、Gradient と Crusoe は、Llama-3 モデルのコンテキスト ウィンドウを 100 万トークンに拡張しました。コンテキスト ウィンドウは、大規模言語モデル (LLM) が処理できる入出力トークンの数を決定します。

Big tech companies and frontier AI labs are competing to extend the context windows of their LLMs. In a few months, models have gone from supporting a few thousand tokens to more than a million in less than a year. However, LLMs with very long context windows are mostly limited to private models such as Anthropic Claude (200k tokens), OpenAI GPT-4 (128k tokens), and Google Gemini (1 million tokens).

大手テクノロジー企業とフロンティア AI ラボは、LLM のコンテキスト ウィンドウを拡張しようと競い合っています。数か月のうちに、モデルは数千トークンをサポートするものから、1 年足らずで 100 万以上のトークンをサポートするようになりました。ただし、非常に長いコンテキスト ウィンドウを持つ LLM は、ほとんどが Anthropic Claude (200,000 トークン)、OpenAI GPT-4 (128,000 トークン)、Google Gemini (100 万トークン) などのプライベート モデルに限定されています。

The race to create open-source models with long context windows could reshuffle the LLM market and unlock applications that are not possible with private models.

長いコンテキスト ウィンドウを備えたオープンソース モデルの開発競争により、LLM 市場が再編され、プライベート モデルでは不可能なアプリケーションが可能になる可能性があります。

Gradient works with enterprise customers who want to integrate LLMs into their workflows. Even before Llama-3 came out, the company was facing context pain points in projects they were working on for their customers.

Gradient は、LLM をワークフローに統合したいと考えている企業顧客と協力しています。 Llama-3 が登場する前から、同社は顧客のために取り組んでいたプロジェクトにおいてコンテキストの問題点に直面していました。