La course aux LLM open source à contexte long s'intensifie alors que Gradient et Crusoe étendent la « fenêtre de contexte » de Llama-3 à 1 million de jetons

Dans le cadre d'une récente collaboration, la startup d'IA Gradient et la plateforme de calcul cloud Crusoe ont étendu la « fenêtre contextuelle » des modèles Llama-3 à 1 million de jetons. La fenêtre contextuelle détermine le nombre de jetons d'entrée et de sortie qu'un grand modèle de langage (LLM) peut traiter.

VentureBeat Transform 2024 will feature leaders from OpenAI, Chevron, Nvidia, Kaiser Permanente, and Capital One. This three-day event will provide attendees with the opportunity to gain essential insights about GenAI and expand their network.

VentureBeat Transform 2024 mettra en vedette des dirigeants d'OpenAI, Chevron, Nvidia, Kaiser Permanente et Capital One. Cet événement de trois jours offrira aux participants l'opportunité d'acquérir des informations essentielles sur GenAI et d'élargir leur réseau.

In a recent collaboration, Gradient and Crusoe extended the context window of Llama-3 models to 1 million tokens. The context window determines the number of input and output tokens a large language model (LLM) can process.

Dans une récente collaboration, Gradient et Crusoe ont étendu la fenêtre contextuelle des modèles Llama-3 à 1 million de jetons. La fenêtre contextuelle détermine le nombre de jetons d'entrée et de sortie qu'un grand modèle de langage (LLM) peut traiter.

Big tech companies and frontier AI labs are competing to extend the context windows of their LLMs. In a few months, models have gone from supporting a few thousand tokens to more than a million in less than a year. However, LLMs with very long context windows are mostly limited to private models such as Anthropic Claude (200k tokens), OpenAI GPT-4 (128k tokens), and Google Gemini (1 million tokens).

Les grandes entreprises technologiques et les laboratoires d’IA de pointe sont en concurrence pour étendre les fenêtres contextuelles de leurs LLM. En quelques mois, les modèles sont passés de quelques milliers de tokens à plus d’un million en moins d’un an. Cependant, les LLM avec des fenêtres de contexte très longues sont pour la plupart limités aux modèles privés tels que Anthropic Claude (200 000 jetons), OpenAI GPT-4 (128 000 jetons) et Google Gemini (1 million de jetons).

The race to create open-source models with long context windows could reshuffle the LLM market and unlock applications that are not possible with private models.

La course à la création de modèles open source avec de longues fenêtres de contexte pourrait remanier le marché du LLM et débloquer des applications impossibles avec les modèles privés.

Gradient works with enterprise customers who want to integrate LLMs into their workflows. Even before Llama-3 came out, the company was facing context pain points in projects they were working on for their customers.

Gradient travaille avec des entreprises clientes qui souhaitent intégrer des LLM dans leurs flux de travail. Même avant la sortie de Llama-3, l'entreprise était confrontée à des problèmes de contexte dans les projets sur lesquels elle travaillait pour ses clients.