Der Wettlauf um Open-Source-LLMs mit langem Kontext verschärft sich, da Gradient und Crusoe das „Kontextfenster“ von Llama-3 auf 1 Million Token erweitern

In einer aktuellen Zusammenarbeit haben das KI-Startup Gradient und die Cloud-Computing-Plattform Crusoe das „Kontextfenster“ von Llama-3-Modellen auf 1 Million Token erweitert. Das Kontextfenster bestimmt die Anzahl der Eingabe- und Ausgabetokens, die ein großes Sprachmodell (LLM) verarbeiten kann.

VentureBeat Transform 2024 will feature leaders from OpenAI, Chevron, Nvidia, Kaiser Permanente, and Capital One. This three-day event will provide attendees with the opportunity to gain essential insights about GenAI and expand their network.

An VentureBeat Transform 2024 werden Führungskräfte von OpenAI, Chevron, Nvidia, Kaiser Permanente und Capital One teilnehmen. Diese dreitägige Veranstaltung bietet den Teilnehmern die Möglichkeit, wichtige Einblicke in GenAI zu gewinnen und ihr Netzwerk zu erweitern.

In a recent collaboration, Gradient and Crusoe extended the context window of Llama-3 models to 1 million tokens. The context window determines the number of input and output tokens a large language model (LLM) can process.

In einer kürzlich durchgeführten Zusammenarbeit haben Gradient und Crusoe das Kontextfenster von Llama-3-Modellen auf 1 Million Token erweitert. Das Kontextfenster bestimmt die Anzahl der Eingabe- und Ausgabetokens, die ein großes Sprachmodell (LLM) verarbeiten kann.

Big tech companies and frontier AI labs are competing to extend the context windows of their LLMs. In a few months, models have gone from supporting a few thousand tokens to more than a million in less than a year. However, LLMs with very long context windows are mostly limited to private models such as Anthropic Claude (200k tokens), OpenAI GPT-4 (128k tokens), and Google Gemini (1 million tokens).

Große Technologieunternehmen und innovative KI-Labore konkurrieren darum, die Kontextfenster ihrer LLMs zu erweitern. Innerhalb weniger Monate haben sich die Modelle von der Unterstützung einiger Tausend Token auf über eine Million in weniger als einem Jahr entwickelt. Allerdings sind LLMs mit sehr langen Kontextfenstern meist auf private Modelle wie Anthropic Claude (200.000 Token), OpenAI GPT-4 (128.000 Token) und Google Gemini (1 Million Token) beschränkt.

The race to create open-source models with long context windows could reshuffle the LLM market and unlock applications that are not possible with private models.

Der Wettlauf um die Entwicklung von Open-Source-Modellen mit langen Kontextfenstern könnte den LLM-Markt neu ordnen und Anwendungen freischalten, die mit privaten Modellen nicht möglich sind.

Gradient works with enterprise customers who want to integrate LLMs into their workflows. Even before Llama-3 came out, the company was facing context pain points in projects they were working on for their customers.

Gradient arbeitet mit Unternehmenskunden zusammen, die LLMs in ihre Arbeitsabläufe integrieren möchten. Schon bevor Llama-3 herauskam, hatte das Unternehmen bei Projekten, an denen es für seine Kunden arbeitete, mit Kontextproblemen zu kämpfen.