Meta stellt Multi-Token-Vorhersagetechnik vor, die möglicherweise die Entwicklung großer Sprachmodelle revolutioniert

Meta hat im Rennen um eine effizientere künstliche Intelligenz den Fehdehandschuh hingeworfen. Der Technologieriese hat am Mittwoch vorab trainierte Modelle veröffentlicht, die einen neuartigen Multi-Token-Vorhersageansatz nutzen und möglicherweise die Art und Weise verändern, wie große Sprachmodelle (LLMs) entwickelt und eingesetzt werden.

Meta unveiled pre-trained models on Wednesday that leverage a novel multi-token prediction approach, potentially changing how large language models (LLMs) are developed and deployed.

Meta stellte am Mittwoch vorab trainierte Modelle vor, die einen neuartigen Multi-Token-Vorhersageansatz nutzen und möglicherweise die Art und Weise verändern, wie große Sprachmodelle (LLMs) entwickelt und eingesetzt werden.

The tech giant’s latest offering comes in the wake of a recent paper published by Meta researchers, which outlines a new training method for LLMs that leverages multi-token prediction. In a bid to further propel research in this domain, Meta has now released pre-trained models for code completion, leveraging this approach on Hugging Face.

Das neueste Angebot des Technologieriesen folgt auf ein kürzlich von Meta-Forschern veröffentlichtes Papier, in dem eine neue Trainingsmethode für LLMs beschrieben wird, die die Multi-Token-Vorhersage nutzt. Um die Forschung in diesem Bereich weiter voranzutreiben, hat Meta nun vorab trainierte Modelle für die Code-Vervollständigung veröffentlicht und nutzt diesen Ansatz für Hugging Face.

This technique marks a departure from the traditional approach of training LLMs to predict only the next word in a sequence. Instead, Meta’s method tasks models with forecasting multiple future words simultaneously, promising both enhanced performance and drastically reduced training times.

Diese Technik stellt eine Abkehr vom traditionellen Ansatz dar, LLMs so zu trainieren, dass sie nur das nächste Wort in einer Sequenz vorhersagen. Stattdessen beauftragt Metas Methode Modelle mit der gleichzeitigen Vorhersage mehrerer zukünftiger Wörter, was sowohl eine verbesserte Leistung als auch drastisch verkürzte Trainingszeiten verspricht.

The implications of this breakthrough could be far-reaching. As AI models continue to grow in size and complexity, their voracious appetite for computational power has raised concerns about cost and environmental impact. Meta’s multi-token prediction method might offer a way to curb this trend, making advanced AI more accessible and sustainable.

Die Auswirkungen dieses Durchbruchs könnten weitreichend sein. Da KI-Modelle immer größer und komplexer werden, hat ihr unersättlicher Appetit auf Rechenleistung Bedenken hinsichtlich der Kosten und der Auswirkungen auf die Umwelt geweckt. Die Multi-Token-Vorhersagemethode von Meta könnte eine Möglichkeit bieten, diesen Trend einzudämmen und fortschrittliche KI zugänglicher und nachhaltiger zu machen.

Democratizing AI: The promise and perils of efficient language models

Demokratisierung der KI: Das Versprechen und die Gefahren effizienter Sprachmodelle

The potential of this new approach extends beyond mere efficiency gains. By predicting multiple tokens at once, these models may develop a more nuanced understanding of language structure and context. This could lead to improvements in tasks ranging from code generation to creative writing, potentially bridging the gap between AI and human-level language understanding.

Das Potenzial dieses neuen Ansatzes geht über bloße Effizienzgewinne hinaus. Durch die gleichzeitige Vorhersage mehrerer Token können diese Modelle ein differenzierteres Verständnis der Sprachstruktur und des Sprachkontexts entwickeln. Dies könnte zu Verbesserungen bei Aufgaben führen, die von der Codegenerierung bis zum kreativen Schreiben reichen, und möglicherweise die Lücke zwischen KI und Sprachverständnis auf menschlicher Ebene schließen.

Countdown to VB Transform 2024

Countdown zur VB-Transformation 2024

Join enterprise leaders in San Francisco from July 9 to 11 for our flagship AI event. Connect with peers, explore the opportunities and challenges of Generative AI, and learn how to integrate AI applications into your industry. Register Now

Treffen Sie vom 9. bis 11. Juli Unternehmensführer in San Francisco zu unserer Flaggschiff-KI-Veranstaltung. Treten Sie mit Kollegen in Kontakt, erkunden Sie die Chancen und Herausforderungen der generativen KI und erfahren Sie, wie Sie KI-Anwendungen in Ihre Branche integrieren können. Jetzt registrieren