Meta dévoile une technique de prédiction multi-jetons, révolutionnant potentiellement le développement de grands modèles de langage

Meta a lancé le défi dans la course à une intelligence artificielle plus efficace. Le géant de la technologie a publié mercredi des modèles pré-entraînés qui exploitent une nouvelle approche de prédiction multi-jetons, modifiant potentiellement la façon dont les grands modèles linguistiques (LLM) sont développés et déployés.

Meta unveiled pre-trained models on Wednesday that leverage a novel multi-token prediction approach, potentially changing how large language models (LLMs) are developed and deployed.

Meta a dévoilé mercredi des modèles pré-entraînés qui exploitent une nouvelle approche de prédiction multi-jetons, modifiant potentiellement la façon dont les grands modèles linguistiques (LLM) sont développés et déployés.

The tech giant’s latest offering comes in the wake of a recent paper published by Meta researchers, which outlines a new training method for LLMs that leverages multi-token prediction. In a bid to further propel research in this domain, Meta has now released pre-trained models for code completion, leveraging this approach on Hugging Face.

La dernière offre du géant de la technologie fait suite à un article récent publié par des chercheurs de Meta, qui décrit une nouvelle méthode de formation pour les LLM qui exploite la prédiction multi-jetons. Dans le but de propulser davantage la recherche dans ce domaine, Meta a maintenant publié des modèles pré-entraînés pour la complétion de code, tirant parti de cette approche sur Hugging Face.

This technique marks a departure from the traditional approach of training LLMs to predict only the next word in a sequence. Instead, Meta’s method tasks models with forecasting multiple future words simultaneously, promising both enhanced performance and drastically reduced training times.

Cette technique marque une rupture avec l'approche traditionnelle consistant à former les LLM pour prédire uniquement le mot suivant dans une séquence. Au lieu de cela, la méthode de Meta charge les modèles de prévoir simultanément plusieurs mots futurs, promettant à la fois des performances améliorées et des temps de formation considérablement réduits.

The implications of this breakthrough could be far-reaching. As AI models continue to grow in size and complexity, their voracious appetite for computational power has raised concerns about cost and environmental impact. Meta’s multi-token prediction method might offer a way to curb this trend, making advanced AI more accessible and sustainable.

Les implications de cette avancée pourraient être considérables. Alors que les modèles d’IA continuent de croître en taille et en complexité, leur appétit vorace pour la puissance de calcul a soulevé des inquiétudes quant aux coûts et à l’impact environnemental. La méthode de prédiction multi-jetons de Meta pourrait offrir un moyen de freiner cette tendance, rendant l'IA avancée plus accessible et durable.

Democratizing AI: The promise and perils of efficient language models

Démocratiser l’IA : la promesse et les périls de modèles linguistiques efficaces

The potential of this new approach extends beyond mere efficiency gains. By predicting multiple tokens at once, these models may develop a more nuanced understanding of language structure and context. This could lead to improvements in tasks ranging from code generation to creative writing, potentially bridging the gap between AI and human-level language understanding.

Le potentiel de cette nouvelle approche va au-delà des simples gains d’efficacité. En prédisant plusieurs jetons à la fois, ces modèles peuvent développer une compréhension plus nuancée de la structure et du contexte du langage. Cela pourrait conduire à des améliorations dans des tâches allant de la génération de code à l’écriture créative, comblant potentiellement le fossé entre l’IA et la compréhension du langage au niveau humain.

Countdown to VB Transform 2024

Compte à rebours pour VB Transform 2024

Join enterprise leaders in San Francisco from July 9 to 11 for our flagship AI event. Connect with peers, explore the opportunities and challenges of Generative AI, and learn how to integrate AI applications into your industry. Register Now

Rejoignez les dirigeants d'entreprise à San Francisco du 9 au 11 juillet pour notre événement phare sur l'IA. Connectez-vous avec vos pairs, explorez les opportunités et les défis de l'IA générative et apprenez comment intégrer des applications d'IA dans votre secteur. S'inscrire maintenant