ReDrafter d'Apple : révolutionner la formation de modèles de langage avec une génération de jetons ultra-rapide

Apple a réalisé une percée remarquable dans le monde de l'apprentissage automatique grâce à son approche innovante permettant de rendre la formation de modèles de langage ultra-rapide. La nouvelle méthode du géant de la technologie, appelée ReDrafter, est sur le point de révolutionner la façon dont nous construisons et déployons des modèles d'IA en accélérant considérablement le processus de génération de jetons.

Apple has made a remarkable breakthrough in the world of machine learning with its innovative approach to making language model training lightning-fast. The tech giant’s new method, called ReDrafter, is set to revolutionize the way we build and deploy AI models by significantly accelerating the token generation process.

Apple a réalisé une percée remarquable dans le monde de l'apprentissage automatique grâce à son approche innovante permettant de rendre la formation de modèles de langage ultra-rapide. La nouvelle méthode du géant de la technologie, appelée ReDrafter, est sur le point de révolutionner la façon dont nous construisons et déployons des modèles d'IA en accélérant considérablement le processus de génération de jetons.

The Challenges in Building AI Models

Les défis liés à la création de modèles d'IA

Developing large language models (LLMs) is known to be a resource-intensive undertaking. Traditional methods require substantial hardware investments and incur high energy costs. Earlier this year, Apple introduced ReDrafter, an open-sourced technique aimed at streamlining this process.

Le développement de grands modèles de langage (LLM) est connu pour être une entreprise gourmande en ressources. Les méthodes traditionnelles nécessitent des investissements matériels importants et entraînent des coûts énergétiques élevés. Plus tôt cette année, Apple a introduit ReDrafter, une technique open source visant à rationaliser ce processus.

A Breakthrough in Speed

Une avancée en termes de vitesse

ReDrafter, which utilizes a Recurrent Neural Network (RNN) draft model, leverages a unique combination of beam search and dynamic tree attention. This innovation has led to LLM token generation speeds up to 3.5 times faster than conventional auto-regressive techniques. Now, Apple's ReDrafter is ready for prime time, particularly with Nvidia GPUs.

ReDrafter, qui utilise un modèle de projet de réseau neuronal récurrent (RNN), exploite une combinaison unique de recherche de faisceaux et d'attention dynamique aux arbres. Cette innovation a conduit à des vitesses de génération de jetons LLM jusqu'à 3,5 fois plus rapides que les techniques auto-régressives conventionnelles. Désormais, le ReDrafter d'Apple est prêt à être diffusé aux heures de grande écoute, notamment avec les GPU Nvidia.

Collaboration with Nvidia

Collaboration avec Nvidia

Apple collaborated closely with Nvidia to integrate ReDrafter into the Nvidia TensorRT-LLM framework. This partnership has resulted in a significant 2.7-times speed increase in token generation during testing on Nvidia’s powerful GPUs, offering substantial benefits in terms of efficiency and hardware reduction.

Apple a collaboré étroitement avec Nvidia pour intégrer ReDrafter dans le framework Nvidia TensorRT-LLM. Ce partenariat a abouti à une augmentation significative de 2,7 fois la vitesse de génération de jetons lors des tests sur les puissants GPU de Nvidia, offrant des avantages substantiels en termes d'efficacité et de réduction matérielle.

Impact on the AI Community

Impact sur la communauté de l'IA

This advancement will not only mean faster responses for users but also reduced hardware expenses for companies, paving the way for more sophisticated AI models. Nvidia hailed the collaboration as enhancing TensorRT-LLM’s flexibility and power.

Cette avancée signifiera non seulement des réponses plus rapides pour les utilisateurs, mais également une réduction des dépenses matérielles pour les entreprises, ouvrant la voie à des modèles d'IA plus sophistiqués. Nvidia a salué cette collaboration comme améliorant la flexibilité et la puissance de TensorRT-LLM.

In light of these advances, Apple continues to explore new frontiers, previously indicating potential efficiency gains from using Amazon’s Trainium2 chip for future AI model training.

À la lumière de ces avancées, Apple continue d'explorer de nouvelles frontières, indiquant précédemment des gains d'efficacité potentiels grâce à l'utilisation de la puce Trainium2 d'Amazon pour la future formation de modèles d'IA.