Les accélérateurs d'IA HGX H200 de NVIDIA bénéficient d'un grand coup de pouce dans l'inférence Llama 3.1, avec l'algorithme de décodage exclusif NVIDIA « Medusa ».

Les performances dépendent de la capacité des GPU combinés à traiter les requêtes comme « un seul GPU puissant » avec une communication GPU à GPU ultra-rapide et un logiciel avancé capable

NVIDIA's HGX H200 AI accelerators are getting a big boost in Llama 3.1 inferencing, thanks to a new NVIDIA-exclusive decoding algorithm called "Medusa."

Les accélérateurs d'IA HGX H200 de NVIDIA bénéficient d'un grand coup de pouce dans l'inférence Llama 3.1, grâce à un nouvel algorithme de décodage exclusif à NVIDIA appelé « Medusa ».

As large language models (LLMs) continue to grow in size and complexity, multi-GPU compute is a must-have to deliver the low latency and high throughput that real-time generative AI applications demand.

Alors que les grands modèles de langage (LLM) continuent de croître en taille et en complexité, le calcul multi-GPU est indispensable pour offrir la faible latence et le débit élevé qu'exigent les applications d'IA générative en temps réel.

Performance depends on the combined GPUs' ability to work together as “one mighty GPU” with ultra-fast GPU-to-GPU communication and advanced software able to take full advantage of the multiple GPUs. By splitting the calculations of each model layer across the available GPUs using a technique called tensor parallelism in tandem with advanced algorithms like speculative decoding, token generation latency can be reduced, delivering an interactive user experience.

Les performances dépendent de la capacité des GPU combinés à fonctionner ensemble comme « un seul GPU puissant » avec une communication GPU à GPU ultra-rapide et un logiciel avancé capable de tirer pleinement parti des multiples GPU. En répartissant les calculs de chaque couche de modèle sur les GPU disponibles à l'aide d'une technique appelée parallélisme tensoriel en tandem avec des algorithmes avancés tels que le décodage spéculatif, la latence de génération de jetons peut être réduite, offrant ainsi une expérience utilisateur interactive.

For very low latency Llama 3.1 serving, cloud services can use a full NVIDIA HGX H200 server, each incorporating eight H200 Tensor Core GPUs and four all-to-all NVLink Switch chips. Each GPU within the server can communicate at the full 900 GB/s bandwidth to any other GPU via NVLink Switch. High GPU-to-GPU fabric bandwidth is required to keep multi-GPU communication from becoming the bottleneck in interactive use cases.

Pour le service Llama 3.1 à très faible latence, les services cloud peuvent utiliser un serveur NVIDIA HGX H200 complet, chacun intégrant huit GPU H200 Tensor Core et quatre puces NVLink Switch tout-à-tout. Chaque GPU du serveur peut communiquer avec une bande passante complète de 900 Go/s avec n'importe quel autre GPU via NVLink Switch. Une bande passante élevée de structure GPU à GPU est nécessaire pour empêcher la communication multi-GPU de devenir un goulot d'étranglement dans les cas d'utilisation interactive.

To efficiently implement optimization algorithms on NVIDIA H200 HGX systems, NVIDIA TensorRT-LLM is used. TensorRT-LLM is an open-source TensorRT library that delivers state-of-the-art inference performance on the latest LLMs using a variety of techniques, including tensor parallelism and speculative decoding.

Pour implémenter efficacement des algorithmes d'optimisation sur les systèmes NVIDIA H200 HGX, NVIDIA TensorRT-LLM est utilisé. TensorRT-LLM est une bibliothèque TensorRT open source qui offre des performances d'inférence de pointe sur les derniers LLM en utilisant diverses techniques, notamment le parallélisme tensoriel et le décodage spéculatif.

Upcoming TensorRT-LLM optimizations, including the improvement of a speculative decoding algorithm called Medusa, provide outstanding low latency performance on Llama 3.1 70B and Llama 3.1 405B of 268 tokens/second/user and 108 tokens/second/user, respectively on HGX H200.

Les optimisations TensorRT-LLM à venir, y compris l'amélioration d'un algorithme de décodage spéculatif appelé Medusa, offrent des performances exceptionnelles en matière de faible latence sur Llama 3.1 70B et Llama 3.1 405B de 268 jetons/seconde/utilisateur et 108 jetons/seconde/utilisateur, respectivement sur HGX H200.

Medusa boosts token generation by up to 1.9x on NVIDIA HGX H200

Medusa multiplie par 1,9 la génération de jetons sur NVIDIA HGX H200

Transformer-based LLMs are auto-regressive, meaning that tokens need to be generated sequentially, limiting throughput per generation step to just one token. Typically, during LLM inference, the rate at which a single token is generated depends on how quickly model weights are loaded into memory. This means that the workload can leave the substantial Tensor Core capabilities of H200 GPUs underutilized.

Les LLM basés sur des transformateurs sont auto-régressifs, ce qui signifie que les jetons doivent être générés de manière séquentielle, limitant le débit par étape de génération à un seul jeton. En règle générale, lors de l'inférence LLM, la vitesse à laquelle un seul jeton est généré dépend de la rapidité avec laquelle les poids du modèle sont chargés en mémoire. Cela signifie que la charge de travail peut laisser les capacités Tensor Core substantielles des GPU H200 sous-utilisées.

Speculative decoding is a technique that increases token generation throughput per token generation step by using a “draft model” to try to predict multiple subsequent tokens beyond the next token. The target LLM then “batches” the prediction candidates and validates them in parallel with the next token, making more effective use of available parallel GPU compute resources. If the original LLM accepts any candidate sequence, multiple tokens are generated in the generation step and therefore accelerate token generation.

Le décodage spéculatif est une technique qui augmente le débit de génération de jetons par étape de génération de jeton en utilisant un « projet de modèle » pour tenter de prédire plusieurs jetons suivants au-delà du jeton suivant. Le LLM cible « regroupe ensuite » les candidats de prédiction et les valide en parallèle avec le jeton suivant, utilisant ainsi plus efficacement les ressources de calcul GPU parallèles disponibles. Si le LLM d'origine accepte une séquence candidate, plusieurs jetons sont générés lors de l'étape de génération et accélèrent donc la génération de jetons.

Medusa, described in this paper, is a speculative decoding algorithm that uses the original model as the draft model, avoiding the system complexity and distribution discrepancy of using a separate draft model. This technique employs additional decoding “heads”, called Medusa heads, to predict candidate tokens beyond the next token. Each Medusa head generates a distribution of tokens beyond the previous.

Medusa, décrit dans cet article, est un algorithme de décodage spéculatif qui utilise le modèle d'origine comme modèle de projet, évitant ainsi la complexité du système et les écarts de distribution liés à l'utilisation d'un modèle de projet distinct. Cette technique utilise des « têtes » de décodage supplémentaires, appelées têtes de Méduse, pour prédire les jetons candidats au-delà du jeton suivant. Chaque tête de Méduse génère une distribution de jetons au-delà de la précédente.

With Medusa, an HGX H200 can produce 268 tokens per second per user for Llama 3.1 70B and 108 for Llama 3.1 405B. This is over 1.5x faster on Llama 3.1 70B and over 1.9x faster on Llama 3.1 405B than without Medusa. Although there is variability in the Medusa acceptance rate between tasks depending on how the heads are fine-tuned, its overall performance is generalized across a wide range of tasks.

Avec Medusa, un HGX H200 peut produire 268 jetons par seconde et par utilisateur pour Llama 3.1 70B et 108 pour Llama 3.1 405B. C'est plus de 1,5 fois plus rapide sur Llama 3.1 70B et plus de 1,9 fois plus rapide sur Llama 3.1 405B que sans Medusa. Bien qu'il existe une variabilité dans le taux d'acceptation de Medusa entre les tâches en fonction de la manière dont les têtes sont réglées, sa performance globale est généralisée à un large éventail de tâches.

Medusa heads for both Llama 3.1 70B and Llama 3.1 405B were trained using the NVIDIA TensorRT Model Optimizer integration with the NVIDIA NeMo framework. The Medusa head training used a frozen backbone, ensuring that the use of Medusa yields identical accuracy to the base model.

Les têtes Medusa pour Llama 3.1 70B et Llama 3.1 405B ont été formées à l'aide de l'intégration de NVIDIA TensorRT Model Optimizer avec le framework NVIDIA NeMo. La formation de tête Medusa utilisait une colonne vertébrale gelée, garantissant que l'utilisation de Medusa produisait une précision identique à celle du modèle de base.

NVIDIA full-stack innovation never stops

L'innovation full-stack de NVIDIA ne s'arrête jamais

NVIDIA HGX H200 with NVLink Switch and TensorRT-LLM already deliver excellent real-time inference performance on popular and demanding community models. To continue improving user experiences and reduce inference costs, we relentlessly innovate across every layer of the technology stack – chips, systems, software libraries, algorithms, and more.

NVIDIA HGX H200 avec NVLink Switch et TensorRT-LLM offrent déjà d'excellentes performances d'inférence en temps réel sur les modèles communautaires populaires et exigeants. Pour continuer à améliorer l’expérience utilisateur et réduire les coûts d’inférence, nous innovons sans relâche à chaque couche de la pile technologique : puces, systèmes, bibliothèques de logiciels, algorithmes, etc.

We look forward to sharing future updates on our low latency inference performance as both our platform and the LLM ecosystem advances.

Nous sommes impatients de partager les futures mises à jour sur nos performances d'inférence à faible latence à mesure que notre plateforme et l'écosystème LLM progressent.