Die HGX H200-KI-Beschleuniger von NVIDIA erhalten einen großen Schub bei der Llama 3.1-Inferenz mit dem exklusiven NVIDIA-Dekodierungsalgorithmus „Medusa“.

Die Leistung hängt von der Fähigkeit der kombinierten GPUs ab, Anfragen als „eine mächtige GPU“ mit ultraschneller GPU-zu-GPU-Kommunikation und fortschrittlicher Software zu verarbeiten

NVIDIA's HGX H200 AI accelerators are getting a big boost in Llama 3.1 inferencing, thanks to a new NVIDIA-exclusive decoding algorithm called "Medusa."

Die HGX H200-KI-Beschleuniger von NVIDIA erhalten dank eines neuen NVIDIA-exklusiven Dekodierungsalgorithmus namens „Medusa“ einen großen Schub bei der Llama 3.1-Inferenz.

As large language models (LLMs) continue to grow in size and complexity, multi-GPU compute is a must-have to deliver the low latency and high throughput that real-time generative AI applications demand.

Da große Sprachmodelle (LLMs) immer größer und komplexer werden, ist Multi-GPU-Computing ein Muss, um die geringe Latenz und den hohen Durchsatz zu liefern, die generative KI-Anwendungen in Echtzeit erfordern.

Performance depends on the combined GPUs' ability to work together as “one mighty GPU” with ultra-fast GPU-to-GPU communication and advanced software able to take full advantage of the multiple GPUs. By splitting the calculations of each model layer across the available GPUs using a technique called tensor parallelism in tandem with advanced algorithms like speculative decoding, token generation latency can be reduced, delivering an interactive user experience.

Die Leistung hängt von der Fähigkeit der kombinierten GPUs ab, als „eine mächtige GPU“ zusammenzuarbeiten, mit ultraschneller GPU-zu-GPU-Kommunikation und fortschrittlicher Software, die in der Lage ist, die Vorteile mehrerer GPUs voll auszunutzen. Durch die Aufteilung der Berechnungen jeder Modellschicht auf die verfügbaren GPUs mithilfe einer Technik namens Tensorparallelität in Verbindung mit fortschrittlichen Algorithmen wie spekulativer Dekodierung kann die Latenz bei der Token-Generierung reduziert werden, was zu einem interaktiven Benutzererlebnis führt.

For very low latency Llama 3.1 serving, cloud services can use a full NVIDIA HGX H200 server, each incorporating eight H200 Tensor Core GPUs and four all-to-all NVLink Switch chips. Each GPU within the server can communicate at the full 900 GB/s bandwidth to any other GPU via NVLink Switch. High GPU-to-GPU fabric bandwidth is required to keep multi-GPU communication from becoming the bottleneck in interactive use cases.

Für die Bereitstellung von Llama 3.1 mit sehr geringer Latenz können Cloud-Dienste einen vollständigen NVIDIA HGX H200-Server verwenden, der jeweils acht H200 Tensor Core-GPUs und vier All-to-All-NVLink-Switch-Chips enthält. Jede GPU innerhalb des Servers kann über NVLink Switch mit der vollen Bandbreite von 900 GB/s mit jeder anderen GPU kommunizieren. Eine hohe GPU-zu-GPU-Fabric-Bandbreite ist erforderlich, um zu verhindern, dass die Multi-GPU-Kommunikation in interaktiven Anwendungsfällen zum Engpass wird.

To efficiently implement optimization algorithms on NVIDIA H200 HGX systems, NVIDIA TensorRT-LLM is used. TensorRT-LLM is an open-source TensorRT library that delivers state-of-the-art inference performance on the latest LLMs using a variety of techniques, including tensor parallelism and speculative decoding.

Zur effizienten Implementierung von Optimierungsalgorithmen auf NVIDIA H200 HGX-Systemen wird NVIDIA TensorRT-LLM verwendet. TensorRT-LLM ist eine Open-Source-TensorRT-Bibliothek, die modernste Inferenzleistung auf den neuesten LLMs unter Verwendung einer Vielzahl von Techniken, einschließlich Tensorparallelität und spekulativer Dekodierung, liefert.

Upcoming TensorRT-LLM optimizations, including the improvement of a speculative decoding algorithm called Medusa, provide outstanding low latency performance on Llama 3.1 70B and Llama 3.1 405B of 268 tokens/second/user and 108 tokens/second/user, respectively on HGX H200.

Zukünftige TensorRT-LLM-Optimierungen, einschließlich der Verbesserung eines spekulativen Decodierungsalgorithmus namens Medusa, bieten eine herausragende Leistung mit geringer Latenz auf Llama 3.1 70B und Llama 3.1 405B von 268 Token/Sekunde/Benutzer bzw. 108 Token/Sekunde/Benutzer auf HGX H200.

Medusa boosts token generation by up to 1.9x on NVIDIA HGX H200

Medusa steigert die Token-Generierung auf NVIDIA HGX H200 um das bis zu 1,9-fache

Transformer-based LLMs are auto-regressive, meaning that tokens need to be generated sequentially, limiting throughput per generation step to just one token. Typically, during LLM inference, the rate at which a single token is generated depends on how quickly model weights are loaded into memory. This means that the workload can leave the substantial Tensor Core capabilities of H200 GPUs underutilized.

Transformer-basierte LLMs sind autoregressiv, was bedeutet, dass Token nacheinander generiert werden müssen, wodurch der Durchsatz pro Generierungsschritt auf nur ein Token begrenzt ist. Normalerweise hängt die Rate, mit der ein einzelnes Token generiert wird, während der LLM-Inferenz davon ab, wie schnell Modellgewichte in den Speicher geladen werden. Dies bedeutet, dass die beträchtliche Tensor-Core-Fähigkeit der H200-GPUs aufgrund der Arbeitslast nicht ausreichend genutzt werden kann.

Speculative decoding is a technique that increases token generation throughput per token generation step by using a “draft model” to try to predict multiple subsequent tokens beyond the next token. The target LLM then “batches” the prediction candidates and validates them in parallel with the next token, making more effective use of available parallel GPU compute resources. If the original LLM accepts any candidate sequence, multiple tokens are generated in the generation step and therefore accelerate token generation.

Bei der spekulativen Dekodierung handelt es sich um eine Technik, die den Token-Generierungsdurchsatz pro Token-Generierungsschritt erhöht, indem mithilfe eines „Entwurfsmodells“ versucht wird, mehrere nachfolgende Token über den nächsten Token hinaus vorherzusagen. Der Ziel-LLM „stapelt“ dann die Vorhersagekandidaten und validiert sie parallel mit dem nächsten Token, wodurch die verfügbaren parallelen GPU-Rechenressourcen effektiver genutzt werden. Wenn der ursprüngliche LLM eine beliebige Kandidatensequenz akzeptiert, werden im Generierungsschritt mehrere Token generiert und somit die Token-Generierung beschleunigt.

Medusa, described in this paper, is a speculative decoding algorithm that uses the original model as the draft model, avoiding the system complexity and distribution discrepancy of using a separate draft model. This technique employs additional decoding “heads”, called Medusa heads, to predict candidate tokens beyond the next token. Each Medusa head generates a distribution of tokens beyond the previous.

Medusa, das in diesem Artikel beschrieben wird, ist ein spekulativer Dekodierungsalgorithmus, der das Originalmodell als Entwurfsmodell verwendet und so die Systemkomplexität und Verteilungsdiskrepanz bei der Verwendung eines separaten Entwurfsmodells vermeidet. Diese Technik verwendet zusätzliche Dekodierungs-„Köpfe“, sogenannte Medusa-Köpfe, um Kandidaten-Tokens nach dem nächsten Token vorherzusagen. Jeder Medusa-Kopf erzeugt eine über den vorherigen hinausgehende Verteilung von Token.

With Medusa, an HGX H200 can produce 268 tokens per second per user for Llama 3.1 70B and 108 for Llama 3.1 405B. This is over 1.5x faster on Llama 3.1 70B and over 1.9x faster on Llama 3.1 405B than without Medusa. Although there is variability in the Medusa acceptance rate between tasks depending on how the heads are fine-tuned, its overall performance is generalized across a wide range of tasks.

Mit Medusa kann ein HGX H200 268 Token pro Sekunde und Benutzer für Llama 3.1 70B und 108 für Llama 3.1 405B produzieren. Dies ist über 1,5-mal schneller auf Llama 3.1 70B und über 1,9-mal schneller auf Llama 3.1 405B als ohne Medusa. Obwohl die Medusa-Akzeptanzrate je nach der Feinabstimmung der Köpfe zwischen den Aufgaben unterschiedlich ist, ist ihre Gesamtleistung auf ein breites Aufgabenspektrum verallgemeinert.

Medusa heads for both Llama 3.1 70B and Llama 3.1 405B were trained using the NVIDIA TensorRT Model Optimizer integration with the NVIDIA NeMo framework. The Medusa head training used a frozen backbone, ensuring that the use of Medusa yields identical accuracy to the base model.

Medusa-Köpfe für Llama 3.1 70B und Llama 3.1 405B wurden mithilfe der NVIDIA TensorRT Model Optimizer-Integration mit dem NVIDIA NeMo-Framework trainiert. Beim Medusa-Kopftraining wurde ein gefrorenes Rückgrat verwendet, um sicherzustellen, dass die Verwendung von Medusa die gleiche Genauigkeit wie das Basismodell liefert.

NVIDIA full-stack innovation never stops

Die Full-Stack-Innovation von NVIDIA hört nie auf

NVIDIA HGX H200 with NVLink Switch and TensorRT-LLM already deliver excellent real-time inference performance on popular and demanding community models. To continue improving user experiences and reduce inference costs, we relentlessly innovate across every layer of the technology stack – chips, systems, software libraries, algorithms, and more.

NVIDIA HGX H200 mit NVLink Switch und TensorRT-LLM bietet bereits hervorragende Echtzeit-Inferenzleistung auf beliebten und anspruchsvollen Community-Modellen. Um die Benutzererfahrung weiter zu verbessern und die Inferenzkosten zu senken, entwickeln wir unermüdlich Innovationen auf allen Ebenen des Technologie-Stacks – Chips, Systeme, Softwarebibliotheken, Algorithmen und mehr.

We look forward to sharing future updates on our low latency inference performance as both our platform and the LLM ecosystem advances.

Wir freuen uns darauf, zukünftige Updates zu unserer Inferenzleistung mit geringer Latenz zu teilen, während sich sowohl unsere Plattform als auch das LLM-Ökosystem weiterentwickeln.