NVIDIA の HGX H200 AI アクセラレータは、NVIDIA 独自のデコード アルゴリズム「Medusa」により、Llama 3.1 推論を大幅に強化します。

パフォーマンスは、超高速 GPU 間通信と高度なソフトウェア機能を備えた「1 つの強力な GPU」としてリクエストを処理する、結合された GPU の能力に依存します。

NVIDIA's HGX H200 AI accelerators are getting a big boost in Llama 3.1 inferencing, thanks to a new NVIDIA-exclusive decoding algorithm called "Medusa."

NVIDIA の HGX H200 AI アクセラレータは、「Medusa」と呼ばれる新しい NVIDIA 独自のデコード アルゴリズムのおかげで、Llama 3.1 推論が大幅に強化されています。

As large language models (LLMs) continue to grow in size and complexity, multi-GPU compute is a must-have to deliver the low latency and high throughput that real-time generative AI applications demand.

大規模言語モデル (LLM) のサイズと複雑さが増大し続ける中、リアルタイム生成 AI アプリケーションが要求する低遅延と高スループットを実現するには、マルチ GPU コンピューティングが必須となっています。

Performance depends on the combined GPUs' ability to work together as “one mighty GPU” with ultra-fast GPU-to-GPU communication and advanced software able to take full advantage of the multiple GPUs. By splitting the calculations of each model layer across the available GPUs using a technique called tensor parallelism in tandem with advanced algorithms like speculative decoding, token generation latency can be reduced, delivering an interactive user experience.

パフォーマンスは、超高速 GPU 間通信と複数の GPU を最大限に活用できる高度なソフトウェアを備えた「1 つの強力な GPU」として連携する、結合された GPU の能力に依存します。テンソル並列処理と呼ばれる手法と投機的デコードなどの高度なアルゴリズムを併用して、各モデル層の計算を利用可能な GPU に分割することで、トークン生成の待ち時間を短縮し、インタラクティブなユーザー エクスペリエンスを実現できます。

For very low latency Llama 3.1 serving, cloud services can use a full NVIDIA HGX H200 server, each incorporating eight H200 Tensor Core GPUs and four all-to-all NVLink Switch chips. Each GPU within the server can communicate at the full 900 GB/s bandwidth to any other GPU via NVLink Switch. High GPU-to-GPU fabric bandwidth is required to keep multi-GPU communication from becoming the bottleneck in interactive use cases.

非常に低遅延の Llama 3.1 サービスを提供するために、クラウド サービスは、それぞれ 8 つの H200 Tensor コア GPU と 4 つのオールツーオール NVLink スイッチ チップを組み込んだ完全な NVIDIA HGX H200 サーバーを使用できます。サーバー内の各 GPU は、NVLink スイッチを介して他の GPU と最大 900 GB/秒の帯域幅で通信できます。インタラクティブなユースケースでマルチ GPU 通信がボトルネックにならないようにするには、GPU 間のファブリックの高い帯域幅が必要です。

To efficiently implement optimization algorithms on NVIDIA H200 HGX systems, NVIDIA TensorRT-LLM is used. TensorRT-LLM is an open-source TensorRT library that delivers state-of-the-art inference performance on the latest LLMs using a variety of techniques, including tensor parallelism and speculative decoding.

NVIDIA H200 HGX システムに最適化アルゴリズムを効率的に実装するには、NVIDIA TensorRT-LLM が使用されます。 TensorRT-LLM は、テンソル並列処理や投機的デコードなどのさまざまな技術を使用して、最新の LLM 上で最先端の推論パフォーマンスを提供するオープンソースの TensorRT ライブラリです。

Upcoming TensorRT-LLM optimizations, including the improvement of a speculative decoding algorithm called Medusa, provide outstanding low latency performance on Llama 3.1 70B and Llama 3.1 405B of 268 tokens/second/user and 108 tokens/second/user, respectively on HGX H200.

Medusa と呼ばれる投機的デコード アルゴリズムの改善を含む今後の TensorRT-LLM 最適化は、Llama 3.1 70B および Llama 3.1 405B で、HGX H200 上でそれぞれ 268 トークン/秒/ユーザーおよび 108 トークン/秒/ユーザーという優れた低遅延パフォーマンスを提供します。

Medusa boosts token generation by up to 1.9x on NVIDIA HGX H200

Medusa は、NVIDIA HGX H200 でトークン生成を最大 1.9 倍に加速します

Transformer-based LLMs are auto-regressive, meaning that tokens need to be generated sequentially, limiting throughput per generation step to just one token. Typically, during LLM inference, the rate at which a single token is generated depends on how quickly model weights are loaded into memory. This means that the workload can leave the substantial Tensor Core capabilities of H200 GPUs underutilized.

トランスフォーマーベースの LLM は自動回帰的です。つまり、トークンを順番に生成する必要があり、生成ステップごとのスループットが 1 つのトークンのみに制限されます。通常、LLM 推論中に 1 つのトークンが生成される速度は、モデルの重みがメモリに読み込まれる速度に依存します。これは、ワークロードにより、H200 GPU の実質的な Tensor コア機能が十分に活用されないままになる可能性があることを意味します。

Speculative decoding is a technique that increases token generation throughput per token generation step by using a “draft model” to try to predict multiple subsequent tokens beyond the next token. The target LLM then “batches” the prediction candidates and validates them in parallel with the next token, making more effective use of available parallel GPU compute resources. If the original LLM accepts any candidate sequence, multiple tokens are generated in the generation step and therefore accelerate token generation.

投機的デコードは、「ドラフト モデル」を使用して、次のトークンを超えて後続の複数のトークンを予測しようとすることで、トークン生成ステップごとのトークン生成スループットを向上させる手法です。次に、ターゲット LLM は予測候補を「バッチ」化し、次のトークンと並行して検証し、利用可能な並列 GPU コンピューティング リソースをより効果的に利用します。元の LLM が任意の候補シーケンスを受け入れる場合、生成ステップで複数のトークンが生成されるため、トークンの生成が加速されます。

Medusa, described in this paper, is a speculative decoding algorithm that uses the original model as the draft model, avoiding the system complexity and distribution discrepancy of using a separate draft model. This technique employs additional decoding “heads”, called Medusa heads, to predict candidate tokens beyond the next token. Each Medusa head generates a distribution of tokens beyond the previous.

この論文で説明する Medusa は、元のモデルをドラフト モデルとして使用する投機的デコード アルゴリズムであり、別のドラフト モデルを使用することによるシステムの複雑さと分散の不一致を回避します。この手法では、メデューサ ヘッドと呼ばれる追加のデコード「ヘッド」を使用して、次のトークン以降の候補トークンを予測します。各メデューサの頭は、前のものを超えるトークンの分布を生成します。

With Medusa, an HGX H200 can produce 268 tokens per second per user for Llama 3.1 70B and 108 for Llama 3.1 405B. This is over 1.5x faster on Llama 3.1 70B and over 1.9x faster on Llama 3.1 405B than without Medusa. Although there is variability in the Medusa acceptance rate between tasks depending on how the heads are fine-tuned, its overall performance is generalized across a wide range of tasks.

Medusa を使用すると、HGX H200 は、Llama 3.1 70B の場合はユーザーあたり 1 秒あたり 268 個、Llama 3.1 405B の場合は 108 個のトークンを生成できます。これは、Medusa を使用しない場合と比べて、Llama 3.1 70B では 1.5 倍以上、Llama 3.1 405B では 1.9 倍以上高速です。ヘッドの微調整方法に応じてタスク間で Medusa の受け入れ率にはばらつきがありますが、その全体的なパフォーマンスは幅広いタスクにわたって一般化されています。

Medusa heads for both Llama 3.1 70B and Llama 3.1 405B were trained using the NVIDIA TensorRT Model Optimizer integration with the NVIDIA NeMo framework. The Medusa head training used a frozen backbone, ensuring that the use of Medusa yields identical accuracy to the base model.

Llama 3.1 70B と Llama 3.1 405B の両方の Medusa ヘッドは、NVIDIA TensorRT モデル オプティマイザーと NVIDIA NeMo フレームワークの統合を使用してトレーニングされました。メデューサの頭部トレーニングでは凍結したバックボーンを使用し、メデューサの使用によって基本モデルと同じ精度が得られることを保証しました。

NVIDIA full-stack innovation never stops

NVIDIA フルスタックのイノベーションは止まらない

NVIDIA HGX H200 with NVLink Switch and TensorRT-LLM already deliver excellent real-time inference performance on popular and demanding community models. To continue improving user experiences and reduce inference costs, we relentlessly innovate across every layer of the technology stack – chips, systems, software libraries, algorithms, and more.

NVLink スイッチと TensorRT-LLM を備えた NVIDIA HGX H200 は、人気があり要求の厳しいコミュニティ モデルで優れたリアルタイム推論パフォーマンスをすでに提供しています。ユーザー エクスペリエンスを継続的に向上させ、推論コストを削減するために、当社はチップ、システム、ソフトウェア ライブラリ、アルゴリズムなど、テクノロジー スタックのあらゆる層にわたって絶え間なく革新を行っています。

We look forward to sharing future updates on our low latency inference performance as both our platform and the LLM ecosystem advances.

当社のプラットフォームと LLM エコシステムの両方が進歩するにつれて、低遅延推論パフォーマンスに関する今後の最新情報を共有できることを楽しみにしています。