IntelとAmpereがAI競争を前進させるCPUの実現可能性を証明

CPU ハードウェアとソフトウェアの最適化の進歩により、従来は GPU が主流であった生成型 AI チャットボットやサービスの実行に CPU がより実行可能になりました。 Intel と Ampere は、より小さな言語モデルで有望なパフォーマンスを実証し、実用に適したトークン レイテンシを実現しました。 CPU は特殊なアクセラレータと比較してメモリ帯域幅の制限に直面していますが、MCR DIMM や 4 ビット動作などの今後の機能は、これらのボトルネックに対処することを目的としています。これは、CPU が適度なサイズの AI モデルを処理できるようになり、広範な採用に向けた最適化に焦点を移す可能性があることを示唆しています。

CPUs Gain Ground in Generative AI Race as Intel and Ampere Push Limits

インテルとアンペアが限界を押し上げる中、CPU がジェネレーティブ AI レースで台頭

Introduction

導入

The realm of generative artificial intelligence (AI) has been largely dominated by graphics processing units (GPUs) and specialized accelerators due to their unparalleled computational power. However, as smaller and more widely deployable AI models emerge within enterprises, CPU manufacturers Intel and Ampere are asserting that their products can effectively handle these tasks. Recent advancements in software optimizations and mitigation of hardware bottlenecks have paved the way for CPUs to become viable options in the AI landscape.

生成人工知能 (AI) の領域は、その比類のない計算能力により、グラフィックス プロセッシング ユニット (GPU) と特殊なアクセラレータによって主に支配されてきました。しかし、企業内でより小型でより広範囲に導入可能な AI モデルが出現するにつれ、CPU メーカーである Intel と Ampere は自社の製品がこれらのタスクを効果的に処理できると主張しています。ソフトウェアの最適化とハードウェアのボトルネックの軽減における最近の進歩により、CPU が AI の分野で実行可能なオプションになる道が開かれました。

Intel's Progress with Xeon Processors

Xeon プロセッサーに関するインテルの進歩

At Intel's Vision event in April, CEO Pat Gelsinger showcased the company's achievements in adapting larger language models (LLMs) for execution on its Xeon platform. A live demonstration featuring the forthcoming Granite Rapids Xeon 6 processor revealed Meta's Llama2-70B model operating at 4-bit precision with an impressive second token latency of 82 milliseconds (ms).

4月に開催されたIntelのVisionイベントで、最高経営責任者（CEO）のパット・ゲルシンガー氏は、より大きな言語モデル（LLM）をXeonプラットフォーム上での実行に適応させた同社の成果を披露した。今後登場する Granite Rapids Xeon 6 プロセッサをフィーチャーしたライブ デモンストレーションでは、Meta の Llama2-70B モデルが 4 ビット精度で動作し、82 ミリ秒 (ms) という驚異的な 2 番目のトークン レイテンシを備えていることが明らかになりました。

Second token latency gauges the time required for an AI model to analyze a query and provide its first response. A lower latency translates to perceived performance enhancements. In terms of performance metrics, the observed 82ms latency corresponds to approximately 12 tokens per second.

2 番目のトークン レイテンシーは、AI モデルがクエリを分析して最初の応答を提供するのに必要な時間を測定します。レイテンシが低くなると、パフォーマンスが向上したと感じられます。パフォーマンス指標の観点から見ると、観測された 82 ミリ秒の遅延は 1 秒あたり約 12 トークンに相当します。

This result represents a significant improvement over Intel's 5th-generation Xeon processors released in December, which exhibited a second token latency of 151ms.

この結果は、12 月にリリースされたインテルの第 5 世代 Xeon プロセッサー (2 番目のトークン レイテンシー 151 ミリ秒を示した) に比べて大幅な改善を示しています。

Oracle's Results with Ampere's CPUs

Ampere の CPU を使用した Oracle の結果

Oracle has also published test data related to executing the Llama2-7B model on Ampere's Altra central processing units (CPUs). Utilizing a 64-core OCI A1 instance paired with a 4-bit quantized version of the model, Oracle achieved throughput rates ranging from 33 to 119 tokens per second for batch sizes of 1 and 16, respectively.

オラクルは、Ampere の Altra 中央処理装置 (CPU) での Llama2-7B モデルの実行に関連するテスト データも公開しました。モデルの 4 ビット量子化バージョンと組み合わせた 64 コアの OCI A1 インスタンスを利用することで、Oracle はバッチ サイズ 1 と 16 でそれぞれ 1 秒あたり 33 ～ 119 トークンの範囲のスループット レートを達成しました。

In the context of conversational chatbots, a larger batch size equates to a higher capacity to concurrently handle multiple queries. Oracle's testing revealed a direct correlation between batch size and throughput; however, the larger the batch size, the slower the model generated text. For instance, at a batch size of 16, Oracle attained its highest throughput performance, but the output rate was approximately 7.5 tokens per second per query. This delay would be noticeable from the end-user's perspective.

会話型チャットボットのコンテキストでは、バッチ サイズが大きいほど、複数のクエリを同時に処理する能力が高くなります。 Oracle のテストでは、バッチ サイズとスループットの間に直接的な相関関係があることが明らかになりました。ただし、バッチ サイズが大きくなると、モデルが生成するテキストが遅くなります。たとえば、バッチ サイズ 16 では、Oracle は最高のスループット パフォーマンスを達成しましたが、出力レートはクエリごとに 1 秒あたり約 7.5 トークンでした。この遅延は、エンドユーザーの観点からは顕著になります。

Oracle shared results across multiple batch sizes, while Intel's data is limited to batch size one. Intel has been contacted for further details on performance at higher batch sizes.

Oracle は複数のバッチ サイズにわたって結果を共有しましたが、Intel のデータはバッチ サイズ 1 に限定されています。より高いバッチ サイズでのパフォーマンスの詳細については、Intel に問い合わせています。

Causes of Improved Performance

パフォーマンス向上の原因

According to Jeff Wittich, Ampere's chief product officer, these performance gains were largely attributed to custom software libraries and optimizations to Llama.cpp, developed in collaboration with Oracle. Both Oracle and Intel have since released performance metrics for Meta's newly launched Llama3 models, demonstrating similar performance characteristics.

Ampere の最高製品責任者である Jeff Wittich 氏によると、これらのパフォーマンスの向上は主に、Oracle と協力して開発されたカスタム ソフトウェア ライブラリと Llama.cpp の最適化によるものです。その後、Oracle と Intel の両社は、Meta が新しく発売した Llama3 モデルのパフォーマンス指標をリリースし、同様のパフォーマンス特性を示しています。

Pending the accuracy of these performance claims – given the test parameters and our experience running 4-bit quantized models on CPUs – CPUs appear to be a viable option for executing small-scale models. In the near future, they may also be capable of handling moderately sized models, particularly at relatively small batch sizes.

これらのパフォーマンスに関する主張の精度は保留中ですが、テスト パラメータと CPU 上で 4 ビット量子化モデルを実行した経験を考慮すると、CPU は小規模モデルを実行するための実行可能な選択肢であると思われます。近い将来、特に比較的小さなバッチ サイズで、中程度のサイズのモデルを処理できるようになる可能性があります。

Limitations and Ongoing Challenges

限界と継続的な課題

While Intel and Ampere have successfully demonstrated LLMs running on their respective CPU platforms, it is crucial to recognize that various compute and memory limitations prevent CPUs from completely replacing GPUs or dedicated accelerators for larger-scale models.

Intel と Ampere は、それぞれの CPU プラットフォームで実行される LLM の実証に成功しましたが、さまざまなコンピューティングとメモリの制限により、CPU が GPU や大規模モデルの専用アクセラレータを完全に置き換えることはできないことを認識することが重要です。

For models pushing the boundaries of generative AI, Ronak Shah, director of Xeon AI product management at Intel, emphasized that upcoming products like the Gaudi accelerator are specifically engineered for such tasks.

生成 AI の限界を押し広げるモデルについて、Intel の Xeon AI 製品管理ディレクターである Ronak Shah 氏は、Gaudi アクセラレータのような今後の製品は、そのようなタスク向けに特別に設計されていると強調しました。

Overcoming Bottlenecks

ボトルネックの克服

Historically, conversations surrounding the execution of LLMs on CPUs have been subdued because, despite increasing core counts, conventional processors still fall short in terms of parallelism compared to modern GPUs and accelerators designed for AI workloads.

これまで、CPU での LLM の実行に関する議論は控えめでした。コア数が増加しているにもかかわらず、AI ワークロード向けに設計された最新の GPU やアクセラレータと比較すると、従来のプロセッサは依然として並列処理の点で不十分だからです。

However, CPUs are undergoing significant enhancements. Modern units dedicate a substantial portion of their die space to features such as vector extensions or even specialized matrix math accelerators.

ただし、CPU は大幅な機能強化が行われています。最新のユニットは、ダイスペースのかなりの部分をベクトル拡張や特殊な行列演算アクセラレータなどの機能に充てています。

Intel incorporated the latter feature in its Sapphire Rapids Xeon Scalable processors released early last year. Each core is also equipped with Advanced Matrix Extensions (AMX), although not all stock-keeping units (SKUs) support AMX due to the flexibility of software-defined silicon.

Intel は、昨年初めにリリースされた Sapphire Rapids Xeon Scalable プロセッサに後者の機能を組み込みました。各コアには Advanced Matrix Extensions (AMX) も装備されていますが、ソフトウェア デファインド シリコンの柔軟性により、すべての在庫管理ユニット (SKU) が AMX をサポートしているわけではありません。

As the name suggests, AMX extensions are tailored to accelerate matrix math calculations prevalent in deep learning workloads. Since its initial implementation, Intel has continuously refined its AMX engines for improved performance on larger models. This advancement is likely reflected in the upcoming Intel Xeon 6 processors slated for release later this year.

名前が示すように、AMX 拡張機能は、深層学習ワークロードで一般的な行列数学計算を高速化するように調整されています。最初の実装以来、インテルは大規模モデルのパフォーマンスを向上させるために AMX エンジンを継続的に改良してきました。この進歩は、今年後半にリリース予定の次期インテル Xeon 6 プロセッサーに反映される可能性があります。

While Intel heavily relies on matrix acceleration, Ampere's Wittich explained that acceptable performance can be achieved using the two 128-bit vector units embedded in each of its AmpereOne and Altra cores. These vector units support FP16, BF16, INT8, and INT16 precision levels.

Intel はマトリックス アクセラレーションに大きく依存していますが、Ampere の Wittich 氏は、AmpereOne コアと Altra コアのそれぞれに組み込まれた 2 つの 128 ビット ベクトル ユニットを使用することで許容可能なパフォーマンスを達成できると説明しました。これらのベクトル ユニットは、FP16、BF16、INT8、および INT16 精度レベルをサポートします。

Memory Bottlenecks and MCR DIMMs

メモリのボトルネックと MCR DIMM

Despite their inferior performance in executing OPS or FLOPS compared to GPUs, CPUs possess a significant advantage: their independence from expensive and capacity-constrained high-bandwidth memory (HBM) modules.

OPS または FLOPS の実行パフォーマンスは GPU に比べて劣りますが、CPU には、高価で容量に制約のある高帯域幅メモリ (HBM) モジュールから独立しているという大きな利点があります。

As previously discussed, operating a model at FP8/INT8 requires approximately 1 gigabyte (GB) of memory for each billion parameters. Consequently, executing a model like OpenAI's 1.7 trillion parameter GPT-4 model at FP8 would necessitate over 1.7 terabytes (TB) of memory, which would be approximately halved when quantized to 4-bits. This memory requirement exceeds the capacity of any single GPU but falls within the capabilities of modern CPUs.

前述したように、FP8/INT8 でモデルを操作するには、10 億のパラメーターごとに約 1 ギガバイト (GB) のメモリが必要です。その結果、FP8 で OpenAI の 1.7 兆パラメータの GPT-4 モデルのようなモデルを実行するには、1.7 テラバイト (TB) 以上のメモリが必要になりますが、4 ビットに量子化すると約半分になります。このメモリ要件は単一の GPU の容量を超えていますが、最新の CPU の能力の範囲内に収まります。

However, the drawback lies in the sluggish speed of large DRAM modules used by CPUs compared to HBM.

ただし、CPU が使用する大型 DRAM モジュールの速度が HBM に比べて遅いという欠点があります。

With only eight memory channels currently supported on Intel's 5th-generation Xeon and Ampere's One processors, these chips are limited to roughly 350 gigabytes per second (GB/sec) of memory bandwidth when running 5600MT/sec DIMMs. While Wittich mentioned plans for a 12-channel version of Ampere's chip with a targeted release later this year – featuring a purported 256 cores – it is not yet available.

Intel の第 5 世代 Xeon および Ampere の One プロセッサでは現在サポートされているメモリ チャネルが 8 つだけであるため、これらのチップのメモリ帯域幅は、5600MT/秒の DIMM を実行すると約 350 ギガバイト/秒 (GB/秒) に制限されます。 Wittich氏は、256コアと称されるAmpereチップの12チャネルバージョンを今年後半にリリースする計画について言及したが、まだ入手可能ではない。

Nevertheless, all of Oracle's testing has been conducted on Ampere's Altra generation, which utilizes even slower DDR4 memory and operates at a maximum bandwidth of approximately 200GB/sec. This suggests the potential for substantial performance gains by upgrading to the newer AmpereOne cores.

それにもかかわらず、Oracle のテストはすべて、さらに低速の DDR4 メモリを使用し、約 200GB/秒の最大帯域幅で動作する Ampere の Altra 世代で実施されました。これは、新しい AmpereOne コアにアップグレードすることでパフォーマンスが大幅に向上する可能性を示唆しています。

These bandwidth speeds may seem impressive – certainly faster than an SSD – but the eight HBM modules found on AMD's MI300X or Nvidia's upcoming Blackwell GPUs deliver speeds of 5.3 TB/sec and 8TB/sec, respectively. However, HBM modules are constrained by a maximum capacity of 192GB.

これらの帯域幅速度は印象的であるように思えるかもしれません – 確かに SSD よりも速い – しかし、AMD の MI300X または Nvidia の今後の Blackwell GPU に搭載されている 8 つの HBM モジュールは、それぞれ 5.3 TB/秒と 8TB/秒の速度を実現します。ただし、HBM モジュールの最大容量は 192GB という制限があります。

To illustrate this concept, consider memory capacity as a fuel tank, memory bandwidth as a fuel line, and compute as an internal combustion engine. Regardless of the size of the fuel tank or the power of the engine, if the fuel line is too narrow to supply sufficient fuel for optimal engine performance, the system will be hindered.

この概念を説明するには、メモリ容量を燃料タンク、メモリ帯域幅を燃料ライン、そして計算を内燃エンジンとして考えてみましょう。燃料タンクのサイズやエンジンの出力に関係なく、燃料ラインが狭すぎて最適なエンジン性能を発揮するのに十分な燃料を供給できない場合、システムに支障が生じます。

This limitation explains why previous attempts to execute LLMs on CPUs were largely confined to smaller models.

この制限は、CPU 上で LLM を実行するこれまでの試みが主に小規模なモデルに限定されていた理由を説明しています。

Clearing the Bottlenecks: Intel's Granite Rapids Xeon 6

ボトルネックの解消: Intel の Granite Rapids Xeon 6

Despite these obstacles, Intel's forthcoming Granite Rapids Xeon 6 platform provides clues on how CPUs could potentially handle larger models in the near future.

これらの障害にもかかわらず、Intel が今後リリース予定の Granite Rapids Xeon 6 プラットフォームは、近い将来、CPU がより大きなモデルをどのように処理できるようになるかについての手がかりを提供します。

Intel's recent demonstration showcased a single Xeon 6 processor effortlessly running Llama2-70B with a reasonable second token latency of 82ms. Crucially, many details regarding the test rig remain unknown, including the number and clock speed of the cores. These details will likely be revealed later this year – potentially in December.

Intel の最近のデモでは、単一の Xeon 6 プロセッサが Llama2-70B を 82 ミリ秒という妥当な 2 番目のトークン レイテンシで難なく実行していることが紹介されました。重要なことは、コアの数やクロック速度など、テスト装置に関する多くの詳細が不明のままであることです。これらの詳細はおそらく今年後半、おそらく 12 月に明らかにされるでしょう。

"The substantial advancement from 5th-generation Xeon to Xeon 6 lies in the introduction of MCR DIMMs, which effectively clears many of the bottlenecks associated with memory-bound workloads," explained Shah.

「第 5 世代 Xeon から Xeon 6 への大幅な進歩は、MCR DIMM の導入にあります。これにより、メモリに制約されたワークロードに関連するボトルネックの多くが効果的に解消されます。」と Shah 氏は説明しました。

Multiplexer combined rank (MCR) DIMMs facilitate much faster memory access compared to standard DRAM. Intel has already demonstrated this technology running at 8,800MT/sec. With 12 memory channels equipped with MCR DIMMs, a single Granite Rapids socket would access approximately 825GB/sec of bandwidth – a significant leap from previous generations.

マルチプレクサ コンバインド ランク (MCR) DIMM は、標準の DRAM と比較してメモリ アクセスを大幅に高速化します。 Intel は、このテクノロジーが 8,800MT/秒で動作することをすでに実証しています。 MCR DIMM を搭載した 12 のメモリ チャネルにより、単一の Granite Rapids ソケットは約 825 GB/秒の帯域幅にアクセスできます。これは、前世代からの大幅な進歩です。

Wittich noted that Ampere is also exploring the implementation of MCR DIMMs but did not provide a timeline for their inclusion in Ampere silicon.

Wittich は、Ampere も MCR DIMM の実装を検討しているが、Ampere シリコンに MCR DIMM を組み込むスケジュールについては明らかにしていないと指摘しました。

However, faster memory technology is not the sole innovation offered by Granite Rapids. Intel's AMX engine has gained support for 4-bit operations via the introduction of the MXFP4 data type, which theoretically has the potential to double effective performance.

ただし、Granite Rapids が提供するイノベーションは高速メモリ テクノロジだけではありません。 Intel の AMX エンジンは、MXFP4 データ型の導入により 4 ビット演算のサポートを獲得しており、理論的には実効パフォーマンスが 2 倍になる可能性があります。

Moreover, lower precision reduces the model footprint and subsequently lowers memory capacity and bandwidth requirements. Quantization techniques employed to compress models trained at higher precisions can also achieve similar reductions in footprint and bandwidth usage. Therefore, the practical benefit of supporting 4-bit mathematics in hardware primarily manifests as performance enhancements.

さらに、精度が低いとモデルのフットプリントが減少し、その結果、メモリ容量と帯域幅の要件が低下します。より高い精度でトレーニングされたモデルを圧縮するために使用される量子化技術も、フットプリントと帯域幅の使用量を同様に削減できます。したがって、ハードウェアで 4 ビット演算をサポートすることの実際的な利点は、主にパフォーマンスの向上として現れます。

Balancing Act: Optimizing CPU Design for AI

バランスをとる: AI 向けに CPU 設計を最適化する

For CPU designers, striking the right balance of AI capabilities presents a challenge. Excessive allocation of die area to features like AMX risks transforming the chip into an AI accelerator rather than a general-purpose processor.

CPU 設計者にとって、AI 機能の適切なバランスをとることが課題となります。 AMX などの機能にダイ領域を過剰に割り当てると、チップが汎用プロセッサではなく AI アクセラレータに変わってしまう危険があります。

As a result, instead of aiming for CPUs capable of handling the largest and most demanding LLMs, vendors are focusing on the distribution of AI models to identify the most widely adopted models and optimizing their products to cater to these workloads.

その結果、ベンダーは、最大かつ最も要求の厳しい LLM を処理できる CPU を目指すのではなく、AI モデルの配布に重点を置いて最も広く採用されているモデルを特定し、これらのワークロードに対応するために製品を最適化することに重点を置いています。

"From a customer perspective, the sweet spot right now revolves around models with 7–13 billion parameters. That's where most of our attention is directed today," stated Wittich.

「顧客の観点から見ると、現時点でのスイート スポットは 70 ～ 130 億のパラメーターを持つモデルを中心に回っています。今日、私たちの関心のほとんどがそこに向けられています」と Wittich 氏は述べています。

Intel's Shah has observed a similar

IntelのShah氏も同様のことを観察している