Intel und Ampere beweisen die Machbarkeit von CPUs, die im KI-Rennen vorankommen

Fortschritte bei der Optimierung von CPU-Hardware und -Software machen CPUs besser für die Ausführung generativer KI-Chatbots und -Dienste geeignet, die traditionell von GPUs dominiert werden. Intel und Ampere haben mit kleineren Sprachmodellen vielversprechende Leistungen gezeigt und für den praktischen Einsatz geeignete Token-Latenzen erreicht. Während CPUs im Vergleich zu speziellen Beschleunigern mit Einschränkungen der Speicherbandbreite konfrontiert sind, zielen zukünftige Funktionen wie MCR-DIMMs und 4-Bit-Operationen darauf ab, diese Engpässe zu beheben. Dies deutet darauf hin, dass CPUs in der Lage sein könnten, KI-Modelle mittlerer Größe zu verarbeiten, wodurch sich der Schwerpunkt auf die Optimierung für eine breite Akzeptanz verlagert.

CPUs Gain Ground in Generative AI Race as Intel and Ampere Push Limits

CPUs gewinnen im Wettlauf um generative KI an Boden, da Intel und Ampere ihre Grenzen überschreiten

Introduction

Einführung

The realm of generative artificial intelligence (AI) has been largely dominated by graphics processing units (GPUs) and specialized accelerators due to their unparalleled computational power. However, as smaller and more widely deployable AI models emerge within enterprises, CPU manufacturers Intel and Ampere are asserting that their products can effectively handle these tasks. Recent advancements in software optimizations and mitigation of hardware bottlenecks have paved the way for CPUs to become viable options in the AI landscape.

Der Bereich der generativen künstlichen Intelligenz (KI) wird aufgrund ihrer beispiellosen Rechenleistung weitgehend von Grafikprozessoren (GPUs) und speziellen Beschleunigern dominiert. Da in Unternehmen jedoch kleinere und breiter einsetzbare KI-Modelle entstehen, behaupten die CPU-Hersteller Intel und Ampere, dass ihre Produkte diese Aufgaben effektiv bewältigen können. Jüngste Fortschritte bei der Softwareoptimierung und der Minderung von Hardware-Engpässen haben den Weg dafür geebnet, dass CPUs zu praktikablen Optionen in der KI-Landschaft werden.

Intel's Progress with Xeon Processors

Intels Fortschritte bei Xeon-Prozessoren

At Intel's Vision event in April, CEO Pat Gelsinger showcased the company's achievements in adapting larger language models (LLMs) for execution on its Xeon platform. A live demonstration featuring the forthcoming Granite Rapids Xeon 6 processor revealed Meta's Llama2-70B model operating at 4-bit precision with an impressive second token latency of 82 milliseconds (ms).

Bei Intels Vision-Event im April präsentierte CEO Pat Gelsinger die Erfolge des Unternehmens bei der Anpassung größerer Sprachmodelle (LLMs) für die Ausführung auf seiner Xeon-Plattform. Eine Live-Demonstration mit dem kommenden Granite Rapids

Second token latency gauges the time required for an AI model to analyze a query and provide its first response. A lower latency translates to perceived performance enhancements. In terms of performance metrics, the observed 82ms latency corresponds to approximately 12 tokens per second.

Die Latenz des zweiten Tokens misst die Zeit, die ein KI-Modell benötigt, um eine Anfrage zu analysieren und seine erste Antwort bereitzustellen. Eine geringere Latenz führt zu wahrgenommenen Leistungsverbesserungen. Was die Leistungsmetriken angeht, entspricht die beobachtete Latenz von 82 ms etwa 12 Token pro Sekunde.

This result represents a significant improvement over Intel's 5th-generation Xeon processors released in December, which exhibited a second token latency of 151ms.

Dieses Ergebnis stellt eine deutliche Verbesserung gegenüber den im Dezember veröffentlichten Xeon-Prozessoren der 5. Generation von Intel dar, die eine zweite Token-Latenz von 151 ms aufwiesen.

Oracle's Results with Ampere's CPUs

Ergebnisse von Oracle mit den CPUs von Ampere

Oracle has also published test data related to executing the Llama2-7B model on Ampere's Altra central processing units (CPUs). Utilizing a 64-core OCI A1 instance paired with a 4-bit quantized version of the model, Oracle achieved throughput rates ranging from 33 to 119 tokens per second for batch sizes of 1 and 16, respectively.

Oracle hat außerdem Testdaten zur Ausführung des Llama2-7B-Modells auf den Altra-Zentraleinheiten (CPUs) von Ampere veröffentlicht. Durch den Einsatz einer 64-Core-OCI-A1-Instanz gepaart mit einer 4-Bit-quantisierten Version des Modells erreichte Oracle Durchsatzraten von 33 bis 119 Token pro Sekunde bei Stapelgrößen von 1 bzw. 16.

In the context of conversational chatbots, a larger batch size equates to a higher capacity to concurrently handle multiple queries. Oracle's testing revealed a direct correlation between batch size and throughput; however, the larger the batch size, the slower the model generated text. For instance, at a batch size of 16, Oracle attained its highest throughput performance, but the output rate was approximately 7.5 tokens per second per query. This delay would be noticeable from the end-user's perspective.

Im Zusammenhang mit Konversations-Chatbots bedeutet eine größere Batchgröße eine höhere Kapazität zur gleichzeitigen Bearbeitung mehrerer Anfragen. Die Tests von Oracle ergaben einen direkten Zusammenhang zwischen Batch-Größe und Durchsatz; Je größer jedoch die Stapelgröße, desto langsamer generiert das Modell den Text. Beispielsweise erreichte Oracle bei einer Batch-Größe von 16 die höchste Durchsatzleistung, die Ausgaberate betrug jedoch etwa 7,5 Token pro Sekunde und Abfrage. Diese Verzögerung wäre aus Sicht des Endbenutzers spürbar.

Oracle shared results across multiple batch sizes, while Intel's data is limited to batch size one. Intel has been contacted for further details on performance at higher batch sizes.

Oracle teilte Ergebnisse über mehrere Batch-Größen hinweg mit, während die Daten von Intel auf Batch-Größe eins beschränkt sind. Intel wurde für weitere Einzelheiten zur Leistung bei höheren Chargengrößen kontaktiert.

Causes of Improved Performance

Ursachen für verbesserte Leistung

According to Jeff Wittich, Ampere's chief product officer, these performance gains were largely attributed to custom software libraries and optimizations to Llama.cpp, developed in collaboration with Oracle. Both Oracle and Intel have since released performance metrics for Meta's newly launched Llama3 models, demonstrating similar performance characteristics.

Laut Jeff Wittich, Chief Product Officer von Ampere, sind diese Leistungssteigerungen größtenteils auf benutzerdefinierte Softwarebibliotheken und Optimierungen für Llama.cpp zurückzuführen, die in Zusammenarbeit mit Oracle entwickelt wurden. Sowohl Oracle als auch Intel haben seitdem Leistungsmetriken für die neu eingeführten Llama3-Modelle von Meta veröffentlicht, die ähnliche Leistungsmerkmale aufweisen.

Pending the accuracy of these performance claims – given the test parameters and our experience running 4-bit quantized models on CPUs – CPUs appear to be a viable option for executing small-scale models. In the near future, they may also be capable of handling moderately sized models, particularly at relatively small batch sizes.

Abhängig von der Richtigkeit dieser Leistungsansprüche – angesichts der Testparameter und unserer Erfahrung mit der Ausführung quantisierter 4-Bit-Modelle auf CPUs – scheinen CPUs eine praktikable Option für die Ausführung kleiner Modelle zu sein. In naher Zukunft könnten sie auch in der Lage sein, mittelgroße Modelle zu verarbeiten, insbesondere bei relativ kleinen Losgrößen.

Limitations and Ongoing Challenges

Einschränkungen und laufende Herausforderungen

While Intel and Ampere have successfully demonstrated LLMs running on their respective CPU platforms, it is crucial to recognize that various compute and memory limitations prevent CPUs from completely replacing GPUs or dedicated accelerators for larger-scale models.

Während Intel und Ampere LLMs erfolgreich auf ihren jeweiligen CPU-Plattformen demonstriert haben, ist es wichtig zu erkennen, dass verschiedene Rechen- und Speicherbeschränkungen CPUs daran hindern, GPUs oder dedizierte Beschleuniger für größere Modelle vollständig zu ersetzen.

For models pushing the boundaries of generative AI, Ronak Shah, director of Xeon AI product management at Intel, emphasized that upcoming products like the Gaudi accelerator are specifically engineered for such tasks.

In Bezug auf Modelle, die die Grenzen der generativen KI erweitern, betonte Ronak Shah, Direktor des Xeon AI-Produktmanagements bei Intel, dass kommende Produkte wie der Gaudi-Beschleuniger speziell für solche Aufgaben entwickelt werden.

Overcoming Bottlenecks

Engpässe überwinden

Historically, conversations surrounding the execution of LLMs on CPUs have been subdued because, despite increasing core counts, conventional processors still fall short in terms of parallelism compared to modern GPUs and accelerators designed for AI workloads.

In der Vergangenheit waren die Diskussionen über die Ausführung von LLMs auf CPUs gedämpft, da herkömmliche Prozessoren trotz steigender Kernzahlen im Hinblick auf die Parallelität im Vergleich zu modernen GPUs und Beschleunigern, die für KI-Workloads entwickelt wurden, immer noch hinterherhinken.

However, CPUs are undergoing significant enhancements. Modern units dedicate a substantial portion of their die space to features such as vector extensions or even specialized matrix math accelerators.

Allerdings werden die CPUs erheblich weiterentwickelt. Moderne Einheiten widmen einen erheblichen Teil ihres Chipplatzes Funktionen wie Vektorerweiterungen oder sogar speziellen Beschleunigern für die Matrixberechnung.

Intel incorporated the latter feature in its Sapphire Rapids Xeon Scalable processors released early last year. Each core is also equipped with Advanced Matrix Extensions (AMX), although not all stock-keeping units (SKUs) support AMX due to the flexibility of software-defined silicon.

Intel hat die letztere Funktion in seine Anfang letzten Jahres veröffentlichten Sapphire Rapids Xeon Scalable-Prozessoren integriert. Jeder Kern ist außerdem mit Advanced Matrix Extensions (AMX) ausgestattet, obwohl aufgrund der Flexibilität von softwaredefiniertem Silizium nicht alle Stock Keeping Units (SKUs) AMX unterstützen.

As the name suggests, AMX extensions are tailored to accelerate matrix math calculations prevalent in deep learning workloads. Since its initial implementation, Intel has continuously refined its AMX engines for improved performance on larger models. This advancement is likely reflected in the upcoming Intel Xeon 6 processors slated for release later this year.

Wie der Name schon sagt, sind AMX-Erweiterungen darauf zugeschnitten, Matrixberechnungen zu beschleunigen, die in Deep-Learning-Workloads häufig vorkommen. Seit der ersten Implementierung hat Intel seine AMX-Engines kontinuierlich weiterentwickelt, um die Leistung größerer Modelle zu verbessern. Dieser Fortschritt spiegelt sich wahrscheinlich in den kommenden Intel Xeon 6-Prozessoren wider, die später in diesem Jahr auf den Markt kommen sollen.

While Intel heavily relies on matrix acceleration, Ampere's Wittich explained that acceptable performance can be achieved using the two 128-bit vector units embedded in each of its AmpereOne and Altra cores. These vector units support FP16, BF16, INT8, and INT16 precision levels.

Während Intel stark auf Matrixbeschleunigung setzt, erklärte Wittich von Ampere, dass mit den beiden 128-Bit-Vektoreinheiten, die in jedem seiner AmpereOne- und Altra-Kerne eingebettet sind, eine akzeptable Leistung erzielt werden kann. Diese Vektoreinheiten unterstützen die Präzisionsstufen FP16, BF16, INT8 und INT16.

Memory Bottlenecks and MCR DIMMs

Speicherengpässe und MCR-DIMMs

Despite their inferior performance in executing OPS or FLOPS compared to GPUs, CPUs possess a significant advantage: their independence from expensive and capacity-constrained high-bandwidth memory (HBM) modules.

Trotz ihrer schlechteren Leistung bei der Ausführung von OPS oder FLOPS im Vergleich zu GPUs besitzen CPUs einen wesentlichen Vorteil: ihre Unabhängigkeit von teuren und kapazitätsbeschränkten High-Bandwidth-Speichermodulen (HBM).

As previously discussed, operating a model at FP8/INT8 requires approximately 1 gigabyte (GB) of memory for each billion parameters. Consequently, executing a model like OpenAI's 1.7 trillion parameter GPT-4 model at FP8 would necessitate over 1.7 terabytes (TB) of memory, which would be approximately halved when quantized to 4-bits. This memory requirement exceeds the capacity of any single GPU but falls within the capabilities of modern CPUs.

Wie bereits erwähnt, erfordert der Betrieb eines Modells bei FP8/INT8 etwa 1 Gigabyte (GB) Speicher für jede Milliarde Parameter. Folglich würde die Ausführung eines Modells wie des 1,7 Billionen Parameter umfassenden GPT-4-Modells von OpenAI im FP8 über 1,7 Terabyte (TB) Speicher erfordern, was sich bei einer Quantisierung auf 4 Bit ungefähr halbieren würde. Dieser Speicherbedarf übersteigt die Kapazität einer einzelnen GPU, liegt jedoch im Rahmen der Möglichkeiten moderner CPUs.

However, the drawback lies in the sluggish speed of large DRAM modules used by CPUs compared to HBM.

Der Nachteil liegt jedoch in der langsamen Geschwindigkeit großer DRAM-Module, die von CPUs im Vergleich zu HBM verwendet werden.

With only eight memory channels currently supported on Intel's 5th-generation Xeon and Ampere's One processors, these chips are limited to roughly 350 gigabytes per second (GB/sec) of memory bandwidth when running 5600MT/sec DIMMs. While Wittich mentioned plans for a 12-channel version of Ampere's chip with a targeted release later this year – featuring a purported 256 cores – it is not yet available.

Da derzeit nur acht Speicherkanäle auf Intels Xeon- und Ampere One-Prozessoren der 5. Generation unterstützt werden, sind diese Chips auf etwa 350 Gigabyte pro Sekunde (GB/s) Speicherbandbreite begrenzt, wenn DIMMs mit 5600 MT/s ausgeführt werden. Wittich erwähnte zwar Pläne für eine 12-Kanal-Version des Ampere-Chips mit einer geplanten Veröffentlichung später in diesem Jahr – mit angeblich 256 Kernen –, diese ist jedoch noch nicht verfügbar.

Nevertheless, all of Oracle's testing has been conducted on Ampere's Altra generation, which utilizes even slower DDR4 memory and operates at a maximum bandwidth of approximately 200GB/sec. This suggests the potential for substantial performance gains by upgrading to the newer AmpereOne cores.

Dennoch wurden alle Tests von Oracle mit der Altra-Generation von Ampere durchgeführt, die noch langsameren DDR4-Speicher nutzt und mit einer maximalen Bandbreite von etwa 200 GB/Sek. arbeitet. Dies deutet auf das Potenzial für erhebliche Leistungssteigerungen durch ein Upgrade auf die neueren AmpereOne-Kerne hin.

These bandwidth speeds may seem impressive – certainly faster than an SSD – but the eight HBM modules found on AMD's MI300X or Nvidia's upcoming Blackwell GPUs deliver speeds of 5.3 TB/sec and 8TB/sec, respectively. However, HBM modules are constrained by a maximum capacity of 192GB.

Diese Bandbreitengeschwindigkeiten mögen beeindruckend erscheinen – sicherlich schneller als eine SSD –, aber die acht HBM-Module, die auf AMDs MI300X oder Nvidias kommenden Blackwell-GPUs zu finden sind, liefern Geschwindigkeiten von 5,3 TB/Sek. bzw. 8 TB/Sek. HBM-Module sind jedoch durch eine maximale Kapazität von 192 GB begrenzt.

To illustrate this concept, consider memory capacity as a fuel tank, memory bandwidth as a fuel line, and compute as an internal combustion engine. Regardless of the size of the fuel tank or the power of the engine, if the fuel line is too narrow to supply sufficient fuel for optimal engine performance, the system will be hindered.

Um dieses Konzept zu veranschaulichen, betrachten Sie die Speicherkapazität als Kraftstofftank, die Speicherbandbreite als Kraftstoffleitung und die Berechnung als Verbrennungsmotor. Unabhängig von der Größe des Kraftstofftanks oder der Leistung des Motors wird das System behindert, wenn die Kraftstoffleitung zu eng ist, um ausreichend Kraftstoff für eine optimale Motorleistung bereitzustellen.

This limitation explains why previous attempts to execute LLMs on CPUs were largely confined to smaller models.

Diese Einschränkung erklärt, warum bisherige Versuche, LLMs auf CPUs auszuführen, weitgehend auf kleinere Modelle beschränkt waren.

Clearing the Bottlenecks: Intel's Granite Rapids Xeon 6

Engpässe beseitigen: Intels Granite Rapids Xeon 6

Despite these obstacles, Intel's forthcoming Granite Rapids Xeon 6 platform provides clues on how CPUs could potentially handle larger models in the near future.

Trotz dieser Hindernisse liefert Intels bevorstehende Granite Rapids Xeon 6-Plattform Hinweise darauf, wie CPUs möglicherweise in naher Zukunft mit größeren Modellen umgehen könnten.

Intel's recent demonstration showcased a single Xeon 6 processor effortlessly running Llama2-70B with a reasonable second token latency of 82ms. Crucially, many details regarding the test rig remain unknown, including the number and clock speed of the cores. These details will likely be revealed later this year – potentially in December.

Bei der jüngsten Demonstration von Intel wurde ein einzelner Xeon 6-Prozessor vorgestellt, der Llama2-70B mühelos mit einer angemessenen zweiten Token-Latenz von 82 ms ausführt. Entscheidend ist, dass viele Details zum Prüfstand noch unbekannt sind, darunter die Anzahl und Taktrate der Kerne. Diese Details werden wahrscheinlich später in diesem Jahr bekannt gegeben – möglicherweise im Dezember.

"The substantial advancement from 5th-generation Xeon to Xeon 6 lies in the introduction of MCR DIMMs, which effectively clears many of the bottlenecks associated with memory-bound workloads," explained Shah.

„Der wesentliche Fortschritt von Xeon der 5. Generation zu Xeon 6 liegt in der Einführung von MCR-DIMMs, die viele der Engpässe im Zusammenhang mit speichergebundenen Workloads effektiv beseitigen“, erklärte Shah.

Multiplexer combined rank (MCR) DIMMs facilitate much faster memory access compared to standard DRAM. Intel has already demonstrated this technology running at 8,800MT/sec. With 12 memory channels equipped with MCR DIMMs, a single Granite Rapids socket would access approximately 825GB/sec of bandwidth – a significant leap from previous generations.

Multiplexer Combined Rank (MCR) DIMMs ermöglichen einen viel schnelleren Speicherzugriff im Vergleich zu Standard-DRAM. Intel hat diese Technologie bereits mit 8.800 MT/Sek. demonstriert. Mit 12 Speicherkanälen, die mit MCR-DIMMs ausgestattet sind, würde ein einzelner Granite Rapids-Sockel auf eine Bandbreite von etwa 825 GB/s zugreifen – ein deutlicher Sprung gegenüber früheren Generationen.

Wittich noted that Ampere is also exploring the implementation of MCR DIMMs but did not provide a timeline for their inclusion in Ampere silicon.

Wittich wies darauf hin, dass Ampere auch die Implementierung von MCR-DIMMs prüft, nannte jedoch keinen Zeitplan für deren Einbindung in Ampere-Silizium.

However, faster memory technology is not the sole innovation offered by Granite Rapids. Intel's AMX engine has gained support for 4-bit operations via the introduction of the MXFP4 data type, which theoretically has the potential to double effective performance.

Allerdings ist die schnellere Speichertechnologie nicht die einzige Innovation, die Granite Rapids bietet. Intels AMX-Engine hat durch die Einführung des MXFP4-Datentyps Unterstützung für 4-Bit-Operationen erhalten, was theoretisch das Potenzial hat, die effektive Leistung zu verdoppeln.

Moreover, lower precision reduces the model footprint and subsequently lowers memory capacity and bandwidth requirements. Quantization techniques employed to compress models trained at higher precisions can also achieve similar reductions in footprint and bandwidth usage. Therefore, the practical benefit of supporting 4-bit mathematics in hardware primarily manifests as performance enhancements.

Darüber hinaus reduziert eine geringere Präzision den Platzbedarf des Modells und senkt folglich den Speicherkapazitäts- und Bandbreitenbedarf. Quantisierungstechniken, die zur Komprimierung von Modellen eingesetzt werden, die mit höherer Präzision trainiert wurden, können ebenfalls eine ähnliche Reduzierung des Platzbedarfs und der Bandbreitennutzung bewirken. Daher manifestiert sich der praktische Nutzen der Unterstützung der 4-Bit-Mathematik in Hardware hauptsächlich in Leistungsverbesserungen.

Balancing Act: Optimizing CPU Design for AI

Balanceakt: Optimierung des CPU-Designs für KI

For CPU designers, striking the right balance of AI capabilities presents a challenge. Excessive allocation of die area to features like AMX risks transforming the chip into an AI accelerator rather than a general-purpose processor.

Für CPU-Designer ist es eine Herausforderung, die richtige Balance zwischen den KI-Funktionen zu finden. Eine übermäßige Zuweisung von Chipfläche für Funktionen wie AMX birgt die Gefahr, dass sich der Chip in einen KI-Beschleuniger und nicht in einen Allzweckprozessor verwandelt.

As a result, instead of aiming for CPUs capable of handling the largest and most demanding LLMs, vendors are focusing on the distribution of AI models to identify the most widely adopted models and optimizing their products to cater to these workloads.

Anstatt nach CPUs zu streben, die die größten und anspruchsvollsten LLMs bewältigen können, konzentrieren sich die Anbieter daher auf die Verbreitung von KI-Modellen, um die am weitesten verbreiteten Modelle zu identifizieren und ihre Produkte für diese Arbeitslasten zu optimieren.

"From a customer perspective, the sweet spot right now revolves around models with 7–13 billion parameters. That's where most of our attention is directed today," stated Wittich.

„Aus Kundensicht dreht sich der Sweet Spot derzeit um Modelle mit 7 bis 13 Milliarden Parametern. Darauf richtet sich heute der größte Teil unserer Aufmerksamkeit“, erklärte Wittich.

Intel's Shah has observed a similar

Intels Shah hat etwas Ähnliches beobachtet