Intel et Ampere prouvent la faisabilité des CPU, qui progressent dans la course à l'IA

Les progrès en matière d'optimisation matérielle et logicielle des processeurs rendent les processeurs plus viables pour l'exécution de chatbots et de services d'IA génératifs, traditionnellement dominés par les GPU. Intel et Ampere ont démontré des performances prometteuses avec des modèles de langage plus petits, atteignant des latences de jetons adaptées à une utilisation pratique. Alors que les processeurs sont confrontés à des limitations de bande passante mémoire par rapport aux accélérateurs spécialisés, les fonctionnalités à venir telles que les modules DIMM MCR et les opérations 4 bits visent à résoudre ces goulots d'étranglement. Cela suggère que les processeurs pourraient devenir capables de gérer des modèles d’IA de taille modeste, mettant ainsi l’accent sur l’optimisation en vue d’une adoption généralisée.

CPUs Gain Ground in Generative AI Race as Intel and Ampere Push Limits

Les processeurs gagnent du terrain dans la course à l'IA générative alors qu'Intel et Ampere repoussent les limites

Introduction

Introduction

The realm of generative artificial intelligence (AI) has been largely dominated by graphics processing units (GPUs) and specialized accelerators due to their unparalleled computational power. However, as smaller and more widely deployable AI models emerge within enterprises, CPU manufacturers Intel and Ampere are asserting that their products can effectively handle these tasks. Recent advancements in software optimizations and mitigation of hardware bottlenecks have paved the way for CPUs to become viable options in the AI landscape.

Le domaine de l’intelligence artificielle (IA) générative a été largement dominé par les unités de traitement graphique (GPU) et les accélérateurs spécialisés en raison de leur puissance de calcul inégalée. Cependant, à mesure que des modèles d'IA plus petits et plus largement déployables émergent au sein des entreprises, les fabricants de processeurs Intel et Ampere affirment que leurs produits peuvent gérer efficacement ces tâches. Les progrès récents en matière d’optimisation logicielle et d’atténuation des goulots d’étranglement matériels ont ouvert la voie aux processeurs pour devenir des options viables dans le paysage de l’IA.

Intel's Progress with Xeon Processors

Les progrès d'Intel avec les processeurs Xeon

At Intel's Vision event in April, CEO Pat Gelsinger showcased the company's achievements in adapting larger language models (LLMs) for execution on its Xeon platform. A live demonstration featuring the forthcoming Granite Rapids Xeon 6 processor revealed Meta's Llama2-70B model operating at 4-bit precision with an impressive second token latency of 82 milliseconds (ms).

Lors de l'événement Vision d'Intel en avril, le PDG Pat Gelsinger a présenté les réalisations de l'entreprise dans l'adaptation de modèles de langage plus grands (LLM) pour une exécution sur sa plate-forme Xeon. Une démonstration en direct mettant en vedette le prochain processeur Granite Rapids Xeon 6 a révélé le modèle Llama2-70B de Meta fonctionnant avec une précision de 4 bits avec une latence impressionnante du deuxième jeton de 82 millisecondes (ms).

Second token latency gauges the time required for an AI model to analyze a query and provide its first response. A lower latency translates to perceived performance enhancements. In terms of performance metrics, the observed 82ms latency corresponds to approximately 12 tokens per second.

La latence du deuxième jeton évalue le temps nécessaire à un modèle d'IA pour analyser une requête et fournir sa première réponse. Une latence plus faible se traduit par des améliorations de performances perçues. En termes de mesures de performances, la latence observée de 82 ms correspond à environ 12 jetons par seconde.

This result represents a significant improvement over Intel's 5th-generation Xeon processors released in December, which exhibited a second token latency of 151ms.

Ce résultat représente une amélioration significative par rapport aux processeurs Intel Xeon de 5e génération sortis en décembre, qui présentaient une latence du deuxième jeton de 151 ms.

Oracle's Results with Ampere's CPUs

Les résultats d'Oracle avec les processeurs d'Ampère

Oracle has also published test data related to executing the Llama2-7B model on Ampere's Altra central processing units (CPUs). Utilizing a 64-core OCI A1 instance paired with a 4-bit quantized version of the model, Oracle achieved throughput rates ranging from 33 to 119 tokens per second for batch sizes of 1 and 16, respectively.

Oracle a également publié des données de test liées à l'exécution du modèle Llama2-7B sur les unités centrales de traitement (CPU) Altra d'Ampère. En utilisant une instance OCI A1 à 64 cœurs associée à une version quantifiée 4 bits du modèle, Oracle a atteint des débits allant de 33 à 119 jetons par seconde pour des tailles de lots de 1 et 16, respectivement.

In the context of conversational chatbots, a larger batch size equates to a higher capacity to concurrently handle multiple queries. Oracle's testing revealed a direct correlation between batch size and throughput; however, the larger the batch size, the slower the model generated text. For instance, at a batch size of 16, Oracle attained its highest throughput performance, but the output rate was approximately 7.5 tokens per second per query. This delay would be noticeable from the end-user's perspective.

Dans le contexte des chatbots conversationnels, une taille de lot plus grande équivaut à une capacité plus élevée à traiter simultanément plusieurs requêtes. Les tests d'Oracle ont révélé une corrélation directe entre la taille des lots et le débit ; cependant, plus la taille du lot est grande, plus le texte généré par le modèle est lent. Par exemple, avec une taille de lot de 16, Oracle a atteint ses performances de débit les plus élevées, mais le taux de sortie était d'environ 7,5 jetons par seconde et par requête. Ce retard serait perceptible du point de vue de l'utilisateur final.

Oracle shared results across multiple batch sizes, while Intel's data is limited to batch size one. Intel has been contacted for further details on performance at higher batch sizes.

Oracle a partagé les résultats sur plusieurs tailles de lots, tandis que les données d'Intel sont limitées à une seule taille de lot. Intel a été contacté pour plus de détails sur les performances avec des tailles de lots plus élevées.

Causes of Improved Performance

Causes de l'amélioration des performances

According to Jeff Wittich, Ampere's chief product officer, these performance gains were largely attributed to custom software libraries and optimizations to Llama.cpp, developed in collaboration with Oracle. Both Oracle and Intel have since released performance metrics for Meta's newly launched Llama3 models, demonstrating similar performance characteristics.

Selon Jeff Wittich, directeur des produits chez Ampere, ces gains de performances ont été largement attribués aux bibliothèques logicielles personnalisées et aux optimisations de Llama.cpp, développées en collaboration avec Oracle. Oracle et Intel ont depuis publié des mesures de performances pour les modèles Llama3 récemment lancés par Meta, démontrant des caractéristiques de performances similaires.

Pending the accuracy of these performance claims – given the test parameters and our experience running 4-bit quantized models on CPUs – CPUs appear to be a viable option for executing small-scale models. In the near future, they may also be capable of handling moderately sized models, particularly at relatively small batch sizes.

En attendant l'exactitude de ces performances (compte tenu des paramètres de test et de notre expérience dans l'exécution de modèles quantifiés 4 bits sur des processeurs), les processeurs semblent être une option viable pour exécuter des modèles à petite échelle. Dans un avenir proche, ils pourraient également être capables de gérer des modèles de taille moyenne, en particulier des lots relativement petits.

Limitations and Ongoing Challenges

Limites et défis permanents

While Intel and Ampere have successfully demonstrated LLMs running on their respective CPU platforms, it is crucial to recognize that various compute and memory limitations prevent CPUs from completely replacing GPUs or dedicated accelerators for larger-scale models.

Bien qu'Intel et Ampere aient démontré avec succès que les LLM fonctionnent sur leurs plates-formes de processeur respectives, il est crucial de reconnaître que diverses limitations de calcul et de mémoire empêchent les processeurs de remplacer complètement les GPU ou les accélérateurs dédiés pour les modèles à plus grande échelle.

For models pushing the boundaries of generative AI, Ronak Shah, director of Xeon AI product management at Intel, emphasized that upcoming products like the Gaudi accelerator are specifically engineered for such tasks.

Pour les modèles repoussant les limites de l'IA générative, Ronak Shah, directeur de la gestion des produits Xeon AI chez Intel, a souligné que les produits à venir comme l'accélérateur Gaudi sont spécifiquement conçus pour de telles tâches.

Overcoming Bottlenecks

Surmonter les goulots d'étranglement

Historically, conversations surrounding the execution of LLMs on CPUs have been subdued because, despite increasing core counts, conventional processors still fall short in terms of parallelism compared to modern GPUs and accelerators designed for AI workloads.

Historiquement, les discussions autour de l'exécution des LLM sur les processeurs ont été modérées car, malgré l'augmentation du nombre de cœurs, les processeurs conventionnels restent insuffisants en termes de parallélisme par rapport aux GPU et accélérateurs modernes conçus pour les charges de travail d'IA.

However, CPUs are undergoing significant enhancements. Modern units dedicate a substantial portion of their die space to features such as vector extensions or even specialized matrix math accelerators.

Cependant, les processeurs subissent des améliorations significatives. Les unités modernes consacrent une partie substantielle de leur espace de puce à des fonctionnalités telles que les extensions vectorielles ou même des accélérateurs mathématiques matriciels spécialisés.

Intel incorporated the latter feature in its Sapphire Rapids Xeon Scalable processors released early last year. Each core is also equipped with Advanced Matrix Extensions (AMX), although not all stock-keeping units (SKUs) support AMX due to the flexibility of software-defined silicon.

Intel a intégré cette dernière fonctionnalité dans ses processeurs Sapphire Rapids Xeon Scalable sortis au début de l'année dernière. Chaque cœur est également équipé d'Advanced Matrix Extensions (AMX), bien que toutes les unités de gestion des stocks (SKU) ne prennent pas en charge AMX en raison de la flexibilité du silicium défini par logiciel.

As the name suggests, AMX extensions are tailored to accelerate matrix math calculations prevalent in deep learning workloads. Since its initial implementation, Intel has continuously refined its AMX engines for improved performance on larger models. This advancement is likely reflected in the upcoming Intel Xeon 6 processors slated for release later this year.

Comme leur nom l'indique, les extensions AMX sont conçues pour accélérer les calculs mathématiques matriciels répandus dans les charges de travail d'apprentissage profond. Depuis sa mise en œuvre initiale, Intel a continuellement affiné ses moteurs AMX pour améliorer les performances sur les modèles plus grands. Cette avancée se reflète probablement dans les prochains processeurs Intel Xeon 6, dont la sortie est prévue plus tard cette année.

While Intel heavily relies on matrix acceleration, Ampere's Wittich explained that acceptable performance can be achieved using the two 128-bit vector units embedded in each of its AmpereOne and Altra cores. These vector units support FP16, BF16, INT8, and INT16 precision levels.

Alors qu'Intel s'appuie fortement sur l'accélération matricielle, Wittich d'Ampere a expliqué que des performances acceptables peuvent être obtenues en utilisant les deux unités vectorielles de 128 bits intégrées dans chacun de ses cœurs AmpereOne et Altra. Ces unités vectorielles prennent en charge les niveaux de précision FP16, BF16, INT8 et INT16.

Memory Bottlenecks and MCR DIMMs

Goulots d'étranglement de mémoire et modules DIMM MCR

Despite their inferior performance in executing OPS or FLOPS compared to GPUs, CPUs possess a significant advantage: their independence from expensive and capacity-constrained high-bandwidth memory (HBM) modules.

Malgré leurs performances d'exécution d'OPS ou de FLOPS inférieures à celles des GPU, les processeurs possèdent un avantage significatif : leur indépendance par rapport aux modules de mémoire à large bande passante (HBM) coûteux et à capacité limitée.

As previously discussed, operating a model at FP8/INT8 requires approximately 1 gigabyte (GB) of memory for each billion parameters. Consequently, executing a model like OpenAI's 1.7 trillion parameter GPT-4 model at FP8 would necessitate over 1.7 terabytes (TB) of memory, which would be approximately halved when quantized to 4-bits. This memory requirement exceeds the capacity of any single GPU but falls within the capabilities of modern CPUs.

Comme indiqué précédemment, l'exploitation d'un modèle sur FP8/INT8 nécessite environ 1 gigaoctet (Go) de mémoire pour chaque milliard de paramètres. Par conséquent, l'exécution d'un modèle tel que le modèle GPT-4 de 1,7 billion de paramètres d'OpenAI au FP8 nécessiterait plus de 1,7 téraoctets (To) de mémoire, qui serait environ réduite de moitié une fois quantifiée sur 4 bits. Ces besoins en mémoire dépassent la capacité de n'importe quel GPU, mais restent dans les limites des capacités des processeurs modernes.

However, the drawback lies in the sluggish speed of large DRAM modules used by CPUs compared to HBM.

Cependant, l'inconvénient réside dans la vitesse lente des gros modules DRAM utilisés par les processeurs par rapport au HBM.

With only eight memory channels currently supported on Intel's 5th-generation Xeon and Ampere's One processors, these chips are limited to roughly 350 gigabytes per second (GB/sec) of memory bandwidth when running 5600MT/sec DIMMs. While Wittich mentioned plans for a 12-channel version of Ampere's chip with a targeted release later this year – featuring a purported 256 cores – it is not yet available.

Avec seulement huit canaux de mémoire actuellement pris en charge sur les processeurs Intel Xeon de 5e génération et Ampere's One, ces puces sont limitées à environ 350 gigaoctets par seconde (Go/s) de bande passante mémoire lors de l'exécution de modules DIMM à 5 600 MT/s. Bien que Wittich ait mentionné des plans pour une version à 12 canaux de la puce d'Ampère avec une sortie prévue plus tard cette année – avec 256 cœurs présumés – elle n'est pas encore disponible.

Nevertheless, all of Oracle's testing has been conducted on Ampere's Altra generation, which utilizes even slower DDR4 memory and operates at a maximum bandwidth of approximately 200GB/sec. This suggests the potential for substantial performance gains by upgrading to the newer AmpereOne cores.

Néanmoins, tous les tests d'Oracle ont été effectués sur la génération Altra d'Ampère, qui utilise une mémoire DDR4 encore plus lente et fonctionne à une bande passante maximale d'environ 200 Go/s. Cela suggère le potentiel de gains de performances substantiels en passant aux nouveaux cœurs AmpereOne.

These bandwidth speeds may seem impressive – certainly faster than an SSD – but the eight HBM modules found on AMD's MI300X or Nvidia's upcoming Blackwell GPUs deliver speeds of 5.3 TB/sec and 8TB/sec, respectively. However, HBM modules are constrained by a maximum capacity of 192GB.

Ces vitesses de bande passante peuvent sembler impressionnantes – certainement plus rapides qu'un SSD – mais les huit modules HBM présents sur le MI300X d'AMD ou sur les prochains GPU Blackwell de Nvidia offrent des vitesses de 5,3 To/s et 8 To/s, respectivement. Cependant, les modules HBM sont limités par une capacité maximale de 192 Go.

To illustrate this concept, consider memory capacity as a fuel tank, memory bandwidth as a fuel line, and compute as an internal combustion engine. Regardless of the size of the fuel tank or the power of the engine, if the fuel line is too narrow to supply sufficient fuel for optimal engine performance, the system will be hindered.

Pour illustrer ce concept, considérons la capacité mémoire comme un réservoir de carburant, la bande passante mémoire comme une conduite de carburant et le calcul comme un moteur à combustion interne. Quelle que soit la taille du réservoir de carburant ou la puissance du moteur, si la conduite de carburant est trop étroite pour fournir suffisamment de carburant pour des performances optimales du moteur, le système sera entravé.

This limitation explains why previous attempts to execute LLMs on CPUs were largely confined to smaller models.

Cette limitation explique pourquoi les tentatives précédentes d'exécution de LLM sur des processeurs étaient largement limitées à des modèles plus petits.

Clearing the Bottlenecks: Intel's Granite Rapids Xeon 6

Supprimer les goulots d'étranglement : Granite Rapids Xeon 6 d'Intel

Despite these obstacles, Intel's forthcoming Granite Rapids Xeon 6 platform provides clues on how CPUs could potentially handle larger models in the near future.

Malgré ces obstacles, la prochaine plate-forme Granite Rapids Xeon 6 d'Intel fournit des indices sur la façon dont les processeurs pourraient potentiellement gérer des modèles plus grands dans un avenir proche.

Intel's recent demonstration showcased a single Xeon 6 processor effortlessly running Llama2-70B with a reasonable second token latency of 82ms. Crucially, many details regarding the test rig remain unknown, including the number and clock speed of the cores. These details will likely be revealed later this year – potentially in December.

La récente démonstration d'Intel a présenté un seul processeur Xeon 6 exécutant sans effort Llama2-70B avec une latence raisonnable du deuxième jeton de 82 ms. Surtout, de nombreux détails concernant le banc d’essai restent inconnus, notamment le nombre et la vitesse d’horloge des cœurs. Ces détails seront probablement révélés plus tard cette année, potentiellement en décembre.

"The substantial advancement from 5th-generation Xeon to Xeon 6 lies in the introduction of MCR DIMMs, which effectively clears many of the bottlenecks associated with memory-bound workloads," explained Shah.

« L'avancée substantielle entre le Xeon de 5e génération et le Xeon 6 réside dans l'introduction des modules DIMM MCR, qui éliminent efficacement de nombreux goulots d'étranglement associés aux charges de travail liées à la mémoire », a expliqué Shah.

Multiplexer combined rank (MCR) DIMMs facilitate much faster memory access compared to standard DRAM. Intel has already demonstrated this technology running at 8,800MT/sec. With 12 memory channels equipped with MCR DIMMs, a single Granite Rapids socket would access approximately 825GB/sec of bandwidth – a significant leap from previous generations.

Les DIMM MCR (Multiplexer Combined Rank) facilitent un accès à la mémoire beaucoup plus rapide par rapport à la DRAM standard. Intel a déjà démontré cette technologie fonctionnant à 8 800 MT/sec. Avec 12 canaux de mémoire équipés de DIMM MCR, un seul socket Granite Rapids accéderait à environ 825 Go/s de bande passante – un bond significatif par rapport aux générations précédentes.

Wittich noted that Ampere is also exploring the implementation of MCR DIMMs but did not provide a timeline for their inclusion in Ampere silicon.

Wittich a noté qu'Ampere étudie également la mise en œuvre de modules DIMM MCR, mais n'a pas fourni de calendrier pour leur inclusion dans le silicium Ampere.

However, faster memory technology is not the sole innovation offered by Granite Rapids. Intel's AMX engine has gained support for 4-bit operations via the introduction of the MXFP4 data type, which theoretically has the potential to double effective performance.

Cependant, une technologie de mémoire plus rapide n'est pas la seule innovation proposée par Granite Rapids. Le moteur AMX d'Intel prend désormais en charge les opérations 4 bits grâce à l'introduction du type de données MXFP4, qui a théoriquement le potentiel de doubler les performances effectives.

Moreover, lower precision reduces the model footprint and subsequently lowers memory capacity and bandwidth requirements. Quantization techniques employed to compress models trained at higher precisions can also achieve similar reductions in footprint and bandwidth usage. Therefore, the practical benefit of supporting 4-bit mathematics in hardware primarily manifests as performance enhancements.

De plus, une précision moindre réduit l’encombrement du modèle et, par conséquent, les besoins en capacité de mémoire et en bande passante. Les techniques de quantification utilisées pour compresser les modèles entraînés avec une précision plus élevée peuvent également permettre d'obtenir des réductions similaires de l'encombrement et de l'utilisation de la bande passante. Par conséquent, l’avantage pratique de la prise en charge des mathématiques 4 bits dans le matériel se manifeste principalement par des améliorations de performances.

Balancing Act: Optimizing CPU Design for AI

Équilibre : optimiser la conception du processeur pour l'IA

For CPU designers, striking the right balance of AI capabilities presents a challenge. Excessive allocation of die area to features like AMX risks transforming the chip into an AI accelerator rather than a general-purpose processor.

Pour les concepteurs de processeurs, trouver le bon équilibre entre les capacités de l’IA constitue un défi. Une allocation excessive de la zone de puce à des fonctionnalités telles que l'AMX risque de transformer la puce en un accélérateur d'IA plutôt qu'en un processeur à usage général.

As a result, instead of aiming for CPUs capable of handling the largest and most demanding LLMs, vendors are focusing on the distribution of AI models to identify the most widely adopted models and optimizing their products to cater to these workloads.

En conséquence, au lieu de viser des processeurs capables de gérer les LLM les plus importants et les plus exigeants, les fournisseurs se concentrent sur la distribution de modèles d'IA pour identifier les modèles les plus largement adoptés et optimiser leurs produits pour répondre à ces charges de travail.

"From a customer perspective, the sweet spot right now revolves around models with 7–13 billion parameters. That's where most of our attention is directed today," stated Wittich.

« Du point de vue du client, le point idéal tourne actuellement autour des modèles comportant 7 à 13 milliards de paramètres. C'est là que se porte aujourd'hui l'essentiel de notre attention », a déclaré Wittich.

Intel's Shah has observed a similar

Shah d'Intel a observé une situation similaire