CRAM : une nouvelle conception de puce qui pourrait réduire la consommation d'énergie des protocoles d'IA de plusieurs ordres de grandeur

L'intelligence artificielle (IA) continue d'alimenter la 4e révolution industrielle, parallèlement à ses besoins énergétiques. Aujourd’hui, tout le monde peut accéder à des outils d’IA avancés

Artificial Intelligence (AI) continues to power the 4th industrial revolution, alongside its energy demands. Today, anyone can access advanced AI tools and integrate them into their systems to improve efficiency and reduce workload. The energy required to power these algorithms increases as the demand for AI applications increases. As such, environmentalists are already pointing out sustainability concerns surrounding the tech. Thankfully, a team of researchers has created a highly efficient alternative. Here's what you need to know.

L'intelligence artificielle (IA) continue d'alimenter la 4e révolution industrielle, parallèlement à ses besoins énergétiques. Aujourd’hui, n’importe qui peut accéder à des outils d’IA avancés et les intégrer dans ses systèmes pour améliorer l’efficacité et réduire la charge de travail. L’énergie nécessaire pour alimenter ces algorithmes augmente à mesure que la demande d’applications d’IA augmente. C’est pourquoi les environnementalistes soulignent déjà les problèmes de durabilité entourant cette technologie. Heureusement, une équipe de chercheurs a créé une alternative très efficace. Voici ce que vous devez savoir.

Growing AI Energy Demands Creating an Energy Crisis

La demande croissante en énergie de l’IA crée une crise énergétique

New AI systems continue to launch at an increasing frequency. The most recent global energy use forecast predicts that AI energy consumption will double from 460 terawatt-hours (TWh) in 2022 to 1,000 TWh by 2026. These protocols include recommenders, large language models (LLMs), image and video processing and creation, Web3 services, and more.

De nouveaux systèmes d’IA continuent d’être lancés à une fréquence croissante. Les prévisions mondiales les plus récentes sur la consommation d'énergie prévoient que la consommation d'énergie de l'IA doublera, passant de 460 térawattheures (TWh) en 2022 à 1 000 TWh d'ici 2026. Ces protocoles incluent des recommandations, des modèles de langage étendus (LLM), le traitement et la création d'images et de vidéos, Web3. services, et plus encore.

According to the researcher's study, AI systems require data transference that equates to “200 times the energy used for computation when reading three 64-bit source operands from and writing one 64-bit destination operand to an off-chip main memory.” As such, reducing energy consumption for artificial intelligence (AI) computing applications is a prime concern for developers who will need to overcome this roadblock to achieve large-scale adoption and mature the tech.

Selon l'étude du chercheur, les systèmes d'IA nécessitent un transfert de données équivalant à « 200 fois l'énergie utilisée pour le calcul lors de la lecture de trois opérandes sources de 64 bits et de l'écriture d'un opérande de destination de 64 bits dans une mémoire principale hors puce ». En tant que tel, la réduction de la consommation d’énergie pour les applications informatiques d’intelligence artificielle (IA) est une préoccupation majeure pour les développeurs qui devront surmonter cet obstacle pour parvenir à une adoption à grande échelle et faire évoluer la technologie.

Thankfully, a group of innovative engineers from the University of Minnesota have stepped up with a possible solution that could reduce the power consumption of AI protocols by orders of magnitude. To accomplish this task, the researchers introduce a new chip design that improves on the Von Neumann Architecture found in most chips today.

Heureusement, un groupe d’ingénieurs innovants de l’Université du Minnesota a proposé une solution possible qui pourrait réduire la consommation d’énergie des protocoles d’IA de plusieurs ordres de grandeur. Pour accomplir cette tâche, les chercheurs introduisent une nouvelle conception de puce qui améliore l'architecture Von Neumann que l'on trouve aujourd'hui dans la plupart des puces.

Von Neumann Architecture

Architecture Von Neumann

John von Neumann revolutionized the computer sector in 1945 when he separated logic and memory units, enabling more efficient computing at the time. In this arrangement, the logic and data are stored in different physical locations. His invention improved performance because it allowed both to be accessed simultaneously.

John von Neumann a révolutionné le secteur informatique en 1945 en séparant les unités logiques et mémoire, permettant ainsi une informatique plus efficace à l'époque. Dans cet agencement, la logique et les données sont stockées dans différents emplacements physiques. Son invention a amélioré les performances car elle permettait d'accéder simultanément aux deux.

Today, most computers still use the Von Neuman structure with your HD storing your programs and the random access memory (RAM) housing programming instructions and temporary data. Today's RAM accomplishes this task using various methods including DRAM, which leverages capacitors, and SRAM, which has multiple circuits.

Aujourd'hui, la plupart des ordinateurs utilisent encore la structure Von Neuman, votre disque dur stockant vos programmes et la mémoire vive (RAM) hébergeant les instructions de programmation et les données temporaires. La RAM actuelle accomplit cette tâche en utilisant diverses méthodes, notamment la DRAM, qui exploite les condensateurs, et la SRAM, qui comporte plusieurs circuits.

Notably, this structure worked great for decades. However, the constant transfer of data between logic and memory requires lots of energy. This energy transfer increases as data requirements and computational load increase. As such, it creates a performance bottleneck that limits efficiency as computing power increases.

Notamment, cette structure a très bien fonctionné pendant des décennies. Cependant, le transfert constant de données entre la logique et la mémoire nécessite beaucoup d’énergie. Ce transfert d'énergie augmente à mesure que les besoins en données et la charge de calcul augmentent. En tant que tel, cela crée un goulot d’étranglement en termes de performances qui limite l’efficacité à mesure que la puissance de calcul augmente.

Attempted Improvements on Energy Demands

Tentatives d'amélioration de la demande énergétique

Over the years, many attempts have been made to improve Von Neumann's architecture. These attempts have created different variations of the memory process with the goal of bringing the two actions closer physically. Currently, the three main variations include.

Au fil des années, de nombreuses tentatives ont été faites pour améliorer l'architecture de Von Neumann. Ces tentatives ont créé différentes variations du processus de mémoire dans le but de rapprocher physiquement les deux actions. Actuellement, les trois principales variantes comprennent.

Near-memory Processing

Traitement en mémoire proche

This upgrade moves logic physically closer to memory. This was accomplished using a 3D-stacked infrastructure. Moving the logic closer reduced the distance and energy needed to transfer the data required to power computations. This architecture provided improved efficiency.

Cette mise à niveau rapproche physiquement la logique de la mémoire. Cela a été réalisé à l’aide d’une infrastructure empilée en 3D. Le rapprochement de la logique a réduit la distance et l'énergie nécessaires pour transférer les données nécessaires aux calculs. Cette architecture offrait une efficacité améliorée.

In-memory Computing

Informatique en mémoire

Another current method of improving computational architecture is in-memory computing. Notably, there are two variations of this style of chip. The original integrates clusters of logic next to the memory on a single chip. This deployment enables the elimination of transistors used in predecessors. However, there are many who consider this method not “true” to the in-memory structure because it still has separate memory locations, which means that initial performance issues that resulted from the data transfer exist, albeit on a smaller scale.

Une autre méthode actuelle pour améliorer l’architecture informatique est l’informatique en mémoire. Il existe notamment deux variantes de ce style de puce. L'original intègre des clusters de logique à côté de la mémoire sur une seule puce. Ce déploiement permet l'élimination des transistors utilisés dans les prédécesseurs. Cependant, nombreux sont ceux qui considèrent que cette méthode n'est pas « fidèle » à la structure en mémoire, car elle comporte toujours des emplacements de mémoire séparés, ce qui signifie que des problèmes de performances initiaux résultant du transfert de données existent, bien qu'à plus petite échelle.

True In-memory

Véritable en mémoire

The final type of chip architecture is “true in-memory.” To qualify as this type of architecture, the memory needs to perform computations directly. This structure enhances capabilities and performance because the data for logic operations remains in its location. The researcher's latest version of true in-memory architecture is CRAM.

Le dernier type d’architecture de puce est « véritablement en mémoire ». Pour être qualifiée de ce type d’architecture, la mémoire doit effectuer directement des calculs. Cette structure améliore les capacités et les performances car les données des opérations logiques restent à leur emplacement. La dernière version de la véritable architecture en mémoire proposée par le chercheur est CRAM.

(CRAM)

(FOURRER)

Computational random-access memory (CRAM) enables true in-memory computations as the data is processed within the same array. The researchers modified a standard 1T1M STT-MRAM architecture to make CRAM possible. The CRAM layout integrates micro transistors into each cell and builds on the magnetic tunnel junction-based CPUs.

La mémoire vive informatique (CRAM) permet de véritables calculs en mémoire lorsque les données sont traitées dans le même tableau. Les chercheurs ont modifié une architecture standard 1T1M STT-MRAM pour rendre la CRAM possible. La configuration CRAM intègre des microtransistors dans chaque cellule et s'appuie sur les processeurs basés sur une jonction tunnel magnétique.

This approach provides better control and performance. The team then stacked an additional transistor, logic line (LL), and logic bit line (LBL) in each cell, enabling real-time computation within the same memory bank.

Cette approche offre un meilleur contrôle et de meilleures performances. L’équipe a ensuite empilé un transistor, une ligne logique (LL) et une ligne de bits logiques (LBL) supplémentaires dans chaque cellule, permettant ainsi un calcul en temps réel au sein de la même banque de mémoire.

History of CRAM

Histoire du CRAM

Today's AI systems require a new structure that can meet their computational demands without diminishing sustainability concerns. Recognizing this demand, engineers decided to delve deep into CRAM capabilities for the first time. Their results were published in the NPJ scientific journal under the report “Experimental demonstration of magnetic tunnel junction-based computational random-access memory.”

Les systèmes d'IA d'aujourd'hui nécessitent une nouvelle structure capable de répondre à leurs exigences informatiques sans diminuer les problèmes de durabilité. Conscients de cette demande, les ingénieurs ont décidé d'approfondir pour la première fois les capacités CRAM. Leurs résultats ont été publiés dans la revue scientifique NPJ sous le rapport « Démonstration expérimentale de la mémoire vive computationnelle basée sur la jonction tunnel magnétique ».

The first CRAM leveraged an MTJ device structure. These spintronic devices improved on previous storage methods by using electron spin rather than transistors to transfer and store

La première CRAM exploitait une structure de périphérique MTJ. Ces dispositifs spintroniques ont amélioré les méthodes de stockage précédentes en utilisant le spin électronique plutôt que des transistors pour transférer et stocker.