CRAM: Ein neues Chipdesign, das den Stromverbrauch von KI-Protokollen um Größenordnungen reduzieren könnte

Künstliche Intelligenz (KI) treibt neben ihrem Energiebedarf weiterhin die vierte industrielle Revolution voran. Heutzutage kann jeder auf fortschrittliche KI-Tools zugreifen

Artificial Intelligence (AI) continues to power the 4th industrial revolution, alongside its energy demands. Today, anyone can access advanced AI tools and integrate them into their systems to improve efficiency and reduce workload. The energy required to power these algorithms increases as the demand for AI applications increases. As such, environmentalists are already pointing out sustainability concerns surrounding the tech. Thankfully, a team of researchers has created a highly efficient alternative. Here's what you need to know.

Künstliche Intelligenz (KI) treibt neben ihrem Energiebedarf weiterhin die vierte industrielle Revolution voran. Heutzutage kann jeder auf fortschrittliche KI-Tools zugreifen und diese in seine Systeme integrieren, um die Effizienz zu verbessern und den Arbeitsaufwand zu reduzieren. Der Energiebedarf für den Betrieb dieser Algorithmen steigt mit steigender Nachfrage nach KI-Anwendungen. Daher weisen Umweltschützer bereits auf Nachhaltigkeitsbedenken im Zusammenhang mit der Technologie hin. Glücklicherweise hat ein Forscherteam eine hocheffiziente Alternative geschaffen. Folgendes müssen Sie wissen:

Growing AI Energy Demands Creating an Energy Crisis

Wachsender KI-Energiebedarf führt zu einer Energiekrise

New AI systems continue to launch at an increasing frequency. The most recent global energy use forecast predicts that AI energy consumption will double from 460 terawatt-hours (TWh) in 2022 to 1,000 TWh by 2026. These protocols include recommenders, large language models (LLMs), image and video processing and creation, Web3 services, and more.

Immer häufiger kommen neue KI-Systeme auf den Markt. Die jüngste globale Energieverbrauchsprognose prognostiziert, dass sich der KI-Energieverbrauch von 460 Terawattstunden (TWh) im Jahr 2022 auf 1.000 TWh im Jahr 2026 verdoppeln wird. Zu diesen Protokollen gehören Empfehlungsgeber, große Sprachmodelle (LLMs), Bild- und Videoverarbeitung und -erstellung sowie Web3 Dienstleistungen und mehr.

According to the researcher's study, AI systems require data transference that equates to “200 times the energy used for computation when reading three 64-bit source operands from and writing one 64-bit destination operand to an off-chip main memory.” As such, reducing energy consumption for artificial intelligence (AI) computing applications is a prime concern for developers who will need to overcome this roadblock to achieve large-scale adoption and mature the tech.

Laut der Studie des Forschers erfordern KI-Systeme eine Datenübertragung, die „dem 200-fachen der für die Berechnung aufgewendeten Energie beim Lesen von drei 64-Bit-Quelloperanden aus einem Off-Chip-Hauptspeicher und beim Schreiben eines 64-Bit-Zieloperanden in diesen“ entspricht. Daher ist die Reduzierung des Energieverbrauchs für Computeranwendungen mit künstlicher Intelligenz (KI) ein vorrangiges Anliegen für Entwickler, die dieses Hindernis überwinden müssen, um eine groß angelegte Einführung zu erreichen und die Technologie zu reifen.

Thankfully, a group of innovative engineers from the University of Minnesota have stepped up with a possible solution that could reduce the power consumption of AI protocols by orders of magnitude. To accomplish this task, the researchers introduce a new chip design that improves on the Von Neumann Architecture found in most chips today.

Glücklicherweise hat eine Gruppe innovativer Ingenieure der University of Minnesota eine mögliche Lösung entwickelt, die den Stromverbrauch von KI-Protokollen um Größenordnungen reduzieren könnte. Um diese Aufgabe zu erfüllen, stellen die Forscher ein neues Chipdesign vor, das die Von-Neumann-Architektur, die heute in den meisten Chips zu finden ist, verbessert.

Von Neumann Architecture

Von Neumann Architektur

John von Neumann revolutionized the computer sector in 1945 when he separated logic and memory units, enabling more efficient computing at the time. In this arrangement, the logic and data are stored in different physical locations. His invention improved performance because it allowed both to be accessed simultaneously.

John von Neumann revolutionierte 1945 den Computersektor, als er Logik- und Speichereinheiten trennte und so ein damals effizienteres Rechnen ermöglichte. Bei dieser Anordnung werden die Logik und die Daten an verschiedenen physischen Orten gespeichert. Seine Erfindung verbesserte die Leistung, da sie den gleichzeitigen Zugriff auf beide ermöglichte.

Today, most computers still use the Von Neuman structure with your HD storing your programs and the random access memory (RAM) housing programming instructions and temporary data. Today's RAM accomplishes this task using various methods including DRAM, which leverages capacitors, and SRAM, which has multiple circuits.

Heutzutage verwenden die meisten Computer immer noch die Von-Neuman-Struktur, wobei Ihre Festplatte Ihre Programme speichert und der Arbeitsspeicher (RAM) Programmieranweisungen und temporäre Daten enthält. Der heutige RAM erfüllt diese Aufgabe mithilfe verschiedener Methoden, darunter DRAM, das Kondensatoren nutzt, und SRAM, das über mehrere Schaltkreise verfügt.

Notably, this structure worked great for decades. However, the constant transfer of data between logic and memory requires lots of energy. This energy transfer increases as data requirements and computational load increase. As such, it creates a performance bottleneck that limits efficiency as computing power increases.

Bemerkenswert ist, dass diese Struktur jahrzehntelang hervorragend funktionierte. Der ständige Datentransfer zwischen Logik und Speicher erfordert jedoch viel Energie. Diese Energieübertragung nimmt zu, wenn der Datenbedarf und die Rechenlast steigen. Dadurch entsteht ein Leistungsengpass, der die Effizienz mit zunehmender Rechenleistung einschränkt.

Attempted Improvements on Energy Demands

Versuchte Verbesserungen des Energiebedarfs

Over the years, many attempts have been made to improve Von Neumann's architecture. These attempts have created different variations of the memory process with the goal of bringing the two actions closer physically. Currently, the three main variations include.

Im Laufe der Jahre wurden viele Versuche unternommen, die Architektur von Von Neumann zu verbessern. Diese Versuche haben verschiedene Variationen des Erinnerungsprozesses mit dem Ziel geschaffen, die beiden Aktionen physisch näher zu bringen. Derzeit umfassen die drei Hauptvarianten.

Near-memory Processing

Near-Memory-Verarbeitung

This upgrade moves logic physically closer to memory. This was accomplished using a 3D-stacked infrastructure. Moving the logic closer reduced the distance and energy needed to transfer the data required to power computations. This architecture provided improved efficiency.

Dieses Upgrade rückt die Logik physisch näher an den Speicher heran. Dies wurde mithilfe einer 3D-gestapelten Infrastruktur erreicht. Durch die Annäherung der Logik wurden die Entfernung und der Energieaufwand für die Übertragung der für die Leistungsberechnungen erforderlichen Daten verringert. Diese Architektur sorgte für eine verbesserte Effizienz.

In-memory Computing

In-Memory-Computing

Another current method of improving computational architecture is in-memory computing. Notably, there are two variations of this style of chip. The original integrates clusters of logic next to the memory on a single chip. This deployment enables the elimination of transistors used in predecessors. However, there are many who consider this method not “true” to the in-memory structure because it still has separate memory locations, which means that initial performance issues that resulted from the data transfer exist, albeit on a smaller scale.

Eine weitere aktuelle Methode zur Verbesserung der Computerarchitektur ist In-Memory-Computing. Bemerkenswert ist, dass es zwei Variationen dieser Chipart gibt. Das Original integriert Logikcluster neben dem Speicher auf einem einzigen Chip. Dieser Einsatz ermöglicht die Eliminierung der in Vorgängermodellen verwendeten Transistoren. Allerdings gibt es viele, die diese Methode für nicht „getreu“ der In-Memory-Struktur halten, da sie immer noch über separate Speicherorte verfügt, was bedeutet, dass es zu anfänglichen Leistungsproblemen aufgrund der Datenübertragung kommt, wenn auch in geringerem Umfang.

True In-memory

Echter In-Memory

The final type of chip architecture is “true in-memory.” To qualify as this type of architecture, the memory needs to perform computations directly. This structure enhances capabilities and performance because the data for logic operations remains in its location. The researcher's latest version of true in-memory architecture is CRAM.

Die letzte Art der Chip-Architektur ist „True In-Memory“. Um als dieser Architekturtyp zu gelten, muss der Speicher Berechnungen direkt durchführen. Diese Struktur verbessert die Funktionalität und Leistung, da die Daten für logische Operationen an ihrem Speicherort bleiben. Die neueste Version der echten In-Memory-Architektur des Forschers ist CRAM.

(CRAM)

(STOPFEN)

Computational random-access memory (CRAM) enables true in-memory computations as the data is processed within the same array. The researchers modified a standard 1T1M STT-MRAM architecture to make CRAM possible. The CRAM layout integrates micro transistors into each cell and builds on the magnetic tunnel junction-based CPUs.

Computational Random Access Memory (CRAM) ermöglicht echte In-Memory-Berechnungen, da die Daten innerhalb desselben Arrays verarbeitet werden. Die Forscher modifizierten eine Standard-1T1M-STT-MRAM-Architektur, um CRAM zu ermöglichen. Das CRAM-Layout integriert Mikrotransistoren in jede Zelle und baut auf den auf magnetischen Tunnelverbindungen basierenden CPUs auf.

This approach provides better control and performance. The team then stacked an additional transistor, logic line (LL), and logic bit line (LBL) in each cell, enabling real-time computation within the same memory bank.

Dieser Ansatz bietet eine bessere Kontrolle und Leistung. Anschließend stapelte das Team einen zusätzlichen Transistor, eine Logikleitung (LL) und eine Logikbitleitung (LBL) in jede Zelle und ermöglichte so Echtzeitberechnungen innerhalb derselben Speicherbank.

History of CRAM

Geschichte von CRAM

Today's AI systems require a new structure that can meet their computational demands without diminishing sustainability concerns. Recognizing this demand, engineers decided to delve deep into CRAM capabilities for the first time. Their results were published in the NPJ scientific journal under the report “Experimental demonstration of magnetic tunnel junction-based computational random-access memory.”

Heutige KI-Systeme erfordern eine neue Struktur, die ihre Rechenanforderungen erfüllen kann, ohne die Nachhaltigkeitsbedenken zu schmälern. Die Ingenieure erkannten diesen Bedarf und beschlossen, sich erstmals eingehend mit den CRAM-Funktionen zu befassen. Ihre Ergebnisse wurden in der Fachzeitschrift NPJ unter dem Bericht „Experimental Demonstration of Magnetic Tunnel Junction-based Computational Random-Access Memory“ veröffentlicht.

The first CRAM leveraged an MTJ device structure. These spintronic devices improved on previous storage methods by using electron spin rather than transistors to transfer and store

Der erste CRAM nutzte eine MTJ-Gerätestruktur. Diese spintronischen Geräte verbesserten frühere Speichermethoden, indem sie zum Übertragen und Speichern Elektronenspins anstelle von Transistoren verwendeten