Für KI speziell gebaut: Vereinheitlich der KVCACHE-Wiederverwendung und GPU-Speichererweiterung mit CXL, um eine der anhaltendsten Infrastrukturherausforderungen der KI zu bewältigen

Wenn sich die KI-Arbeitsbelastungen über statische Eingabeaufforderungen zu dynamischen Kontextströmen, Modellerstellungspipelines und langjährigen Wirkstoffen entwickeln, muss sich auch die Infrastruktur entwickeln.

PEAK:AIO, a company that provides software-first infrastructure for next-generation AI data solutions, announced the launch of its 1U Token Memory Feature. This feature is designed to unify KVCache reuse and GPU memory expansion using CXL, addressing one of AI's most persistent infrastructure challenges.

Peak: AIO, ein Unternehmen, das Software-First-Infrastruktur für AI-Datenlösungen der nächsten Generation anbietet, kündigte die Einführung seiner 1U-Token-Speicherfunktion an. Diese Funktion soll die KVCACHE -Wiederverwendung und die GPU -Speichererweiterung mithilfe von CXL vereinen und sich mit einer der anhaltendsten Infrastrukturherausforderungen der KI befassen.

As AI workloads evolve beyond static prompts into dynamic context streams, model creation pipelines, and long-running agents, there is a pressing need for infrastructure to evolve at an equal pace. However, vendors have been retrofitting legacy storage stacks or overextending NVMe to delay the inevitable as transformer models grow in size and context. This approach saturates the GPU and leads to performance degradation.

Wenn sich KI-Workloads über statische Eingabeaufforderungen in dynamische Kontextströme, Modellerstellungspipelines und langjährige Wirkstoffe entwickeln, besteht ein dringender Infrastrukturbedarf, der sich in gleichem Tempo entwickelt. Die Anbieter haben jedoch Legacy -Speicherstapel oder NVME nachgerüstet, um das Unvermeidliche zu verzögern, wenn Transformatormodelle an Größe und Kontext wachsen. Dieser Ansatz sättigt die GPU und führt zu einer Leistungsverschlechterung.

"Whether you are deploying agents that think across sessions or scaling toward million-token context windows, where memory demands can exceed 500GB per fully loaded model, this appliance makes it possible by treating token history as memory, not storage. It is time for memory to scale like compute has," said Eyal Lemberger, Chief AI Strategist and Co-Founder of PEAK:AIO.

"Egal, ob Sie Agenten einsetzen, die über Sitzungen in Übereinstimmung denken oder in Richtung von Millionen gequerdigten Kontextfenstern, bei denen Speicheranforderungen 500 GB pro voll belastetes Modell überschreiten können, durch die Behandlung von Token-Geschichte als Gedächtnis, nicht als Speicher. Es ist Zeit für das Gedächtnis, wie es sich um skaliert, wie komputiert", sagte Eyal Lemberger, Hauptgeräte-Strategie und Co-Fundament.

In contrast to passive NVMe-based storage, PEAK:AIO's architecture is designed with direct alignment to NVIDIA's KVCache reuse and memory reclaim models, providing plug-in support for teams building on TensorRT-LLM or Triton. This support accelerates inference with minimal integration effort. Furthermore, by harnessing true CXL memory-class performance, it delivers what others cannot: token memory that behaves like RAM, not files.

Im Gegensatz zum passiven NVME-basierten Speicher basiert die AIO-Architektur von Peak: AIO mit einer direkten Ausrichtung auf die KVCACHE-Wiederverwendung und Memory Reclaim-Modelle von NVIDIA und bietet Plug-in-Unterstützung für Teams, die auf Tensorrt-Llm oder Triton aufbauen. Diese Unterstützung beschleunigt den Inferenz mit minimalem Integrationsaufwand. Durch die Nutzung der echten CXL-Speicherklasse-Leistung liefert es außerdem, was andere nicht können: Token-Speicher, der sich wie RAM verhält, nicht Dateien.

"While others are bending file systems to act like memory, we built infrastructure that behaves like memory, because that is what modern AI needs. At scale, it is not about saving files; it is about keeping every token accessible in microseconds. That is a memory problem, and we solved it at embracing the latest silicon layer," Lemberger explained.

"Während andere Dateisysteme biegen, um sich wie Speicher zu verhalten, haben wir eine Infrastruktur erstellt, die sich wie Speicher verhält, denn das ist das, was moderne KI benötigt. Im Maßstab geht es nicht darum, Dateien zu speichern. Es geht darum, jedes Token in Mikrosekunden zugänglich zu halten. Das ist ein Gedächtnisproblem, und wir haben es gelöst, die neueste Siliziumschicht zu akzeptieren", erklärte Lemberger.

The fully software-defined solution utilizes standard, off-the-shelf servers and is expected to enter production by Q3. For early access, technical consultation, or to learn more about how PEAK:AIO can support any level of AI infrastructure needs, please contact sales at sales@peakaio.com or visit https://peakaio.com.

Die vollständig softwaredefinierte Lösung verwendet Standard-Server, und es wird erwartet, dass sie nach dem zweiten Quartal in die Produktion eintreten. Für den frühen Zugang, die technische Beratung oder um mehr darüber zu erfahren, wie Peak: AIO jegliche Niveau der AI -Infrastrukturanforderungen unterstützen kann, wenden Sie sich bitte an sales@peakaio.com oder besuchen Sie https://peakaio.com.

"The big vendors are stacking NVMe to fake memory. We went the other way, leveraging CXL to unlock actual memory semantics at rack scale. This is the token memory fabric modern AI has been waiting for," added Mark Klarzynski, Co-Founder and Chief Strategy Officer at PEAK:AIO.

"Die großen Anbieter stapeln NVME zum falschen Gedächtnis. Wir gingen in die andere Richtung und nutzen CXL, um die tatsächliche Speichersemantik im Rack-Maßstab freizuschalten. Dies ist der Token Memory Fabric Modern AI hat gewartet", fügte Mark Klarzynski, Mitbegründer und Chief Strategy Officer auf den Höhepunkt: AIO hinzu.

About PEAK:AIO

Über den Peak: AIO

PEAK:AIO is a software-first infrastructure company delivering next-generation AI data solutions. Trusted across global healthcare, pharmaceutical, and enterprise AI deployments, PEAK:AIO powers real-time, low-latency inference and training with memory-class performance, GPUDirect RDMA acceleration, and zero-maintenance deployment models. Learn more at https://peakaio.com

Peak: AIO ist ein Software-First-Infrastrukturunternehmen, das AI-Datenlösungen der nächsten Generation liefert. Vertrauen Sie auf die KI-Bereitstellungen im Bereich der globalen Gesundheitsversorgung, Pharmazeutika und Enterprise, Peak: AIO betreibt Echtzeit, Inferenz und Schulung mit geringer Latenz mit Leistung der Speicherklasse, GPUDIRECT RDMA-Beschleunigung und Aufbewahrungsmodellen von Null. Erfahren Sie mehr unter https://peakaio.com