Construit pour l'IA: Unification de la réutilisation de Kvcache et de l'extension de la mémoire GPU à l'aide de CXL pour relever l'un des défis d'infrastructure les plus persistants de l'IA

Au fur et à mesure que les charges de travail AI évoluent au-delà des invites statiques dans des flux de contexte dynamique, des pipelines de création de modèles et des agents de longue durée, l'infrastructure doit également évoluer.

PEAK:AIO, a company that provides software-first infrastructure for next-generation AI data solutions, announced the launch of its 1U Token Memory Feature. This feature is designed to unify KVCache reuse and GPU memory expansion using CXL, addressing one of AI's most persistent infrastructure challenges.

PEAK: AIO, une entreprise qui fournit une infrastructure logicielle d'abord pour les solutions de données AI de nouvelle génération, a annoncé le lancement de sa fonction de mémoire de jeton 1U. Cette fonctionnalité est conçue pour unifier la réutilisation de Kvcache et l'expansion de la mémoire GPU à l'aide de CXL, résolvant l'un des défis d'infrastructure les plus persistants de l'IA.

As AI workloads evolve beyond static prompts into dynamic context streams, model creation pipelines, and long-running agents, there is a pressing need for infrastructure to evolve at an equal pace. However, vendors have been retrofitting legacy storage stacks or overextending NVMe to delay the inevitable as transformer models grow in size and context. This approach saturates the GPU and leads to performance degradation.

Au fur et à mesure que les charges de travail AI évoluent au-delà des invites statiques dans des flux de contexte dynamique, des pipelines de création de modèles et des agents de longue durée, il existe un besoin urgent d'infrastructure pour évoluer à un rythme égal. Cependant, les vendeurs ont modernisé les piles de stockage héritées ou le NVME suéduisant pour retarder l'inévitable que les modèles de transformateurs se développent en taille et en contexte. Cette approche sature du GPU et conduit à une dégradation des performances.

"Whether you are deploying agents that think across sessions or scaling toward million-token context windows, where memory demands can exceed 500GB per fully loaded model, this appliance makes it possible by treating token history as memory, not storage. It is time for memory to scale like compute has," said Eyal Lemberger, Chief AI Strategist and Co-Founder of PEAK:AIO.

"Que vous déployiez des agents qui réfléchissent à travers les sessions ou que vous étendiez vers des fenêtres de contexte à un million de personnes, où les demandes de mémoire peuvent dépasser 500 Go par modèle entièrement chargé, cet appareil le permet en traitant l'histoire de jetons comme la mémoire, pas le stockage. Il est temps pour la mémoire de comparer", a déclaré Eyal Lemberger, stratégie en chef de l'II et co-fondateur de CAEP: AIO.

In contrast to passive NVMe-based storage, PEAK:AIO's architecture is designed with direct alignment to NVIDIA's KVCache reuse and memory reclaim models, providing plug-in support for teams building on TensorRT-LLM or Triton. This support accelerates inference with minimal integration effort. Furthermore, by harnessing true CXL memory-class performance, it delivers what others cannot: token memory that behaves like RAM, not files.

Contrairement au stockage basé sur NVME passif, le pic: l'architecture d'AIO est conçue avec un alignement direct sur les modèles de réutilisation KVCACH et de récupération de mémoire de NVIDIA, fournissant une prise en charge du plug-in pour les équipes qui se construisent sur Tensorrt-llm ou Triton. Ce soutien accélère l'inférence avec un effort d'intégration minimal. De plus, en exploitant les performances de la classe de mémoire CXL réelles, il offre ce que les autres ne peuvent pas: la mémoire de jeton qui se comporte comme la RAM, pas les fichiers.

"While others are bending file systems to act like memory, we built infrastructure that behaves like memory, because that is what modern AI needs. At scale, it is not about saving files; it is about keeping every token accessible in microseconds. That is a memory problem, and we solved it at embracing the latest silicon layer," Lemberger explained.

"Alors que d'autres sont des systèmes de fichiers de flexion pour agir comme de la mémoire, nous avons construit une infrastructure qui se comporte comme la mémoire, car c'est ce dont l'IA moderne a besoin. À grande échelle, il ne s'agit pas d'enregistrer des fichiers; il s'agit de garder tous les jetons accessibles en microsecondes. C'est un problème de mémoire, et nous l'avons résolu à embrasser la dernière couche de silicium", a expliqué Lemberger.

The fully software-defined solution utilizes standard, off-the-shelf servers and is expected to enter production by Q3. For early access, technical consultation, or to learn more about how PEAK:AIO can support any level of AI infrastructure needs, please contact sales at sales@peakaio.com or visit https://peakaio.com.

La solution entièrement définie par logiciel utilise des serveurs standard et standard et devrait entrer dans la production par Q3. Pour un accès anticipé, une consultation technique ou pour en savoir plus sur la façon dont le pic: AIO peut prendre en charge n'importe quel niveau des besoins en infrastructure d'IA, veuillez contacter les ventes à sales@peakaio.com ou visiter https://peakaio.com.

"The big vendors are stacking NVMe to fake memory. We went the other way, leveraging CXL to unlock actual memory semantics at rack scale. This is the token memory fabric modern AI has been waiting for," added Mark Klarzynski, Co-Founder and Chief Strategy Officer at PEAK:AIO.

"Les grands vendeurs empilent NVME à la fausse mémoire. Nous sommes allés dans l'autre sens, en tirant parti de CXL pour débloquer la sémantique de mémoire réelle à l'échelle de rack. Il s'agit du tissu à mémoire de jeton que Modern IA a attendu", a ajouté Mark Klarzynski, co-fondateur et directeur de la stratégie de la stratégie: AIO.

About PEAK:AIO

À propos du pic: AIO

PEAK:AIO is a software-first infrastructure company delivering next-generation AI data solutions. Trusted across global healthcare, pharmaceutical, and enterprise AI deployments, PEAK:AIO powers real-time, low-latency inference and training with memory-class performance, GPUDirect RDMA acceleration, and zero-maintenance deployment models. Learn more at https://peakaio.com

PEAP: AIO est une entreprise d'infrastructure axée sur les logiciels livrant des solutions de données AI de nouvelle génération. Considéré dans les déploiements mondiaux de santé, pharmaceutique et d'entreprise, pic: AIO alimente l'inférence en temps réel, à faible latence et une formation avec les performances de la classe de mémoire, l'accélération GPudirect RDMA et les modèles de déploiement de maintenance zéro. En savoir plus sur https://peakaio.com