Les systèmes Supermicro avec le NVIDIA B200 surpassent la génération précédente de systèmes avec 3x la génération de jetons par seconde

San Jose, Californie, 3 avril 2025 / PRNewswire / - Super Micro Computer, Inc. (SMCI), un fournisseur de solution informatique total pour AI / ML, HPC, cloud, stockage et 5G / bord

SAN JOSE, Calif., April 3, 2025 /PRNewswire/ -- Super Micro Computer, Inc. (NASDAQ: SMCI), a leading provider of advanced technology enterprise computing, storage, networking solutions, and a Total IT Solution Provider for Artificial Intelligence (AI) and Machine Learning (ML), today announced first-to-market industry leading performance on several MLPerf Inference v5.0 benchmarks, using the NVIDIA HGX B200 8-GPU. The 4U liquid-cooled and 10U air-cooled systems achieved the best performance in select benchmarks. Supermicro demonstrated more than 3 times the tokens per second (Token/s) generation for Llama2-70B and Llama3.1-405B benchmarks compared to H200 8-GPU systems.

SAN JOSE, Californie, 3 avril 2025 / PRNewswire / - Super Micro Computer, Inc. (NASDAQ: SMCI), un fournisseur de premier plan de l'informatique en entreprise de technologie avancée, du stockage, des solutions de réseautage, et un fournisseur total de solutions informatiques pour l'intelligence artificielle (AI) et l'apprentissage machine (ML), a annoncé aujourd'hui le premier industrie, les performances principales sur les performances de MLPERF MLPERF V5.0. NVIDIA HGX B200 8-GPU. Les systèmes 4U à refroidissement liquide et 10U refroidis par air ont réalisé les meilleures performances dans certains repères. Supermicro a démontré plus de 3 fois les jetons par seconde (jetons / s) pour les références LLAMA2-70B et LLAMA3.1-405B par rapport aux systèmes H200 8-GPU.

"Supermicro remains a leader in the AI industry, as evidenced by the first new benchmarks released by MLCommons in 2025," said Charles Liang, president and CEO, Supermicro. "Our building block architecture enables us to be first-to-market with a diverse range of systems optimized for various workloads. We continue to closely collaborate with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

"Supermicro reste un leader dans l'industrie de l'IA, comme en témoignent les premiers nouveaux repères publiés par MLCommons en 2025", a déclaré Charles Liang, président et chef de la direction de Supermicro. "Notre architecture de blocs de construction nous permet d'être du premier marché avec une gamme diversifiée de systèmes optimisés pour diverses charges de travail. Nous continuons de collaborer étroitement avec NVIDIA pour affiner nos systèmes et garantir une position de leadership dans les charges de travail de l'IA."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

En savoir plus sur le nouveau Mlperf V5.0 Inférence Benchmarks à: https://mlcommons.org/benchmarks/inference-datacenter/

Supermicro is the only system vendor publishing record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance. Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Supermicro est le seul système de publication de fournisseurs de système Performances d'inférence MLPERF (sur des références sélectionnées) pour les systèmes NVIDIA HGX B200 à refroidissement par air et refroidi par liquide. Les systèmes refroidis par air et refroidis par liquide étaient opérationnels avant la date de début de référence MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels pour présenter les performances impressionnantes. Dans la marge de fonctionnement, le système B200 refroidi par air Supermicro présentait le même niveau de performance que le système B200 refroidi par liquide. Supermicro a livré ces systèmes aux clients pendant que nous réalisons les repères.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons souligne que tous les résultats sont reproductibles, que les produits sont disponibles et que les résultats peuvent être vérifiés par d'autres membres de MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels, comme le permettait les règles MLCommons.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

Le SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) et SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) ont montré un leadership de performance exécutant l'inférence Mixtral 8x7b, le mélange de benchmarks d'experts avec 129 000 tokens / seconde. Le système basé sur NVIDIA B200 refroidi par l'air Supermicro et refroidi par liquide a fourni plus de 1 000 jetons / seconde inférence pour le grand modèle LLAMA3.1-405B, tandis que les générations précédentes de systèmes GPU ont des résultats beaucoup plus petits. Pour les tâches d'inférence plus petites, en utilisant la référence LLAMA2-70B, un système Supermicro avec le NVIDIA B200 SXM-180 Go installé montre les performances les plus élevées d'un fournisseur de système de niveau 1.

Specifically:

Spécifiquement:

* The Supermicro liquid-cooled system SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) achieved the best performance in select benchmarks.

* Le système SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) a réalisé les meilleures performances en sélection de références.

* The Supermicro air-cooled system SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) also achieved the best performance in select benchmarks.

* Le système SYS-A21GE-NBRT (8X NVIDIA B200-SXM-180GB) a également réalisé les meilleures performances en sélection.

* Both systems achieved the best performance in the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second.

* Les deux systèmes ont réalisé les meilleures performances dans l'inférence Mixtral 8x7b, le mélange de références d'experts avec 129 000 jetons / seconde.

* The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model.

* Le système basé sur NVIDIA B200 refroidi par l'air Supermicro et refroidi par liquide a fourni plus de 1 000 jetons / seconde inférence pour le grand modèle LLAMA3.1-405B.

* For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

* Pour les tâches d'inférence plus petites, en utilisant la référence LLAMA2-70B, un système Supermicro avec le NVIDIA B200 SXM-180 Go installé montre les performances les plus élevées d'un fournisseur de système de niveau 1.

"We at MLCommons are pleased to see results from members demonstrating significant performance gains compared to earlier generations of systems,” said David Kanter, Head of MLPerf at MLCommons. “Customers will be pleased by the performance improvements achieved which are validated by the neutral, representative and reproducible MLPerf results. We encourage members to continue pushing the boundaries of deep learning technology and we look forward to seeing the results of future generations of hardware and software.”

"Nous, chez MLCommons, sommes heureux de voir les résultats des membres démontrant des gains de performance significatifs par rapport aux générations antérieures de systèmes", a déclaré David Kanter, chef de MLPerf chez MLCommons. «Les clients seront satisfaits des améliorations des performances obtenues qui sont validées par les résultats MLPERF neutres, représentatifs et reproductibles. Nous encourageons les membres à continuer à repousser les limites de la technologie d'apprentissage en profondeur et nous sommes impatients de voir les résultats des générations futures de matériel et de logiciels.»

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options, with a choice of CPUs, ranging from single-socket optimized systems to 8-way multiprocessor systems. Supermicro rack-scale systems include computing

Supermicro propose un portefeuille complexe d'IA avec plus de 100 systèmes optimisés GPU, à la fois refroidis par air et refroidis par liquide, avec un choix de processeurs, allant des systèmes optimisés à une seule place aux systèmes multiprocesseurs à 8 voies. Les systèmes à l'échelle de rack Supermicro incluent l'informatique