Les systèmes Supermicro avec le NVIDIA B200 surpassent la génération précédente par 3x

Super Micro Computer, Inc. (SMCI), un fournisseur total de solutions informatiques pour AI / ML, HPC, cloud, stockage et 5G / bord

Leading industry-standard performance in select MLPerf V5.0 Inference benchmarks is announced today by Super Micro Computer, Inc. (Nasdaq: SMCI), a premier provider of complete IT solutions for AI/ML, HPC, cloud, storage, and 5G/edge.

Les principales performances standard de l'industrie dans Select MLPERF V5.0 Inference Benchmarks sont annoncées aujourd'hui par Super Micro Computer, Inc. (NASDAQ: SMCI), un premier fournisseur de solutions informatiques complètes pour AI / ML, HPC, cloud, stockage et 5G / Edge.

In several V5.0 Inference benchmarks, Supermicro systems achieved the best performance. The company's 4U liquid-cooled and 10U air-cooled systems, which used the NVIDIA HGX B200 8-GPU, outperformed H200 8-GPU systems by more than 3 times in the generation of tokens per second (Token/s) for the Llama2-70B and Llama3.1-405B benchmarks.

Dans plusieurs repères d'inférence V5.0, les systèmes Supermicro ont obtenu les meilleures performances. Les systèmes 4U à refroidissement liquide et 10U refroidi par la société, qui ont utilisé les systèmes NVIDIA HGX B200 8-GPU, ont surperformé les systèmes H200 8-GPU de plus de 3 fois dans la génération de jetons par seconde (jetons / s) pour les marclades LLAMA2-70B et LLAMA3.1-405B.

"We are pleased to see the first new benchmarks from MLCommons in 2025, with Supermicro remaining a leader in the AI industry," said Charles Liang, president and CEO of Supermicro. "Our building block architecture allows us to be first to market with a diverse range of systems optimized for various workloads. We continue to collaborate closely with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

"Nous sommes heureux de voir les premiers nouveaux repères de MLCommons en 2025, avec Supermicro restant un leader dans l'industrie de l'IA", a déclaré Charles Liang, président et chef de la direction de Supermicro. "Notre architecture de blocs de construction nous permet d'être les premiers à commercialiser avec une gamme diversifiée de systèmes optimisés pour diverses charges de travail. Nous continuons à collaborer étroitement avec NVIDIA pour affiner nos systèmes et garantir une position de leadership dans les charges de travail de l'IA."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

En savoir plus sur le nouveau Mlperf V5.0 Inférence Benchmarks à: https://mlcommons.org/benchmarks/inference-datacenter/

Supermicro is the only system vendor to publish record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance.

Supermicro est le seul fournisseur de système à publier des performances d'enfant à inférence MLPERF (sur des références sélectionnées) pour les systèmes NVIDIA HGX B200 à refroidissement par air et refroidis par liquide. Les systèmes refroidis par air et refroidis par liquide étaient opérationnels avant la date de début de référence MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels pour présenter les performances impressionnantes.

Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Dans la marge de fonctionnement, le système B200 refroidi par air Supermicro présentait le même niveau de performance que le système B200 refroidi par liquide. Supermicro a livré ces systèmes aux clients pendant que nous réalisons les repères.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons souligne que tous les résultats sont reproductibles, que les produits sont disponibles et que les résultats peuvent être vérifiés par d'autres membres de MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels, comme le permettait les règles MLCommons.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

Le SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) et SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) ont montré un leadership de performance exécutant l'inférence Mixtral 8x7b, le mélange de benchmarks d'experts avec 129 000 tokens / seconde. Le système basé sur NVIDIA B200 refroidi par l'air Supermicro et refroidi par liquide a fourni plus de 1 000 jetons / seconde inférence pour le grand modèle LLAMA3.1-405B, tandis que les générations précédentes de systèmes GPU ont des résultats beaucoup plus petits. Pour les tâches d'inférence plus petites, en utilisant la référence LLAMA2-70B, un système Supermicro avec le NVIDIA B200 SXM-180 Go installé montre les performances les plus élevées d'un fournisseur de système de niveau 1.

Specifically:

Spécifiquement:

* The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) liquid-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It also achieved the highest performance for the Llama3.1-405b benchmark with 1,330 tokens/s.

* Le système SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) Le système refroidi par liquide a obtenu les performances les plus élevées pour le mélange 8x7b, le mélange d'experts, offrant 129 000 jetons / s. Il a également réalisé les performances les plus élevées pour la référence LLAMA3.1-405B avec 1 330 jetons / s.

* The SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) air-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It achieved the second-highest performance for the Llama3.1-405b benchmark with 1,009 tokens/s.

* Le système SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180 Go) a réalisé les performances les plus élevées pour le mélange 8x7b, le mélange de référence d'experts, offrant 129 000 jetons / s. Il a atteint la deuxième performance la plus élevée pour la référence LLAMA3.1-405B avec 1 009 jetons / s.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the BERT Large benchmark.

* Le système SYS-110R3-L (8x NVIDIA A200-SXM-80GB) a obtenu les performances les plus élevées pour le grand référence Bert.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) systems achieved the highest performance for the DeepLabV3 and REsNet-50 benchmarks.

* Les systèmes SYS-110R3-L (8x NVIDIA A200-SXM-80GB) et SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) ont réalisé les performances les plus élevées pour les benchmarks DeepLabV3 et RESNET-50.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the 3D object detection benchmark.

* Le système SYS-110R3-L (8x NVIDIA A200-SXM-80 Go) a obtenu les performances les plus élevées pour la référence de détection d'objet 3D.

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options

Supermicro propose un portefeuille complet d'IA avec plus de 100 systèmes optimisés GPU, à la fois refroidis par air et refroidis par liquide