Les systèmes Supermicro avec le NVIDIA B200 ont surpassé la génération précédente de systèmes en fournissant 3 fois la génération de jetons par seconde

Super Micro Computer, Inc. (SMCI), un fournisseur total de solutions informatiques pour l'IA / ML, le HPC, le cloud, le stockage et la 5G / Edge, annonce des performances de premier plan de l'industrie de l'industrie du premier marché

Latest Benchmarks Show Supermicro Systems with the NVIDIA B200 Outperformed the Previous Generation of Systems with 3X the Token Generation Per Second

Les derniers repères montrent que les systèmes Supermicro avec le NVIDIA B200 ont surpassé la génération précédente de systèmes avec 3x la génération de jetons par seconde

SAN JOSE, Calif., April 3, 2025 /PRNewswire/ -- Super Micro Computer, Inc. (NASDAQ: SMCI), a Total IT Solution Provider for AI/ML, HPC, Cloud, Storage, and 5G/Edge, is announcing first-to-market industry leading performance on several MLPerf Inference v5.0 benchmarks, using the NVIDIA HGX™ B200 8-GPU. The 4U liquid-cooled and 10U air-cooled systems achieved the best performance in select benchmarks. Supermicro demonstrated more than 3 times the tokens per second (Token/s) generation for Llama2-70B and Llama3.1-405B benchmarks compared to H200 8-GPU systems.

SAN JOSE, Californie, 3 avril 2025 / PRNewswire / - Super Micro Computer, Inc. (NASDAQ: SMCI), un fournisseur de solutions informatiques total pour AI / ML, HPC, Cloud, Storage et 5G / Edge, annonce les performances de première industrie du marché sur plusieurs mlperf inférentiels V5.0, en utilisant la Nvidia HGX ™ B200 800 800 8.0. Les systèmes 4U à refroidissement liquide et 10U refroidis par air ont réalisé les meilleures performances dans certains repères. Supermicro a démontré plus de 3 fois les jetons par seconde (jetons / s) pour les références LLAMA2-70B et LLAMA3.1-405B par rapport aux systèmes H200 8-GPU.

"Supermicro remains a leader in the AI industry, as evidenced by the first new benchmarks from MLCommons in 2025," said Charles Liang, president and CEO of Supermicro. "Our building block architecture enables us to be first-to-market with a diverse range of systems optimized for various workloads. We continue to collaborate closely with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

"Supermicro reste un leader dans l'industrie de l'IA, comme en témoignent les premiers nouveaux repères de MLCommons en 2025", a déclaré Charles Liang, président et chef de la direction de Supermicro. "Notre architecture de blocs de construction nous permet d'être du premier marché avec une gamme diversifiée de systèmes optimisés pour diverses charges de travail. Nous continuons à collaborer étroitement avec NVIDIA pour affiner nos systèmes et garantir une position de leadership dans les charges de travail de l'IA."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

En savoir plus sur le nouveau Mlperf V5.0 Inférence Benchmarks à: https://mlcommons.org/benchmarks/inference-datacenter/

Supermicro is the only system vendor publishing record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX™ B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance. Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Supermicro est le seul système de publication de fournisseurs de système Performances d'inférence MLPERF (sur des références sélectionnées) pour les systèmes NVIDIA HGX ™ B200 B200 à refroidissement par air et refroidis par liquide. Les systèmes refroidis par air et refroidis par liquide étaient opérationnels avant la date de début de référence MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels pour présenter les performances impressionnantes. Dans la marge de fonctionnement, le système B200 refroidi par air Supermicro présentait le même niveau de performance que le système B200 refroidi par liquide. Supermicro a livré ces systèmes aux clients pendant que nous réalisons les repères.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons souligne que tous les résultats sont reproductibles, que les produits sont disponibles et que les résultats peuvent être vérifiés par d'autres membres de MLCommons. Les ingénieurs Supermicro ont optimisé les systèmes et les logiciels, comme le permettait les règles MLCommons.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

Le SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) et SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) ont montré un leadership de performance exécutant l'inférence Mixtral 8x7b, le mélange de benchmarks d'experts avec 129 000 tokens / seconde. Le système basé sur NVIDIA B200 refroidi par l'air Supermicro et refroidi par liquide a fourni plus de 1 000 jetons / seconde inférence pour le grand modèle LLAMA3.1-405B, tandis que les générations précédentes de systèmes GPU ont des résultats beaucoup plus petits. Pour les tâches d'inférence plus petites, en utilisant la référence LLAMA2-70B, un système Supermicro avec le NVIDIA B200 SXM-180 Go installé montre les performances les plus élevées d'un fournisseur de système de niveau 1.

Specifically:

Spécifiquement:

* Supermicro achieved outstanding performance on several MLPerf Inference v5.0 benchmarks with the NVIDIA HGX™ B200 8-GPU in 10U and 4U configurations.

* Supermicro a obtenu des performances exceptionnelles sur plusieurs repères d'inférence MLPERF V5.0 avec les configurations NVIDIA HGX ™ B200 8-GPU dans 10U et 4U.

* In select benchmarks, Supermicro's systems delivered the best performance.

* Dans certains repères, les systèmes de Supermicro ont livré les meilleures performances.

* Supermicro showcased more than 3x the tokens/second generation for Llama2-70B and Llama3.1-405b benchmarks compared to H200 8-GPU systems.

* Supermicro a présenté plus de 3 fois les jetons / deuxième génération pour les références LLAMA2-70B et LLAMA3.1-405B par rapport aux systèmes H200 8-GPU.

"MLCommons congratulates Supermicro on their submission to the MLPerf Inference v5.0 benchmark. We are pleased to see their results showcasing significant performance gains compared to earlier generations of systems," said David Kanter, Head of MLPerf at MLCommons. "Customers will be pleased by the performance improvements achieved which are validated by the neutral, representative and reproducible MLPerf results."

"MLCommons félicite Supermicro pour leur soumission à la référence MLPERF Inférence V5.0. Nous sommes ravis de voir leurs résultats présentant des gains de performance significatifs par rapport aux générations antérieures de systèmes", a déclaré David Kanter, chef de MLPerf chez MLCommons. "Les clients seront satisfaits des améliorations des performances obtenues qui sont validées par les résultats MLPERF neutres, représentatifs et reproductibles."

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options, with a choice of CPUs, ranging from single-socket optimized systems to 8-way multiprocessor systems. Supermicro rack-scale systems include computing, storage, and network components, which reduce the time required to install them once they are delivered to a customer.

Supermicro propose un portefeuille complexe d'IA avec plus de 100 systèmes optimisés GPU, à la fois refroidis par air et refroidis par liquide, avec un choix de processeurs, allant des systèmes optimisés à une seule place aux systèmes multiprocesseurs à 8 voies. Les systèmes à l'échelle de rack Supermicro incluent l'informatique, le stockage et les composants réseau, ce qui réduit le temps nécessaire pour les installer une fois qu'ils sont livrés à un client.

Supermicro's NVIDIA HGX B200 8-GPU systems utilize next-generation liquid-cooling and air-cooling technology. The newly developed cold plates and the new 250kW coolant distribution unit (CDU) more than double the cooling capacity of the previous generation in the same 4U form factor. Available in 42U, 48U, or 52U configurations

Les systèmes NVIDIA HGX B200 8-GPU de Supermicro utilisent une technologie de refroidissement liquide et de refroidissement par air de nouvelle génération. Les plaques froides nouvellement développées et la nouvelle unité de distribution de liquide de refroidissement de 250 kW (CDU) doublent plus que le double de la capacité de refroidissement de la génération précédente dans le même facteur de forme 4U. Disponible en configurations 42U, 48U ou 52U