Supermicro -Systeme mit der NVIDIA B200 übertreffen die vorherige Generation um 3x

Super Micro Computer, Inc. (SMCI), ein Gesamtanbieter von IT -Lösungen für AI/ML, HPC, Cloud, Speicher und 5G/Kante

Leading industry-standard performance in select MLPerf V5.0 Inference benchmarks is announced today by Super Micro Computer, Inc. (Nasdaq: SMCI), a premier provider of complete IT solutions for AI/ML, HPC, cloud, storage, and 5G/edge.

Die führende Leistung in Branchenstandard in ausgewählten MLPerf v5.0-Inferenz-Benchmarks wird heute von Super Micro Computer, Inc. (NASDAQ: SMCI) bekannt gegeben, einem führenden Anbieter kompletter IT-Lösungen für AI/ML, HPC, Cloud, Speicher und 5G/Edge.

In several V5.0 Inference benchmarks, Supermicro systems achieved the best performance. The company's 4U liquid-cooled and 10U air-cooled systems, which used the NVIDIA HGX B200 8-GPU, outperformed H200 8-GPU systems by more than 3 times in the generation of tokens per second (Token/s) for the Llama2-70B and Llama3.1-405B benchmarks.

In mehreren V5.0 -Inferenz -Benchmarks erreichte Supermicro -Systeme die beste Leistung. Die 4U-liquidierten und 10U-luftgekühlten 4U-Systeme des Unternehmens, bei denen die NVIDIA HGX B200 8-GPU verwendete, übertraf H200 8-GPU-Systeme in der Generation von Tokens pro Sekunde (Token/s) für die LLAMA2-70B- und LLAMA3.1-405BE-Benchmarks.

"We are pleased to see the first new benchmarks from MLCommons in 2025, with Supermicro remaining a leader in the AI industry," said Charles Liang, president and CEO of Supermicro. "Our building block architecture allows us to be first to market with a diverse range of systems optimized for various workloads. We continue to collaborate closely with NVIDIA to fine-tune our systems and secure a leadership position in AI workloads."

"Wir freuen uns, die ersten neuen Benchmarks von Mlcommons im Jahr 2025 zu sehen, wobei Supermicro in der KI -Branche führend ist", sagte Charles Liang, Präsident und CEO von Supermicro. "Unsere Gebäudeblockarchitektur ermöglicht es uns, mit einer Vielzahl von Systemen, die für verschiedene Arbeitsbelastungen optimiert sind, zuerst zu vermarkten. Wir arbeiten weiterhin eng mit NVIDIA zusammen, um unsere Systeme zu optimieren und eine Führungsposition in KI-Arbeitsbelastungen zu sichern."

Learn more about the new MLPerf v5.0 Inference benchmarks at: https://mlcommons.org/benchmarks/inference-datacenter/

Erfahren Sie mehr über die neuen MLPERF V5.0-Inferenz-Benchmarks unter: https://mlcommons.org/benchmarks/inference-datacenter/

Supermicro is the only system vendor to publish record MLPerf inference performance (on select benchmarks) for both the air-cooled and liquid-cooled NVIDIA HGX B200 8-GPU systems. Both air-cooled and liquid-cooled systems were operational before the MLCommons benchmark start date. Supermicro engineers optimized the systems and software to showcase the impressive performance.

Supermicro ist der einzige Systemanbieter, der die Aufzeichnung von MLPerf-Inferenzleistung (für ausgewählte Benchmarks) sowohl für die luftgekühlten als auch für flüssiggekühlte NVIDIA HGX B200 8-GPU-Systeme veröffentlicht. Sowohl luftgekühlte als auch flüssiggekühlte Systeme waren vor dem Startdatum von MlCommons Benchmark in Betrieb. Supermicro -Ingenieure optimierten die Systeme und die Software, um die beeindruckende Leistung zu präsentieren.

Within the operating margin, the Supermicro air-cooled B200 system exhibited the same level of performance as the liquid-cooled B200 system. Supermicro has been delivering these systems to customers while we conducted the benchmarks.

Innerhalb des operativen Randes zeigte das luftgekühlte Supermicro-B200-System das gleiche Leistungsniveau wie das flüssiggekühlte B200-System. Supermicro hat diese Systeme an Kunden geliefert, während wir die Benchmarks durchgeführt haben.

MLCommons emphasizes that all results be reproducible, that the products are available and that the results can be audited by other MLCommons members. Supermicro engineers optimized the systems and software, as allowed by the MLCommons rules.

MLCommons betont, dass alle Ergebnisse reproduzierbar sind, dass die Produkte verfügbar sind und dass die Ergebnisse von anderen MLCommons -Mitgliedern geprüft werden können. Supermicro -Ingenieure optimierten die Systeme und die Software, wie die MLCommons -Regeln zulässig.

The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) showed performance leadership running the Mixtral 8x7B Inference, Mixture of Experts benchmarks with 129,000 tokens/second. The Supermicro air-cooled and liquid-cooled NVIDIA B200 based system delivered over 1,000 tokens/second inference for the large Llama3.1-405b model, whereas the previous generations of GPU systems have much smaller results. For smaller inferencing tasks, using the LLAMA2-70b benchmark, a Supermicro system with the NVIDIA B200 SXM-180GB installed shows the highest performance from a Tier 1 system supplier.

Der SYS-421GE-NBRT-LCC (8X NVIDIA B200-SXM-180GB) und SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180 GB) zeigte Leistung, die die Leistung der MIMTRAL 8x7B, die Mischung von Experten mit 129.000 bis zu den Mixtral 8x7b-Mischung aus Experten mit 129.000 bis zu den Keks/Seconds/Sekunde leitete. Das luftgekühlte und flüssiggekühlte NVIDIA B200-System lieferte über 1.000 Token/zweite Inferenz für das große Lama3.1-405b-Modell, während die vorherigen Generationen von GPU-Systemen viel kleinere Ergebnisse haben. Bei kleineren Ausführungsaufgaben zeigt ein Supermicro-System mit dem NVIDIA B200 SXM-180 GB ein Supermicro-System mit der installierten NVIDIA B200 SXM-180 GB die höchste Leistung eines Tier-1-Systemlieferanten.

Specifically:

Speziell:

* The SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) liquid-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It also achieved the highest performance for the Llama3.1-405b benchmark with 1,330 tokens/s.

* Das sys-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180 GB) erzielte die höchste Leistung für das Mixtral 8x7b, Mischung aus Experten-Benchmark, die 129.000 Token/s liefert. Es erzielte auch die höchste Leistung für den Benchmark Lama3.1-405B mit 1.330 Token/s.

* The SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) air-cooled system achieved the highest performance for the Mixtral 8x7B, Mixture of Experts benchmark, delivering 129,000 tokens/s. It achieved the second-highest performance for the Llama3.1-405b benchmark with 1,009 tokens/s.

* Das luftgekühlte System von SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180 GB) erzielte die höchste Leistung für das Mixtral 8x7b, Mischung aus Experten-Benchmark und lieferte 129.000 Token/s. Es erreichte die zweithöchste Leistung für den Lama3.1-405B-Benchmark mit 1.009 Token/s.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the BERT Large benchmark.

* Das System SYS-110R3-L (8x NVIDIA A200-SXM-80 GB) erreichte die höchste Leistung für den Bert Large Benchmark.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) and SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) systems achieved the highest performance for the DeepLabV3 and REsNet-50 benchmarks.

* Die Systeme SYS-110R3-L (8x NVIDIA A200-SXM-80 GB) und SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180 GB) erreichten die höchste Leistung für die Benchmarken Deeptlabv3 und Resnet-50.

* The SYS-110R3-L (8x NVIDIA A200-SXM-80GB) system achieved the highest performance for the 3D object detection benchmark.

* Das System SYS-110R3-L (8x NVIDIA A200-SXM-80 GB) erreichte die höchste Leistung für den 3D-Objekterkennungs-Benchmark.

Supermicro offers a comprehensive AI portfolio with over 100 GPU-optimized systems, both air-cooled and liquid-cooled options

Supermicro bietet ein umfassendes KI