NVIDIA stellt Llama 3.1-Nemotron-51B vor: Ein Sprung in Genauigkeit und Effizienz

NVIDIAs Llama 3.1-Nemotron-51B setzt neue Maßstäbe in der KI mit überragender Genauigkeit und Effizienz und ermöglicht hohe Arbeitslasten auf einer einzigen GPU.

NVIDIA's latest language model, Llama 3.1-Nemotron-51B, sets new standards in AI performance with exceptional accuracy and efficiency. This model marks an advance in scaling LLMs to fit on a single GPU, even under high workloads.

Das neueste Sprachmodell von NVIDIA, Llama 3.1-Nemotron-51B, setzt mit außergewöhnlicher Genauigkeit und Effizienz neue Maßstäbe in der KI-Leistung. Dieses Modell stellt einen Fortschritt bei der Skalierung von LLMs dar, sodass sie auch bei hoher Arbeitslast auf eine einzelne GPU passen.

NVIDIA has unveiled a new language model, dubbed Llama 3.1-Nemotron-51B, promising a leap in AI performance with superior accuracy and efficiency. This model is derived from Meta's Llama-3.1-70B and leverages a novel Neural Architecture Search (NAS) approach to optimize both accuracy and efficiency. Remarkably, this model can fit on a single NVIDIA H100 GPU, even under high workloads, making it more accessible and cost-effective.

NVIDIA hat ein neues Sprachmodell namens Llama 3.1-Nemotron-51B vorgestellt, das einen Sprung in der KI-Leistung mit überragender Genauigkeit und Effizienz verspricht. Dieses Modell ist von Metas Llama-3.1-70B abgeleitet und nutzt einen neuartigen NAS-Ansatz (Neural Architecture Search), um sowohl Genauigkeit als auch Effizienz zu optimieren. Bemerkenswert ist, dass dieses Modell auch bei hoher Arbeitslast auf eine einzige NVIDIA H100-GPU passt, was es zugänglicher und kostengünstiger macht.

The Llama 3.1-Nemotron-51B model boasts 2.2 times faster inference speeds while maintaining a nearly identical level of accuracy compared to its predecessors. This efficiency enables 4 times larger workloads on a single GPU during inference, thanks to its reduced memory footprint and optimized architecture.

Das Modell Llama 3.1-Nemotron-51B bietet 2,2-mal schnellere Inferenzgeschwindigkeiten bei nahezu identischer Genauigkeit im Vergleich zu seinen Vorgängern. Diese Effizienz ermöglicht dank des reduzierten Speicherbedarfs und der optimierten Architektur viermal größere Arbeitslasten auf einer einzelnen GPU während der Inferenz.

One of the challenges in adopting large language models (LLMs) is their high inference cost. The Llama 3.1-Nemotron-51B model addresses this by offering a balanced tradeoff between accuracy and efficiency, making it a cost-effective solution for various applications, ranging from edge systems to cloud data centers. This capability is especially useful for deploying multiple models via Kubernetes and NIM blueprints.

Eine der Herausforderungen bei der Einführung großer Sprachmodelle (LLMs) ist der hohe Inferenzaufwand. Das Modell Llama 3.1-Nemotron-51B begegnet diesem Problem, indem es einen ausgewogenen Kompromiss zwischen Genauigkeit und Effizienz bietet und es zu einer kostengünstigen Lösung für verschiedene Anwendungen macht, die von Edge-Systemen bis hin zu Cloud-Rechenzentren reichen. Diese Funktion ist besonders nützlich für die Bereitstellung mehrerer Modelle über Kubernetes und NIM-Blueprints.

The Nemotron model is optimized with TensorRT-LLM engines for higher inference performance and packaged as an NVIDIA NIM inference microservice. This setup simplifies and accelerates the deployment of generative AI models across NVIDIA's accelerated infrastructure, including cloud, data centers, and workstations.

Das Nemotron-Modell ist mit TensorRT-LLM-Engines für eine höhere Inferenzleistung optimiert und als NVIDIA NIM-Inferenz-Microservice verpackt. Dieses Setup vereinfacht und beschleunigt die Bereitstellung generativer KI-Modelle in der beschleunigten Infrastruktur von NVIDIA, einschließlich Cloud, Rechenzentren und Workstations.

The Llama 3.1-Nemotron-51B-Instruct model was built using efficient NAS technology and training methods, which enable the creation of non-standard transformer models optimized for specific GPUs. This approach includes a block-distillation framework to train various block variants in parallel, ensuring efficient and accurate inference.

Das Llama 3.1-Nemotron-51B-Instruct-Modell wurde mithilfe effizienter NAS-Technologie und Trainingsmethoden erstellt, die die Erstellung nicht standardmäßiger Transformatormodelle ermöglichen, die für bestimmte GPUs optimiert sind. Dieser Ansatz umfasst ein Blockdestillations-Framework, um verschiedene Blockvarianten parallel zu trainieren und so eine effiziente und genaue Schlussfolgerung zu gewährleisten.

NVIDIA's NAS approach allows users to select their optimal balance between accuracy and efficiency. For instance, the Llama-3.1-Nemotron-40B-Instruct variant was created to prioritize speed and cost, achieving a 3.2 times speed increase compared to the parent model with a moderate decrease in accuracy.

Der NAS-Ansatz von NVIDIA ermöglicht es Benutzern, die optimale Balance zwischen Genauigkeit und Effizienz zu wählen. Beispielsweise wurde die Llama-3.1-Nemotron-40B-Instruct-Variante entwickelt, um Geschwindigkeit und Kosten in den Vordergrund zu stellen und eine 3,2-fache Geschwindigkeitssteigerung im Vergleich zum Elternmodell bei einem moderaten Rückgang der Genauigkeit zu erreichen.

The Llama 3.1-Nemotron-51B-Instruct model has been benchmarked against several industry standards, showcasing its superior performance in various scenarios. It doubles the throughput of the reference model, making it cost-effective across multiple use cases.

Das Modell Llama 3.1-Nemotron-51B-Instruct wurde mit mehreren Industriestandards verglichen und stellte seine überlegene Leistung in verschiedenen Szenarien unter Beweis. Es verdoppelt den Durchsatz des Referenzmodells und macht es für mehrere Anwendungsfälle kostengünstig.

The Llama 3.1-Nemotron-51B-Instruct model offers a new set of possibilities for users and companies to leverage highly accurate foundation models cost-effectively. Its balance between accuracy and efficiency makes it an attractive option for builders and highlights the effectiveness of the NAS approach, which NVIDIA aims to extend to other models.

Das Llama 3.1-Nemotron-51B-Instruct-Modell bietet Benutzern und Unternehmen neue Möglichkeiten, hochpräzise Fundamentmodelle kosteneffizient zu nutzen. Sein Gleichgewicht zwischen Genauigkeit und Effizienz macht es zu einer attraktiven Option für Hersteller und unterstreicht die Wirksamkeit des NAS-Ansatzes, den NVIDIA auf andere Modelle ausweiten möchte.