Apple und NVIDIA arbeiten zusammen, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen zu implementieren

In einem heutigen Blogbeitrag haben Apple-Ingenieure neue Details zu einer Zusammenarbeit mit NVIDIA mitgeteilt, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen zu implementieren.

Apple engineers have shared new details on a collaboration with NVIDIA to implement faster text generation performance with large language models (LLMs).

Apple-Ingenieure haben neue Details zu einer Zusammenarbeit mit NVIDIA bekannt gegeben, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen (LLMs) zu implementieren.

Earlier this year, Apple published and open sourced its Recurrent Drafter (ReDrafter) technique, a new method for generating text with LLMs that’s significantly faster and “achieves state of the art performance.” It combines two techniques: beam search (to explore multiple possibilities) and dynamic tree attention (to efficiently handle choices).

Anfang dieses Jahres hat Apple seine Recurrent Drafter (ReDrafter)-Technik veröffentlicht und als Open Source bereitgestellt, eine neue Methode zur Textgenerierung mit LLMs, die deutlich schneller ist und „eine Leistung auf dem neuesten Stand der Technik erreicht“. Es kombiniert zwei Techniken: Strahlsuche (um mehrere Möglichkeiten zu erkunden) und dynamische Baumaufmerksamkeit (um Entscheidungen effizient zu handhaben).

While its research demonstrated strong results, Apple also collaborated with NVIDIA to apply ReDrafter in production. As part of this collaboration, ReDrafter was integrated into NVIDIA TensorRT-LLM, a tool that helps run LLMs faster on NVIDIA GPUs.

Während seine Forschung starke Ergebnisse lieferte, arbeitete Apple auch mit NVIDIA zusammen, um ReDrafter in der Produktion einzusetzen. Im Rahmen dieser Zusammenarbeit wurde ReDrafter in NVIDIA TensorRT-LLM integriert, ein Tool, das dabei hilft, LLMs schneller auf NVIDIA-GPUs auszuführen.

Here are the results:

Hier sind die Ergebnisse:

To enable the integration of ReDrafter, NVIDIA added new operators or exposed existing ones, which considerably improved TensorRT-LLM’s capability to accommodate sophisticated models and decoding methods. ML developers using NVIDIA GPUs can now easily benefit from ReDrafter’s accelerated token generation for their production LLM applications with TensorRT-LLM.

Um die Integration von ReDrafter zu ermöglichen, fügte NVIDIA neue Operatoren hinzu oder machte bestehende verfügbar, was die Fähigkeit von TensorRT-LLM, anspruchsvolle Modelle und Decodierungsmethoden zu unterstützen, erheblich verbesserte. ML-Entwickler, die NVIDIA-GPUs verwenden, können jetzt problemlos von der beschleunigten Token-Generierung von ReDrafter für ihre Produktions-LLM-Anwendungen mit TensorRT-LLM profitieren.

In benchmarking a tens-of-billions parameter production model on NVIDIA GPUs, using the NVIDIA TensorRT-LLM inference acceleration framework with ReDrafter, we have seen 2.7x speed-up in generated tokens per second for greedy decoding. These benchmark results indicate this tech could significantly reduce latency users may experience, while also using fewer GPUs and consuming less power.

Beim Benchmarking eines Produktionsmodells mit mehreren zehn Milliarden Parametern auf NVIDIA-GPUs unter Verwendung des NVIDIA TensorRT-LLM-Inferenzbeschleunigungs-Frameworks mit ReDrafter haben wir eine 2,7-fache Beschleunigung der generierten Token pro Sekunde für gierige Dekodierung festgestellt. Diese Benchmark-Ergebnisse deuten darauf hin, dass diese Technologie die für Benutzer möglicherweise auftretende Latenz erheblich reduzieren könnte, während gleichzeitig weniger GPUs verwendet und weniger Strom verbraucht werden.

“LLMs are increasingly being used to power production applications, and improving inference efficiency can both impact computational costs and reduce latency for users,” Apple’s machine learning researchers conclude. “With ReDrafter’s novel approach to speculative decoding integrated into the NVIDIA TensorRT-LLM framework, developers can now benefit from faster token generation on NVIDIA GPUs for their production LLM applications.”

„LLMs werden zunehmend zur Stromversorgung von Produktionsanwendungen eingesetzt, und eine Verbesserung der Inferenzeffizienz kann sich sowohl auf die Rechenkosten auswirken als auch die Latenz für Benutzer verringern“, schließen die Apple-Forscher für maschinelles Lernen. „Mit dem neuartigen Ansatz von ReDrafter zur spekulativen Dekodierung, der in das NVIDIA TensorRT-LLM-Framework integriert ist, können Entwickler jetzt von einer schnelleren Token-Generierung auf NVIDIA-GPUs für ihre Produktions-LLM-Anwendungen profitieren.“

You can learn more about this work on Apple’s website and in a blog post on NVIDIA’s website.

Mehr über diese Arbeit erfahren Sie auf der Website von Apple und in einem Blogbeitrag auf der Website von NVIDIA.