|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Nachrichtenartikel zu Kryptowährungen
Apple und NVIDIA arbeiten zusammen, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen zu implementieren
Dec 19, 2024 at 05:33 am
In einem heutigen Blogbeitrag haben Apple-Ingenieure neue Details zu einer Zusammenarbeit mit NVIDIA mitgeteilt, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen zu implementieren.

Apple engineers have shared new details on a collaboration with NVIDIA to implement faster text generation performance with large language models (LLMs).
Apple-Ingenieure haben neue Details zu einer Zusammenarbeit mit NVIDIA bekannt gegeben, um eine schnellere Textgenerierungsleistung mit großen Sprachmodellen (LLMs) zu implementieren.
Earlier this year, Apple published and open sourced its Recurrent Drafter (ReDrafter) technique, a new method for generating text with LLMs that’s significantly faster and “achieves state of the art performance.” It combines two techniques: beam search (to explore multiple possibilities) and dynamic tree attention (to efficiently handle choices).
Anfang dieses Jahres hat Apple seine Recurrent Drafter (ReDrafter)-Technik veröffentlicht und als Open Source bereitgestellt, eine neue Methode zur Textgenerierung mit LLMs, die deutlich schneller ist und „eine Leistung auf dem neuesten Stand der Technik erreicht“. Es kombiniert zwei Techniken: Strahlsuche (um mehrere Möglichkeiten zu erkunden) und dynamische Baumaufmerksamkeit (um Entscheidungen effizient zu handhaben).
While its research demonstrated strong results, Apple also collaborated with NVIDIA to apply ReDrafter in production. As part of this collaboration, ReDrafter was integrated into NVIDIA TensorRT-LLM, a tool that helps run LLMs faster on NVIDIA GPUs.
Während seine Forschung starke Ergebnisse lieferte, arbeitete Apple auch mit NVIDIA zusammen, um ReDrafter in der Produktion einzusetzen. Im Rahmen dieser Zusammenarbeit wurde ReDrafter in NVIDIA TensorRT-LLM integriert, ein Tool, das dabei hilft, LLMs schneller auf NVIDIA-GPUs auszuführen.
Here are the results:
Hier sind die Ergebnisse:
To enable the integration of ReDrafter, NVIDIA added new operators or exposed existing ones, which considerably improved TensorRT-LLM’s capability to accommodate sophisticated models and decoding methods. ML developers using NVIDIA GPUs can now easily benefit from ReDrafter’s accelerated token generation for their production LLM applications with TensorRT-LLM.
Um die Integration von ReDrafter zu ermöglichen, fügte NVIDIA neue Operatoren hinzu oder machte bestehende verfügbar, was die Fähigkeit von TensorRT-LLM, anspruchsvolle Modelle und Decodierungsmethoden zu unterstützen, erheblich verbesserte. ML-Entwickler, die NVIDIA-GPUs verwenden, können jetzt problemlos von der beschleunigten Token-Generierung von ReDrafter für ihre Produktions-LLM-Anwendungen mit TensorRT-LLM profitieren.
In benchmarking a tens-of-billions parameter production model on NVIDIA GPUs, using the NVIDIA TensorRT-LLM inference acceleration framework with ReDrafter, we have seen 2.7x speed-up in generated tokens per second for greedy decoding. These benchmark results indicate this tech could significantly reduce latency users may experience, while also using fewer GPUs and consuming less power.
Beim Benchmarking eines Produktionsmodells mit mehreren zehn Milliarden Parametern auf NVIDIA-GPUs unter Verwendung des NVIDIA TensorRT-LLM-Inferenzbeschleunigungs-Frameworks mit ReDrafter haben wir eine 2,7-fache Beschleunigung der generierten Token pro Sekunde für gierige Dekodierung festgestellt. Diese Benchmark-Ergebnisse deuten darauf hin, dass diese Technologie die für Benutzer möglicherweise auftretende Latenz erheblich reduzieren könnte, während gleichzeitig weniger GPUs verwendet und weniger Strom verbraucht werden.
“LLMs are increasingly being used to power production applications, and improving inference efficiency can both impact computational costs and reduce latency for users,” Apple’s machine learning researchers conclude. “With ReDrafter’s novel approach to speculative decoding integrated into the NVIDIA TensorRT-LLM framework, developers can now benefit from faster token generation on NVIDIA GPUs for their production LLM applications.”
„LLMs werden zunehmend zur Stromversorgung von Produktionsanwendungen eingesetzt, und eine Verbesserung der Inferenzeffizienz kann sich sowohl auf die Rechenkosten auswirken als auch die Latenz für Benutzer verringern“, schließen die Apple-Forscher für maschinelles Lernen. „Mit dem neuartigen Ansatz von ReDrafter zur spekulativen Dekodierung, der in das NVIDIA TensorRT-LLM-Framework integriert ist, können Entwickler jetzt von einer schnelleren Token-Generierung auf NVIDIA-GPUs für ihre Produktions-LLM-Anwendungen profitieren.“
You can learn more about this work on Apple’s website and in a blog post on NVIDIA’s website.
Mehr über diese Arbeit erfahren Sie auf der Website von Apple und in einem Blogbeitrag auf der Website von NVIDIA.
Haftungsausschluss:info@kdj.com
Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!
Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.
-
- James Wynns Leveraged Trading: Eine New Yorker Minute zur Krypto-Liquidation
- Nov 20, 2026 at 08:05 pm
- Auf den Kryptowährungsmärkten sind Liquidationen in Höhe von 2 Milliarden US-Dollar zu verzeichnen, was die Volatilität des gehebelten Handels verdeutlicht und die jüngsten fünf Liquidationen des berüchtigten Händlers James Wynn inmitten einer umfassenderen Marktkorrektur deutlich hervorhebt.
-
- Bybit, Anthropic und der Treibsand des Aktienhandels: Eine New Yorker Minute über die digitale Grenze der Wall Street
- Nov 20, 2026 at 12:05 pm
- Bybit erweitert sein in den USA notiertes Aktienangebot mit Anthropic, da die breitere Landschaft des Aktienhandels mit der behördlichen Kontrolle der Tokenisierung und der anhaltenden Herausforderung illegaler Finanzströme zu kämpfen hat.
-
- Der Abgang des CTO von Ledger deutet darauf hin, dass sich die Sicherheitslandschaft für Krypto-Assets inmitten neuer Bedrohungen weiterentwickelt
- Nov 20, 2026 at 08:05 am
- Charles Guillemet, CTO von Ledger, verlässt das Unternehmen und weist auf die sich entwickelnden Herausforderungen bei der Sicherheit von Krypto-Assets und die Notwendigkeit robuster Abwehrmaßnahmen gegen neue Bedrohungen hin.
-
- GTA VI Frenzy, Nvidias KI-Hürden und SpaceXs Texas Gamble: Ein Tech-Trifecta
- Nov 20, 2026 at 04:05 am
- Der massive Start von Grand Theft Auto VI, die Herausforderungen beim Chip-Export von Nvidia und das ehrgeizige KI-Projekt von SpaceX in Texas dominieren den Zyklus der Technologie- und Finanznachrichten.
-
- Die XRP-Investitionsstrategie von Eggag Crypto: Geduld statt Perfektion für Inhaber
- Nov 20, 2026 at 04:05 am
- Egrag Crypto rät XRP-Inhabern, das Grundfischen aufzugeben und stattdessen eine geduldige, bereichsbasierte Akkumulationsstrategie zu verfolgen, wobei der langfristige Vermögensaufbau wichtiger ist als kurzfristige Preisbesessenheit.
-
- Der Bitcoin-Preis stürzt aufgrund der Angst vor Zinserhöhungen der Federal Reserve und dem Krypto-Crash ab
- Nov 19, 2026 at 12:05 pm
- Die restriktiven Signale der Federal Reserve haben die Bitcoin-Preise fallen lassen, einen breiteren Absturz des Kryptomarktes ausgelöst und Ängste bei den Anlegern geweckt.
-
- Bewältigung geopolitischer Stürme: Portfolio-Resilienz, Vermögenserhaltung und die wechselnden Möglichkeiten des Zugangs
- Nov 19, 2026 at 11:55 am
- In einer Zeit eskalierender geopolitischer Risiken geht es beim Schutz von Vermögen nicht nur um den Vermögenswert, sondern auch um die Aufrechterhaltung des Zugangs. Anleger legen Wert auf Portfolio-Resilienz, Liquidität und Diversifizierung über verschiedene Jurisdiktionen hinweg, um potenzielle Störungen zu überstehen.
-
- Bain Capital Crypto führt die 110-Millionen-Dollar-Finanzierungsrunde von Variational an und bewertet die Plattform mit satten 1,5 Milliarden US-Dollar
- Nov 19, 2026 at 08:05 am
- Variational sichert sich die von Bain Capital Crypto angeführte Serie B im Wert von 110 Millionen US-Dollar und erreicht eine Bewertung von 1,5 Milliarden US-Dollar, da es den On-Chain-Handel mit der traditionellen Marktliquidität verbindet.
-

































