Revolutionierung der KI-Leistung: Apple und Nvidias neue Ära der Sprachmodelle

In einer bahnbrechenden Zusammenarbeit haben Apple Inc. und Nvidia Corporation ihre Kräfte gebündelt, um die Leistung großer Sprachmodelle (LLMs) zu verbessern.

Tech giants Apple Inc. and Nvidia Corporation are joining forces to enhance the performance of large language models (LLMs). This partnership will see Apple’s Recurrent Drafter (ReDrafter) technique being integrated with Nvidia’s TensorRT-LLM system to significantly boost text generation speeds.

Die Technologieriesen Apple Inc. und Nvidia Corporation bündeln ihre Kräfte, um die Leistung großer Sprachmodelle (LLMs) zu verbessern. Im Rahmen dieser Partnerschaft wird Apples Recurrent Drafter (ReDrafter)-Technik in das TensorRT-LLM-System von Nvidia integriert, um die Geschwindigkeit der Textgenerierung erheblich zu steigern.

During the collaboration, Apple’s ReDrafter, a method that combines beam search with dynamic tree attention, will be merged into Nvidia’s TensorRT-LLM. This integration aims to optimize the performance of LLMs on Nvidia GPUs, pushing the boundaries of AI technology.

Im Rahmen der Zusammenarbeit wird Apples ReDrafter, eine Methode, die Beam Search mit dynamischer Baumaufmerksamkeit kombiniert, in Nvidias TensorRT-LLM integriert. Diese Integration zielt darauf ab, die Leistung von LLMs auf Nvidia-GPUs zu optimieren und die Grenzen der KI-Technologie zu erweitern.

The merger will also involve adding new operators to enhance TensorRT-LLM’s capability to handle intricate models and their decoding processes. The results of these enhancements are impressive, showing a 2.7x increase in token generation speed for greedy decoding on Nvidia GPUs. This achievement promises to substantially cut down latency and power consumption, offering more efficient computational possibilities.

Der Zusammenschluss umfasst auch die Hinzufügung neuer Operatoren, um die Fähigkeit von TensorRT-LLM zu verbessern, komplexe Modelle und deren Decodierungsprozesse zu verarbeiten. Die Ergebnisse dieser Verbesserungen sind beeindruckend und zeigen eine 2,7-fache Steigerung der Token-Generierungsgeschwindigkeit für die gierige Dekodierung auf Nvidia-GPUs. Diese Errungenschaft verspricht eine deutliche Reduzierung der Latenz und des Stromverbrauchs und bietet effizientere Rechenmöglichkeiten.

The advancement holds significant implications, as highlighted by Apple’s machine learning experts, who anticipate reduced computational costs and improved user experiences through lower latency in production environments.

Der Fortschritt hat erhebliche Auswirkungen, wie die Experten für maschinelles Lernen von Apple hervorheben, die geringere Rechenkosten und verbesserte Benutzererfahrungen durch geringere Latenz in Produktionsumgebungen erwarten.

Financially, both companies are on a high. Apple reported a fourth-quarter revenue of $94.9 billion, outperforming analyst predictions, while Nvidia’s third-quarter revenue shot up by 94% from the previous year to $35.1 billion. Collectively, Apple and Nvidia’s market value hovers around $7 trillion, marking them as pillars in the tech industry.

Finanziell sind beide Unternehmen auf Hochtouren. Apple meldete im vierten Quartal einen Umsatz von 94,9 Milliarden US-Dollar und übertraf damit die Analystenprognosen, während Nvidias Umsatz im dritten Quartal im Vergleich zum Vorjahr um 94 % auf 35,1 Milliarden US-Dollar stieg. Zusammengenommen liegt der Marktwert von Apple und Nvidia bei rund 7 Billionen US-Dollar, was sie zu Säulen der Technologiebranche macht.