Révolutionner les performances de l'IA : la nouvelle ère des modèles de langage d'Apple et de Nvidia

Dans le cadre d'une collaboration révolutionnaire, Apple Inc. et Nvidia Corporation ont uni leurs forces pour améliorer les performances des grands modèles de langage (LLM).

Tech giants Apple Inc. and Nvidia Corporation are joining forces to enhance the performance of large language models (LLMs). This partnership will see Apple’s Recurrent Drafter (ReDrafter) technique being integrated with Nvidia’s TensorRT-LLM system to significantly boost text generation speeds.

Les géants de la technologie Apple Inc. et Nvidia Corporation unissent leurs forces pour améliorer les performances des grands modèles de langage (LLM). Ce partenariat verra l'intégration de la technique Recurrent Drafter (ReDrafter) d'Apple au système TensorRT-LLM de Nvidia pour augmenter considérablement les vitesses de génération de texte.

During the collaboration, Apple’s ReDrafter, a method that combines beam search with dynamic tree attention, will be merged into Nvidia’s TensorRT-LLM. This integration aims to optimize the performance of LLMs on Nvidia GPUs, pushing the boundaries of AI technology.

Au cours de cette collaboration, ReDrafter d'Apple, une méthode combinant la recherche de faisceaux et l'attention dynamique des arbres, sera fusionné avec TensorRT-LLM de Nvidia. Cette intégration vise à optimiser les performances des LLM sur les GPU Nvidia, repoussant les limites de la technologie de l'IA.

The merger will also involve adding new operators to enhance TensorRT-LLM’s capability to handle intricate models and their decoding processes. The results of these enhancements are impressive, showing a 2.7x increase in token generation speed for greedy decoding on Nvidia GPUs. This achievement promises to substantially cut down latency and power consumption, offering more efficient computational possibilities.

La fusion impliquera également l'ajout de nouveaux opérateurs pour améliorer la capacité de TensorRT-LLM à gérer des modèles complexes et leurs processus de décodage. Les résultats de ces améliorations sont impressionnants, montrant une augmentation de 2,7 fois de la vitesse de génération de jetons pour le décodage gourmand sur les GPU Nvidia. Cette réalisation promet de réduire considérablement la latence et la consommation d'énergie, offrant ainsi des possibilités de calcul plus efficaces.

The advancement holds significant implications, as highlighted by Apple’s machine learning experts, who anticipate reduced computational costs and improved user experiences through lower latency in production environments.

Cette avancée a des implications significatives, comme l'ont souligné les experts en apprentissage automatique d'Apple, qui prévoient une réduction des coûts de calcul et une expérience utilisateur améliorée grâce à une latence plus faible dans les environnements de production.

Financially, both companies are on a high. Apple reported a fourth-quarter revenue of $94.9 billion, outperforming analyst predictions, while Nvidia’s third-quarter revenue shot up by 94% from the previous year to $35.1 billion. Collectively, Apple and Nvidia’s market value hovers around $7 trillion, marking them as pillars in the tech industry.

Financièrement, les deux sociétés sont au plus haut. Apple a déclaré un chiffre d'affaires de 94,9 milliards de dollars au quatrième trimestre, dépassant les prévisions des analystes, tandis que le chiffre d'affaires de Nvidia au troisième trimestre a bondi de 94 % par rapport à l'année précédente pour atteindre 35,1 milliards de dollars. Collectivement, la valeur marchande d'Apple et de Nvidia oscille autour de 7 000 milliards de dollars, ce qui en fait des piliers de l'industrie technologique.