NVIDIA aide Apple à créer une expérience d'IA plus rapide et meilleure

Si vous achetez via un lien BGR, nous pouvons gagner une commission d'affiliation, aidant ainsi à soutenir nos laboratoires de produits experts. Apple et NVIDIA ont partagé les détails d'une collaboration

Tech giants Apple and NVIDIA have joined forces to enhance the performance of Large Language Models (LLMs) by introducing a new text generation technique for AI.

Les géants de la technologie Apple et NVIDIA ont uni leurs forces pour améliorer les performances des grands modèles linguistiques (LLM) en introduisant une nouvelle technique de génération de texte pour l'IA.

According to Apple, accelerating LLM inference is a crucial ML research problem. This is because auto-regressive token generation is computationally expensive and relatively slow. As a result, improving inference efficiency can reduce latency for users.

Selon Apple, l’accélération de l’inférence LLM est un problème crucial de recherche en ML. En effet, la génération de jetons auto-régressifs est coûteuse en calcul et relativement lente. En conséquence, l’amélioration de l’efficacité de l’inférence peut réduire la latence pour les utilisateurs.

In addition to ongoing efforts to accelerate inference on Apple silicon, the company has recently made significant progress in accelerating LLM inference for the NVIDIA GPUs widely used for production applications across the industry, the company writes in a research paper.

En plus des efforts en cours pour accélérer l'inférence sur le silicium Apple, la société a récemment réalisé des progrès significatifs dans l'accélération de l'inférence LLM pour les GPU NVIDIA largement utilisés pour les applications de production dans l'ensemble de l'industrie, écrit la société dans un document de recherche.

Earlier this year, Apple published and open-sourced Recurrent Drafter (ReDrafter), which is a novel approach to speculative decoding that “achieves state of the art performance.”

Plus tôt cette année, Apple a publié et open source Recurrent Drafter (ReDrafter), qui est une nouvelle approche du décodage spéculatif qui « atteint des performances de pointe ».

According to the company, ReDrafter uses an RNN draft model, and combines beam search with dynamic tree attention to speed up LLM token generation by up to 3.5 tokens per generation step for open source models, surpassing the performance of prior speculative decoding techniques.

Selon la société, ReDrafter utilise un projet de modèle RNN et combine la recherche de faisceaux avec une attention dynamique dans les arbres pour accélérer la génération de jetons LLM jusqu'à 3,5 jetons par étape de génération pour les modèles open source, dépassant ainsi les performances des techniques de décodage spéculatif précédentes.

“In benchmarking a tens-of-billions parameter production model on NVIDIA GPUs, using the NVIDIA TensorRT-LLM inference acceleration framework with ReDrafter, we have seen 2.7x speed-up in generated tokens per second for greedy decoding,” Apple papers show.

"En comparant un modèle de production de dizaines de milliards de paramètres sur les GPU NVIDIA, en utilisant le cadre d'accélération d'inférence NVIDIA TensorRT-LLM avec ReDrafter, nous avons constaté une accélération de 2,7x des jetons générés par seconde pour un décodage gourmand", montrent les documents Apple.

With that, this technology could signifanctly reduce latency users may experience, while also using fewer GPUs and consuming less power.

Grâce à cela, cette technologie pourrait réduire considérablement la latence que les utilisateurs peuvent rencontrer, tout en utilisant moins de GPU et en consommant moins d'énergie.