|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
Apple et NVIDIA collaborent pour implémenter des performances de génération de texte plus rapides avec de grands modèles de langage
Dec 19, 2024 at 05:33 am
Dans un article de blog publié aujourd'hui, les ingénieurs Apple ont partagé de nouveaux détails sur une collaboration avec NVIDIA visant à implémenter des performances de génération de texte plus rapides avec de grands modèles de langage.

Apple engineers have shared new details on a collaboration with NVIDIA to implement faster text generation performance with large language models (LLMs).
Les ingénieurs Apple ont partagé de nouveaux détails sur une collaboration avec NVIDIA pour implémenter des performances de génération de texte plus rapides avec des modèles de langage étendus (LLM).
Earlier this year, Apple published and open sourced its Recurrent Drafter (ReDrafter) technique, a new method for generating text with LLMs that’s significantly faster and “achieves state of the art performance.” It combines two techniques: beam search (to explore multiple possibilities) and dynamic tree attention (to efficiently handle choices).
Plus tôt cette année, Apple a publié et open source sa technique Recurrent Drafter (ReDrafter), une nouvelle méthode de génération de texte avec des LLM qui est nettement plus rapide et « atteint des performances de pointe ». Il combine deux techniques : la recherche de faisceaux (pour explorer de multiples possibilités) et l'attention dynamique des arbres (pour gérer efficacement les choix).
While its research demonstrated strong results, Apple also collaborated with NVIDIA to apply ReDrafter in production. As part of this collaboration, ReDrafter was integrated into NVIDIA TensorRT-LLM, a tool that helps run LLMs faster on NVIDIA GPUs.
Bien que ses recherches aient donné des résultats probants, Apple a également collaboré avec NVIDIA pour appliquer ReDrafter en production. Dans le cadre de cette collaboration, ReDrafter a été intégré à NVIDIA TensorRT-LLM, un outil qui permet d'exécuter les LLM plus rapidement sur les GPU NVIDIA.
Here are the results:
Voici les résultats :
To enable the integration of ReDrafter, NVIDIA added new operators or exposed existing ones, which considerably improved TensorRT-LLM’s capability to accommodate sophisticated models and decoding methods. ML developers using NVIDIA GPUs can now easily benefit from ReDrafter’s accelerated token generation for their production LLM applications with TensorRT-LLM.
Pour permettre l'intégration de ReDrafter, NVIDIA a ajouté de nouveaux opérateurs ou exposé ceux existants, ce qui a considérablement amélioré la capacité de TensorRT-LLM à prendre en charge des modèles et des méthodes de décodage sophistiqués. Les développeurs de ML utilisant des GPU NVIDIA peuvent désormais facilement bénéficier de la génération accélérée de jetons de ReDrafter pour leurs applications LLM de production avec TensorRT-LLM.
In benchmarking a tens-of-billions parameter production model on NVIDIA GPUs, using the NVIDIA TensorRT-LLM inference acceleration framework with ReDrafter, we have seen 2.7x speed-up in generated tokens per second for greedy decoding. These benchmark results indicate this tech could significantly reduce latency users may experience, while also using fewer GPUs and consuming less power.
En comparant un modèle de production de dizaines de milliards de paramètres sur les GPU NVIDIA, à l'aide du cadre d'accélération d'inférence NVIDIA TensorRT-LLM avec ReDrafter, nous avons constaté une accélération de 2,7 fois des jetons générés par seconde pour un décodage gourmand. Ces résultats de référence indiquent que cette technologie pourrait réduire considérablement la latence que les utilisateurs peuvent rencontrer, tout en utilisant moins de GPU et en consommant moins d'énergie.
“LLMs are increasingly being used to power production applications, and improving inference efficiency can both impact computational costs and reduce latency for users,” Apple’s machine learning researchers conclude. “With ReDrafter’s novel approach to speculative decoding integrated into the NVIDIA TensorRT-LLM framework, developers can now benefit from faster token generation on NVIDIA GPUs for their production LLM applications.”
« Les LLM sont de plus en plus utilisés pour alimenter les applications de production, et l'amélioration de l'efficacité de l'inférence peut à la fois avoir un impact sur les coûts de calcul et réduire la latence pour les utilisateurs », concluent les chercheurs en apprentissage automatique d'Apple. « Grâce à la nouvelle approche de ReDrafter en matière de décodage spéculatif intégrée au framework NVIDIA TensorRT-LLM, les développeurs peuvent désormais bénéficier d'une génération de jetons plus rapide sur les GPU NVIDIA pour leurs applications LLM de production. »
You can learn more about this work on Apple’s website and in a blog post on NVIDIA’s website.
Vous pouvez en savoir plus sur ce travail sur le site Web d'Apple et dans un article de blog sur le site Web de NVIDIA.
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Le trading à effet de levier de James Wynn : une minute new-yorkaise dans les liquidations de crypto-monnaies
- Nov 20, 2026 at 08:05 pm
- Les marchés de la cryptographie enregistrent 2 milliards de dollars de liquidations, soulignant la nature volatile du trading à effet de levier et plaçant les cinq récentes liquidations du célèbre trader James Wynn dans un contexte de correction plus large du marché.
-
- Bybit, Anthropic et les sables mouvants du trading d'actions : une minute new-yorkaise à la frontière numérique de Wall Street
- Nov 20, 2026 at 12:05 pm
- Bybit étend son offre d'actions cotées aux États-Unis avec Anthropic, alors que le paysage plus large du trading d'actions est aux prises avec le contrôle réglementaire sur la tokenisation et le défi persistant des flux financiers illicites.
-
- Le départ du directeur technique de Ledger signale une évolution du paysage de la sécurité des actifs cryptographiques au milieu de nouvelles menaces
- Nov 20, 2026 at 08:05 am
- Le départ de Charles Guillemet, CTO de Ledger, souligne l'évolution des défis en matière de sécurité des actifs cryptographiques et la nécessité de défenses robustes contre les nouvelles menaces.
-
- GTA VI Frenzy, AI Hurdles de Nvidia et Texas Gamble de SpaceX : un trio technologique
- Nov 20, 2026 at 04:05 am
- Le lancement massif de Grand Theft Auto VI, les défis d'exportation de puces de Nvidia et l'ambitieux projet Texas AI de SpaceX dominent le cycle de l'actualité technologique et financière.
-
- Stratégie d'investissement XRP d'Egrag Crypto : de la patience, pas de la perfection, pour les détenteurs
- Nov 20, 2026 at 04:05 am
- Egrag Crypto conseille aux détenteurs de XRP d'abandonner la pêche de fond au profit d'une stratégie d'accumulation patiente et basée sur la fourchette, en mettant l'accent sur la création de richesse à long terme plutôt que sur l'obsession des prix à court terme.
-
- Le prix du Bitcoin chute au milieu des craintes de hausse des taux de la Réserve fédérale et du crash de la cryptographie
- Nov 19, 2026 at 12:05 pm
- Les signaux bellicistes de la Réserve fédérale ont fait chuter les prix du Bitcoin, déclenchant un krach plus large du marché de la cryptographie et suscitant l'anxiété des investisseurs.
-
- Naviguer dans les tempêtes géopolitiques : résilience du portefeuille, préservation de la richesse et sables mouvants de l'accès
- Nov 19, 2026 at 11:55 am
- À une époque de risques géopolitiques croissants, la sauvegarde de la richesse n’est pas seulement une question de valeur des actifs : il s’agit également d’en maintenir l’accès. Les investisseurs donnent la priorité à la résilience, à la liquidité et à la diversification de leurs portefeuilles entre les juridictions pour faire face aux perturbations potentielles.
-
- Bain Capital Crypto mène le cycle de financement de 110 millions de dollars de Variational, valorisant la plateforme à 1,5 milliard de dollars
- Nov 19, 2026 at 08:05 am
- Variational obtient une série B de 110 millions de dollars, dirigée par Bain Capital Crypto, atteignant une valorisation de 1,5 milliard de dollars car elle relie le trading en chaîne avec la liquidité traditionnelle du marché.
-
- Prix du Bitcoin, intelligence artificielle et changement de propriété : un carrefour du marché
- Nov 19, 2026 at 04:05 am
- L'analyse des mouvements de prix du Bitcoin, de l'augmentation des investissements dans l'IA et de l'évolution de la propriété du Bitcoin révèle des changements et des opportunités potentiels sur le marché.

































