AI パフォーマンスの革命: Apple と Nvidia の言語モデルの新時代

Apple Inc. と Nvidia Corporation は、画期的なコラボレーションにより、大規模言語モデル (LLM) のパフォーマンスを強化するために協力しました。

Tech giants Apple Inc. and Nvidia Corporation are joining forces to enhance the performance of large language models (LLMs). This partnership will see Apple’s Recurrent Drafter (ReDrafter) technique being integrated with Nvidia’s TensorRT-LLM system to significantly boost text generation speeds.

テクノロジー大手の Apple Inc. と Nvidia Corporation は、大規模言語モデル (LLM) のパフォーマンスを強化するために協力しています。この提携により、Apple の Recurrent Drafter (ReDrafter) 技術が Nvidia の TensorRT-LLM システムと統合され、テキスト生成速度が大幅に向上します。

During the collaboration, Apple’s ReDrafter, a method that combines beam search with dynamic tree attention, will be merged into Nvidia’s TensorRT-LLM. This integration aims to optimize the performance of LLMs on Nvidia GPUs, pushing the boundaries of AI technology.

このコラボレーションでは、ビーム検索と動的ツリー アテンションを組み合わせた手法である Apple の ReDrafter が Nvidia の TensorRT-LLM に統合されます。この統合は、Nvidia GPU 上の LLM のパフォーマンスを最適化し、AI テクノロジーの限界を押し上げることを目的としています。

The merger will also involve adding new operators to enhance TensorRT-LLM’s capability to handle intricate models and their decoding processes. The results of these enhancements are impressive, showing a 2.7x increase in token generation speed for greedy decoding on Nvidia GPUs. This achievement promises to substantially cut down latency and power consumption, offering more efficient computational possibilities.

この合併には、複雑なモデルとそのデコードプロセスを処理する TensorRT-LLM の機能を強化するための新しい演算子の追加も含まれます。これらの機能強化の結果は印象的で、Nvidia GPU での貪欲なデコードのトークン生成速度が 2.7 倍向上しました。この成果により、レイテンシーと消費電力が大幅に削減され、より効率的な計算の可能性が提供されることが期待されます。

The advancement holds significant implications, as highlighted by Apple’s machine learning experts, who anticipate reduced computational costs and improved user experiences through lower latency in production environments.

Apple の機械学習専門家が強調しているように、この進歩は重要な意味を持っており、実稼働環境での待ち時間の短縮により計算コストの削減とユーザー エクスペリエンスの向上が期待されています。

Financially, both companies are on a high. Apple reported a fourth-quarter revenue of $94.9 billion, outperforming analyst predictions, while Nvidia’s third-quarter revenue shot up by 94% from the previous year to $35.1 billion. Collectively, Apple and Nvidia’s market value hovers around $7 trillion, marking them as pillars in the tech industry.

財務的には両社とも好調だ。 Appleは第4四半期の売上高が949億ドルとアナリスト予想を上回ったと報告し、一方Nvidiaの第3四半期の売上高は前年比94％増の351億ドルとなった。 Apple と Nvidia の市場価値は合計で約 7 兆ドルに達しており、テクノロジー業界の柱となっています。