DigitalOcean、AMD、Character.ai が AI 推論パフォーマンスを 2 倍にし、クラウド AI を再定義

DigitalOcean、AMD、Character.ai は協力して、AI 推論スループットの 2 倍の大幅な向上を達成し、コストを大幅に削減し、大規模で低遅延の AI アプリケーションの新しい標準を確立しました。

A Quantum Leap in AI Efficiency

AI 効率の飛躍的な進歩

In a landscape where AI innovation is moving at warp speed, the efficiency of inference—the process by which AI models make predictions—is paramount. DigitalOcean, a leading cloud provider, has teamed up with semiconductor giant AMD and AI entertainment platform Character.ai to deliver a significant breakthrough. Their joint effort has resulted in a staggering twofold increase in production inference throughput for Character.ai’s applications, all while substantially reducing operational costs.

AI のイノベーションが猛スピードで進んでいる状況では、推論 (AI モデルが予測を行うプロセス) の効率が最も重要です。大手クラウドプロバイダーである DigitalOcean は、半導体大手 AMD および AI エンターテインメント プラットフォーム Character.ai と提携して、大きな進歩を遂げました。両社の共同の取り組みにより、Character.ai アプリケーションのプロダクション推論スループットが驚くほど 2 倍に向上し、同時に運用コストが大幅に削減されました。

Character.ai, serving approximately 20 million users globally, faced the quintessential challenge of scaling AI with demanding low-latency requirements. Their quest for optimized GPU performance and cost efficiency led them to DigitalOcean and AMD. What ensued was a deep, multi-team technical collaboration that harnessed the raw power of AMD Instinct™ MI300X and MI325X GPU platforms hosted on DigitalOcean's robust infrastructure.

世界中で約 2,000 万人のユーザーにサービスを提供している Character.ai は、厳しい低遅延要件に合わせて AI を拡張するという典型的な課題に直面していました。最適化された GPU パフォーマンスとコスト効率の追求により、DigitalOcean と AMD にたどり着きました。その後、DigitalOcean の堅牢なインフラストラクチャでホストされる AMD Instinct™ MI300X および MI325X GPU プラットフォームの生のパワーを活用する、マルチチームによる綿密な技術コラボレーションが実現しました。

The Art of Optimization: A Technical Deep Dive

最適化の技術: 技術的な詳細

Achieving this 2x performance gain wasn't merely a matter of throwing more hardware at the problem. It was a testament to sophisticated engineering and a meticulous approach to software-hardware co-design. The teams focused on platform-level optimizations, including:

この 2 倍のパフォーマンス向上を達成するには、単に問題に対してハードウェアを追加するだけでは済みません。これは、洗練されたエンジニアリングと、ソフトウェアとハ​​ードウェアの共同設計に対する細心の注意を払ったアプローチの証でした。チームは、次のようなプラットフォーム レベルの最適化に焦点を当てました。

• Clever parallelization strategies tailored for large Mixture-of-Experts (MoE) models, a technique critical for handling complex AI architectures.
• The implementation of efficient FP8 execution paths, leveraging AMD Instinct GPUs’ native support for this precision to reduce VRAM usage by approximately 50% and enhance throughput.
• The integration of optimized kernels through AITER (AI Tensor Engine for ROCm), AMD's high-performance AI operator library, ensuring peak hardware efficiency.
• Topology-aware GPU allocation and production-ready Kubernetes orchestration via DigitalOcean Kubernetes (DOKS), simplifying deployment and management of intensive GPU workloads.

Specifically, the optimization of the Qwen3-235B Instruct FP8 model saw a transition from generic, non-optimized setups to advanced vLLM recipes like DP2 / TP4 / EP4 configurations. This nuanced approach, balancing distributed serving, tensor parallelism, and expert parallelism, proved to be about 91% more efficient in throughput compared to prior, less optimized deployments, directly translating to a substantial reduction in cost-per-token.

具体的には、Qwen3-235B Instruct FP8 モデルの最適化により、一般的な非最適化セットアップから DP2 / TP4 / EP4 構成などの高度な vLLM レシピへの移行が見られました。分散サービス、テンソル並列処理、およびエキスパート並列処理のバランスをとったこの微妙なアプローチは、以前のあまり最適化されていないデプロイメントと比較してスループットの効率が約 91% 高いことが証明され、トークンあたりのコストの大幅な削減に直接つながります。

Beyond Benchmarks: The New AI Systems Paradigm

ベンチマークを超えて: 新しい AI システム パラダイム

This collaboration underscores a crucial evolution in AI infrastructure. The findings highlight a "New AI Systems Paradigm" where success hinges on several foundational shifts:

このコラボレーションは、AI インフラストラクチャにおける重要な進化を強調しています。この調査結果は、成功がいくつかの根本的な変化に依存する「新しい AI システム パラダイム」を浮き彫りにしています。

• Multi-Dimensional Optimization: Performance now demands a delicate balance across cost, latency, throughput, and concurrency, with strategic architectural choices driving down expenses while boosting capabilities.
• Hardware-Software Co-Design: Peak efficiency isn't accidental. It requires a precise alignment between low-level system architecture—GPU interconnects, memory bandwidth, FLOPs utilization—and the AI model serving stack. The detailed work on vLLM configurations and AITER is a prime example of this synergy.
• Infrastructure Reinvention: Deploying large-scale models in data centers is a distinct challenge from traditional web services. It necessitates a "full-stack" re-evaluation of deployment strategies, from managed Kubernetes (like DOKS, which now offers pre-baked GPU drivers and device plugins) to smart caching solutions for massive model weights.

For Character.ai, this optimized infrastructure means predictable scaling without increased operational burden, a factor so compelling it led to a multi-year, eight-figure annual agreement with DigitalOcean for GPU services. It's a win-win, proving that cutting-edge AI doesn't have to break the bank or strain engineering teams.

Character.ai にとって、この最適化されたインフラストラクチャは、運用負担を増加させることなく予測可能なスケーリングを意味します。これが非常に魅力的な要因であり、GPU サービスに関して DigitalOcean と複数年にわたる年間 8 桁の契約を結びました。これは双方にメリットがあり、最先端の AI が大金を投じたり、エンジニアリング チームに負担をかける必要がないことを証明しています。

The Future Looks Bright (and Fast)

未来は明るく（そして速く）見えます

As DigitalOcean continues to build out its inference cloud, partnerships like these with industry titans AMD and innovative platforms like Character.ai are charting a course for the future of AI. The message is clear: deep technical collaboration, meticulous optimization, and a holistic view of the AI stack can unlock extraordinary performance. It seems the digital ocean is getting both deeper and a good deal faster, making complex AI tasks feel as breezy as a walk through Central Park. We're all for it.

DigitalOcean が推論クラウドの構築を続ける中、業界大手 AMD や Character.ai のような革新的なプラットフォームとのこのようなパートナーシップが AI の将来への道筋を描いています。メッセージは明確です。綿密な技術コラボレーション、細心の注意を払った最適化、AI スタックの全体的なビューによって、並外れたパフォーマンスを引き出すことができます。デジタルの海はますます深くなり、さらに高速化しているようで、複雑な AI タスクがセントラルパークを散歩しているときと同じくらいさわやかに感じられるようになりました。私たちは皆それに賛成です。