DigitalOcean, AMD 및 Character.ai로 AI 추론 성능을 두 배로 향상하고 클라우드 AI를 재정의

DigitalOcean, AMD 및 Character.ai는 공동으로 AI 추론 처리량을 2배로 향상시켜 비용을 대폭 낮추고 대기 시간이 짧은 대규모 AI 애플리케이션에 대한 새로운 표준을 설정했습니다.

A Quantum Leap in AI Efficiency

AI 효율성의 비약적인 도약

In a landscape where AI innovation is moving at warp speed, the efficiency of inference—the process by which AI models make predictions—is paramount. DigitalOcean, a leading cloud provider, has teamed up with semiconductor giant AMD and AI entertainment platform Character.ai to deliver a significant breakthrough. Their joint effort has resulted in a staggering twofold increase in production inference throughput for Character.ai’s applications, all while substantially reducing operational costs.

AI 혁신이 빠른 속도로 진행되는 환경에서는 AI 모델이 예측을 수행하는 프로세스인 추론의 효율성이 무엇보다 중요합니다. 선도적인 클라우드 제공업체인 DigitalOcean은 거대 반도체 AMD 및 AI 엔터테인먼트 플랫폼 Character.ai와 협력하여 획기적인 발전을 이루었습니다. 이들의 공동 노력으로 Character.ai 애플리케이션의 생산 추론 처리량이 두 배로 증가하는 동시에 운영 비용도 크게 절감되었습니다.

Character.ai, serving approximately 20 million users globally, faced the quintessential challenge of scaling AI with demanding low-latency requirements. Their quest for optimized GPU performance and cost efficiency led them to DigitalOcean and AMD. What ensued was a deep, multi-team technical collaboration that harnessed the raw power of AMD Instinct™ MI300X and MI325X GPU platforms hosted on DigitalOcean's robust infrastructure.

전 세계적으로 약 2천만 명의 사용자에게 서비스를 제공하는 Character.ai는 낮은 대기 시간 요구 사항을 충족하면서 AI를 확장해야 하는 본질적인 과제에 직면했습니다. 최적화된 GPU 성능과 비용 효율성에 대한 탐구는 DigitalOcean과 AMD로 이어졌습니다. 그 결과 DigitalOcean의 강력한 인프라에서 호스팅되는 AMD Instinct™ MI300X 및 MI325X GPU 플랫폼의 강력한 성능을 활용하는 심층적인 다중 팀 기술 협력이 이루어졌습니다.

The Art of Optimization: A Technical Deep Dive

최적화의 기술: 기술 심층 분석

Achieving this 2x performance gain wasn't merely a matter of throwing more hardware at the problem. It was a testament to sophisticated engineering and a meticulous approach to software-hardware co-design. The teams focused on platform-level optimizations, including:

이러한 2배의 성능 향상을 달성하는 것은 단순히 문제에 더 많은 하드웨어를 투입하는 문제가 아닙니다. 이는 정교한 엔지니어링과 소프트웨어-하드웨어 공동 설계에 대한 세심한 접근 방식의 증거였습니다. 팀은 다음을 포함하여 플랫폼 수준 최적화에 중점을 두었습니다.

• Clever parallelization strategies tailored for large Mixture-of-Experts (MoE) models, a technique critical for handling complex AI architectures.
• The implementation of efficient FP8 execution paths, leveraging AMD Instinct GPUs’ native support for this precision to reduce VRAM usage by approximately 50% and enhance throughput.
• The integration of optimized kernels through AITER (AI Tensor Engine for ROCm), AMD's high-performance AI operator library, ensuring peak hardware efficiency.
• Topology-aware GPU allocation and production-ready Kubernetes orchestration via DigitalOcean Kubernetes (DOKS), simplifying deployment and management of intensive GPU workloads.

Specifically, the optimization of the Qwen3-235B Instruct FP8 model saw a transition from generic, non-optimized setups to advanced vLLM recipes like DP2 / TP4 / EP4 configurations. This nuanced approach, balancing distributed serving, tensor parallelism, and expert parallelism, proved to be about 91% more efficient in throughput compared to prior, less optimized deployments, directly translating to a substantial reduction in cost-per-token.

특히, Qwen3-235B Instruct FP8 모델의 최적화는 최적화되지 않은 일반 설정에서 DP2/TP4/EP4 구성과 같은 고급 vLLM 레시피로 전환되는 것을 확인했습니다. 분산 서비스, 텐서 병렬 처리 및 전문가 병렬 처리의 균형을 맞추는 이러한 미묘한 접근 방식은 이전의 덜 최적화된 배포에 비해 처리량이 약 91% 더 효율적인 것으로 입증되어 토큰당 비용이 크게 절감되었습니다.

Beyond Benchmarks: The New AI Systems Paradigm

벤치마크를 넘어서: 새로운 AI 시스템 패러다임

This collaboration underscores a crucial evolution in AI infrastructure. The findings highlight a "New AI Systems Paradigm" where success hinges on several foundational shifts:

이번 협력은 AI 인프라의 중요한 발전을 강조합니다. 연구 결과는 성공이 몇 가지 근본적인 변화에 달려 있는 "새로운 AI 시스템 패러다임"을 강조합니다.

• Multi-Dimensional Optimization: Performance now demands a delicate balance across cost, latency, throughput, and concurrency, with strategic architectural choices driving down expenses while boosting capabilities.
• Hardware-Software Co-Design: Peak efficiency isn't accidental. It requires a precise alignment between low-level system architecture—GPU interconnects, memory bandwidth, FLOPs utilization—and the AI model serving stack. The detailed work on vLLM configurations and AITER is a prime example of this synergy.
• Infrastructure Reinvention: Deploying large-scale models in data centers is a distinct challenge from traditional web services. It necessitates a "full-stack" re-evaluation of deployment strategies, from managed Kubernetes (like DOKS, which now offers pre-baked GPU drivers and device plugins) to smart caching solutions for massive model weights.

For Character.ai, this optimized infrastructure means predictable scaling without increased operational burden, a factor so compelling it led to a multi-year, eight-figure annual agreement with DigitalOcean for GPU services. It's a win-win, proving that cutting-edge AI doesn't have to break the bank or strain engineering teams.

Character.ai의 경우 이 최적화된 인프라는 운영 부담을 늘리지 않고도 예측 가능한 확장을 의미하며, 이는 GPU 서비스에 대해 DigitalOcean과 다년간 8자리 연간 계약을 맺게 된 매우 매력적인 요소입니다. 이는 최첨단 AI가 비용을 절감하거나 엔지니어링 팀에 부담을 줄 필요가 없음을 입증하는 윈윈(win-win)입니다.

The Future Looks Bright (and Fast)

미래는 밝고 빠르게 보입니다

As DigitalOcean continues to build out its inference cloud, partnerships like these with industry titans AMD and innovative platforms like Character.ai are charting a course for the future of AI. The message is clear: deep technical collaboration, meticulous optimization, and a holistic view of the AI stack can unlock extraordinary performance. It seems the digital ocean is getting both deeper and a good deal faster, making complex AI tasks feel as breezy as a walk through Central Park. We're all for it.

DigitalOcean이 추론 클라우드를 지속적으로 구축함에 따라 업계의 거물인 AMD 및 Character.ai와 같은 혁신적인 플랫폼과의 파트너십을 통해 AI의 미래를 위한 진로를 계획하고 있습니다. 메시지는 분명합니다. 심층적인 기술 협업, 세심한 최적화, AI 스택에 대한 전체적인 관점을 통해 탁월한 성능을 발휘할 수 있습니다. 디지털 바다가 점점 더 깊어지고 훨씬 더 빨라지면서 복잡한 AI 작업이 마치 센트럴파크를 산책하는 것처럼 상쾌하게 느껴지게 되는 것 같습니다. 우리는 모두 그것을 위해 있습니다.