FastSwitch: コンテキスト スイッチングの非効率性に対処する公平性を意識した LLM サービス提供システム

大規模言語モデル (LLM) は AI アプリケーションを変革し、言語翻訳、仮想アシスタント、コード生成などのタスクを強化します。

Large language models (LLMs) have revolutionized AI applications, powering diverse tasks such as language translation, virtual assistants, and code generation. These models are deployed on resource-intensive infrastructure, typically comprising GPUs with high-bandwidth memory, to handle their immense computational demands. However, delivering high-quality service to numerous users concurrently poses significant challenges. Efficiently allocating these limited resources is critical to meeting service level objectives (SLOs) for time-sensitive metrics, ensuring the system can cater to more users without compromising performance.

大規模言語モデル (LLM) は AI アプリケーションに革命をもたらし、言語翻訳、仮想アシスタント、コード生成などのさまざまなタスクを強化します。これらのモデルは、膨大な計算需要を処理するために、通常は高帯域幅メモリを備えた GPU で構成されるリソース集約型のインフラストラクチャ上にデプロイされます。ただし、高品質のサービスを多数のユーザーに提供するには、同時に大きな課題が伴います。これらの限られたリソースを効率的に割り当てることは、時間に敏感なメトリクスのサービス レベル目標 (SLO) を達成し、システムがパフォーマンスを損なうことなくより多くのユーザーに確実に対応できるようにするために重要です。

A persistent issue in LLM serving systems is achieving fair resource distribution while maintaining efficiency. Existing systems often prioritize throughput, neglecting fairness requirements such as balancing latency among users. Preemptive scheduling mechanisms, which dynamically adjust request priorities, address this. However, these mechanisms introduce context-switching overheads, such as GPU idleness and inefficient I/O utilization, which degrade key performance indicators like Time to First Token (TTFT) and Time Between Tokens (TBT). For instance, the stall time caused by preemption in high-stress scenarios can reach up to 59.9% of P99 latency, leading to a significant decline in user experience.

LLM サービス システムにおける永続的な問題は、効率を維持しながら公平なリソース配分を達成することです。既存のシステムは多くの場合、スループットを優先し、ユーザー間の遅延のバランスなどの公平性要件を無視しています。リクエストの優先順位を動的に調整するプリエンプティブ スケジューリング メカニズムは、これに対処します。ただし、これらのメカニズムでは、GPU のアイドル状態や非効率的な I/O 使用率などのコンテキスト切り替えのオーバーヘッドが発生し、最初のトークンまでの時間 (TTFT) やトークン間の時間 (TBT) などの重要なパフォーマンス指標が低下します。たとえば、高ストレスのシナリオでプリエンプションによって発生するストール時間は、P99 レイテンシの最大 59.9% に達する可能性があり、ユーザー エクスペリエンスの大幅な低下につながります。

Current solutions, such as vLLM, rely on paging-based memory management to address GPU memory constraints by swapping data between GPU and CPU memory. While these approaches improve throughput, they face limitations. Issues such as fragmented memory allocation, low I/O bandwidth utilization, and redundant data transfers during multi-turn conversations persist, undermining their effectiveness. For example, vLLM’s fixed block size of 16 tokens results in suboptimal granularity, which reduces PCIe bandwidth efficiency and increases latency during preemptive context switching.

vLLM などの現在のソリューションは、ページング ベースのメモリ管理に依存し、GPU と CPU メモリの間でデータを交換することで GPU メモリの制約に対処しています。これらのアプローチはスループットを向上させますが、限界に直面しています。断片化されたメモリ割り当て、低い I/O 帯域幅使用率、複数ターンの会話中の冗長なデータ転送などの問題が残り、その有効性が損なわれます。たとえば、vLLM のブロック サイズが 16 トークンに固定されていると、粒度が最適ではなくなり、PCIe 帯域幅効率が低下し、プリエンプティブ コンテキスト スイッチング中の遅延が増加します。

To address these inefficiencies, researchers from Purdue University, Shanghai Qi Zhi Institute, and Tsinghua University developed FastSwitch, a fairness-aware LLM serving system that introduces three core optimizations: a dynamic block group manager, a multithreading swap manager, and a KV cache reuse mechanism. These innovations synergize to improve I/O utilization, reduce GPU idleness, and minimize redundant data transfers. The system’s design builds on vLLM but focuses on coarse-grained memory allocation and asynchronous operations to enhance resource management.

これらの非効率性に対処するために、パデュー大学、上海斉志研究所、清華大学の研究者は、ダイナミック ブロック グループ マネージャー、マルチスレッド スワップ マネージャー、KV キャッシュの再利用という 3 つのコア最適化を導入した公平性を意識した LLM サービング システムである FastSwitch を開発しました。機構。これらのイノベーションが相乗して I/O 使用率を向上させ、GPU のアイドル状態を減らし、冗長なデータ転送を最小限に抑えます。システムの設計は vLLM に基づいて構築されていますが、リソース管理を強化するための粗粒度のメモリ割り当てと非同期操作に焦点を当てています。

FastSwitch’s dynamic block group manager optimizes memory allocation by grouping contiguous blocks, increasing transfer granularity. This approach reduces latency by up to 3.11x compared to existing methods. The multithreading swap manager enhances token generation efficiency by enabling asynchronous swapping, mitigating GPU idle time. It incorporates fine-grained synchronization to avoid conflicts between ongoing and new requests, ensuring seamless operation during overlapping processes. Meanwhile, the KV cache reuse mechanism preserves partially valid data in CPU memory, reducing preemption latency by avoiding redundant KV cache transfers. These components collectively address key challenges and improve the overall performance of LLM serving systems.

FastSwitch のダイナミック ブロック グループ マネージャーは、連続したブロックをグループ化することでメモリ割り当てを最適化し、転送の粒度を高めます。このアプローチにより、既存の方法と比較してレイテンシーが最大 3.11 倍削減されます。マルチスレッド スワップ マネージャーは、非同期スワップを有効にして GPU のアイドル時間を軽減することで、トークン生成の効率を高めます。進行中のリクエストと新しいリクエストの間の競合を回避するためのきめ細かい同期が組み込まれており、重複するプロセスでもシームレスな操作が保証されます。一方、KV キャッシュ再利用メカニズムは部分的に有効なデータを CPU メモリに保存し、冗長な KV キャッシュ転送を回避することでプリエンプション レイテンシを短縮します。これらのコンポーネントは集合的に重要な課題に対処し、LLM サービス提供システムの全体的なパフォーマンスを向上させます。

The researchers evaluated FastSwitch using the LLaMA-8B and Qwen-32B models on GPUs such as NVIDIA A10 and A100. Testing scenarios included high-frequency priority updates and multi-turn conversations derived from the ShareGPT dataset, which averages 5.5 turns per conversation. FastSwitch outperformed vLLM across various metrics. It achieved speedups of 4.3-5.8x in P95 TTFT and 3.6-11.2x in P99.9 TBT for different models and workloads. Furthermore, FastSwitch improved throughput by up to 1.44x, demonstrating its ability to handle complex workloads efficiently. The system also substantially reduced context-switching overhead, improving I/O utilization by 1.3x and GPU by 1.42x compared to vLLM.

研究者らは、NVIDIA A10 や A100 などの GPU 上の LLaMA-8B モデルと Qwen-32B モデルを使用して FastSwitch を評価しました。テスト シナリオには、高頻度の優先更新と、ShareGPT データセットから派生したマルチターン会話 (会話ごとに平均 5.5 ターン) が含まれていました。 FastSwitch は、さまざまな指標において vLLM を上回りました。さまざまなモデルやワークロードで、P95 TTFT では 4.3 ～ 5.8 倍、P99.9 TBT では 3.6 ～ 11.2 倍の高速化を達成しました。さらに、FastSwitch によりスループットが最大 1.44 倍向上し、複雑なワークロードを効率的に処理できることが実証されました。また、このシステムはコンテキスト切り替えのオーバーヘッドも大幅に削減し、vLLM と比較して I/O 使用率が 1.3 倍、GPU が 1.42 倍向上しました。

FastSwitch’s optimizations resulted in tangible benefits. For example, its KV cache reuse mechanism reduced swap-out blocks by 53%, significantly lowering latency. The multithreading swap manager enhanced token generation efficiency, achieving a 21.8% improvement at P99 latency compared to baseline systems. The dynamic block group manager maintained granularity by allocating memory in larger chunks, balancing efficiency and utilization. These advancements highlight FastSwitch’s capacity to maintain fairness and efficiency in high-demand environments.

FastSwitch の最適化により、目に見えるメリットがもたらされました。たとえば、KV キャッシュの再利用メカニズムにより、スワップアウト ブロックが 53% 削減され、レイテンシが大幅に短縮されました。マルチスレッド スワップ マネージャーによりトークン生成効率が向上し、ベースライン システムと比較して P99 レイテンシで 21.8% の改善を達成しました。ダイナミック ブロック グループ マネージャーは、メモリをより大きなチャンクに割り当て、効率と使用率のバランスをとることで粒度を維持しました。これらの進歩は、高要求の環境で公平性と効率を維持する FastSwitch の能力を強調します。

The research team’s key takeaways include the following:

研究チームの重要なポイントは次のとおりです。

In conclusion, FastSwitch addresses fundamental inefficiencies in LLM serving by introducing innovative optimizations that balance fairness and efficiency. Reducing context-switching overheads and enhancing resource utilization ensure scalable, high-quality service delivery for multi-user environments. These advancements make it a transformative solution for modern LLM deployments.

結論として、FastSwitch は、公平性と効率のバランスをとる革新的な最適化を導入することで、LLM サービスの根本的な非効率性に対処します。コンテキスト切り替えのオーバーヘッドを削減し、リソース使用率を向上させることで、マルチユーザー環境でのスケーラブルで高品質なサービスの提供が保証されます。これらの進歩により、これは最新の LLM 導入にとって革新的なソリューションとなります。