FastSwitch: 컨텍스트 전환의 비효율성을 해결하는 공정성 인식 LLM 서비스 시스템

LLM(대형 언어 모델)은 AI 애플리케이션을 변화시켜 언어 번역, 가상 도우미, 코드 생성과 같은 작업을 지원합니다.

Large language models (LLMs) have revolutionized AI applications, powering diverse tasks such as language translation, virtual assistants, and code generation. These models are deployed on resource-intensive infrastructure, typically comprising GPUs with high-bandwidth memory, to handle their immense computational demands. However, delivering high-quality service to numerous users concurrently poses significant challenges. Efficiently allocating these limited resources is critical to meeting service level objectives (SLOs) for time-sensitive metrics, ensuring the system can cater to more users without compromising performance.

LLM(대형 언어 모델)은 AI 애플리케이션에 혁명을 일으켜 언어 번역, 가상 도우미, 코드 생성과 같은 다양한 작업을 지원합니다. 이러한 모델은 막대한 계산 요구 사항을 처리하기 위해 일반적으로 고대역폭 메모리를 갖춘 GPU로 구성된 리소스 집약적 인프라에 배포됩니다. 그러나 동시에 수많은 사용자에게 고품질 서비스를 제공하는 것은 심각한 과제를 안겨줍니다. 이러한 제한된 리소스를 효율적으로 할당하는 것은 시간에 민감한 지표에 대한 서비스 수준 목표(SLO)를 충족하는 데 중요하며, 시스템이 성능 저하 없이 더 많은 사용자를 수용할 수 있도록 보장합니다.

A persistent issue in LLM serving systems is achieving fair resource distribution while maintaining efficiency. Existing systems often prioritize throughput, neglecting fairness requirements such as balancing latency among users. Preemptive scheduling mechanisms, which dynamically adjust request priorities, address this. However, these mechanisms introduce context-switching overheads, such as GPU idleness and inefficient I/O utilization, which degrade key performance indicators like Time to First Token (TTFT) and Time Between Tokens (TBT). For instance, the stall time caused by preemption in high-stress scenarios can reach up to 59.9% of P99 latency, leading to a significant decline in user experience.

LLM 서비스 시스템의 지속적인 문제는 효율성을 유지하면서 공정한 리소스 분배를 달성하는 것입니다. 기존 시스템은 처리량에 우선순위를 두는 경우가 많으며 사용자 간의 대기 시간 균형 조정과 같은 공정성 요구 사항을 무시합니다. 요청 우선순위를 동적으로 조정하는 선제적 스케줄링 메커니즘이 이 문제를 해결합니다. 그러나 이러한 메커니즘은 GPU 유휴 상태 및 비효율적인 I/O 활용률과 같은 컨텍스트 전환 오버헤드를 도입하여 TTFT(Time to First Token) 및 TBT(Time Between Tokens)와 같은 핵심 성능 지표를 저하시킵니다. 예를 들어, 스트레스가 높은 시나리오에서 선점으로 인한 지연 시간은 P99 대기 시간의 최대 59.9%에 도달할 수 있어 사용자 경험이 크게 저하될 수 있습니다.

Current solutions, such as vLLM, rely on paging-based memory management to address GPU memory constraints by swapping data between GPU and CPU memory. While these approaches improve throughput, they face limitations. Issues such as fragmented memory allocation, low I/O bandwidth utilization, and redundant data transfers during multi-turn conversations persist, undermining their effectiveness. For example, vLLM’s fixed block size of 16 tokens results in suboptimal granularity, which reduces PCIe bandwidth efficiency and increases latency during preemptive context switching.

vLLM과 같은 현재 솔루션은 페이징 기반 메모리 관리를 사용하여 GPU와 CPU 메모리 간에 데이터를 교환함으로써 GPU 메모리 제약 조건을 해결합니다. 이러한 접근 방식은 처리량을 향상시키지만 한계에 직면합니다. 조각난 메모리 할당, 낮은 I/O 대역폭 활용도, 다중 턴 대화 중 중복 데이터 전송과 같은 문제가 지속되어 효율성이 저하됩니다. 예를 들어, vLLM의 고정 블록 크기인 16개 토큰은 차선의 세분성을 초래하여 PCIe 대역폭 효율성을 감소시키고 선점형 컨텍스트 전환 중 대기 시간을 증가시킵니다.

To address these inefficiencies, researchers from Purdue University, Shanghai Qi Zhi Institute, and Tsinghua University developed FastSwitch, a fairness-aware LLM serving system that introduces three core optimizations: a dynamic block group manager, a multithreading swap manager, and a KV cache reuse mechanism. These innovations synergize to improve I/O utilization, reduce GPU idleness, and minimize redundant data transfers. The system’s design builds on vLLM but focuses on coarse-grained memory allocation and asynchronous operations to enhance resource management.

이러한 비효율성을 해결하기 위해 Purdue University, Shanghai Qi Zhi Institute 및 Tsinghua University의 연구원은 동적 블록 그룹 관리자, 멀티스레딩 스왑 관리자 및 KV 캐시 재사용이라는 세 가지 핵심 최적화를 도입하는 공정성을 인식하는 LLM 제공 시스템인 FastSwitch를 개발했습니다. 기구. 이러한 혁신은 시너지 효과를 발휘하여 I/O 활용률을 향상시키고 GPU 유휴 상태를 줄이며 중복 데이터 전송을 최소화합니다. 시스템 설계는 vLLM을 기반으로 하지만 리소스 관리를 향상시키기 위해 대략적인 메모리 할당 및 비동기 작업에 중점을 둡니다.

FastSwitch’s dynamic block group manager optimizes memory allocation by grouping contiguous blocks, increasing transfer granularity. This approach reduces latency by up to 3.11x compared to existing methods. The multithreading swap manager enhances token generation efficiency by enabling asynchronous swapping, mitigating GPU idle time. It incorporates fine-grained synchronization to avoid conflicts between ongoing and new requests, ensuring seamless operation during overlapping processes. Meanwhile, the KV cache reuse mechanism preserves partially valid data in CPU memory, reducing preemption latency by avoiding redundant KV cache transfers. These components collectively address key challenges and improve the overall performance of LLM serving systems.

FastSwitch의 동적 블록 그룹 관리자는 연속 블록을 그룹화하여 메모리 할당을 최적화하고 전송 세분성을 높입니다. 이 접근 방식은 기존 방법에 비해 대기 시간을 최대 3.11배까지 줄입니다. 멀티스레딩 스왑 관리자는 비동기 스왑을 활성화하고 GPU 유휴 시간을 완화하여 토큰 생성 효율성을 향상시킵니다. 진행 중인 요청과 새로운 요청 간의 충돌을 방지하기 위해 세분화된 동기화를 통합하여 프로세스가 겹치는 동안 원활한 작동을 보장합니다. 한편, KV 캐시 재사용 메커니즘은 CPU 메모리에서 부분적으로 유효한 데이터를 보존하여 중복 KV 캐시 전송을 방지하여 선점 대기 시간을 줄입니다. 이러한 구성 요소는 주요 과제를 종합적으로 해결하고 LLM 서비스 시스템의 전반적인 성능을 향상시킵니다.

The researchers evaluated FastSwitch using the LLaMA-8B and Qwen-32B models on GPUs such as NVIDIA A10 and A100. Testing scenarios included high-frequency priority updates and multi-turn conversations derived from the ShareGPT dataset, which averages 5.5 turns per conversation. FastSwitch outperformed vLLM across various metrics. It achieved speedups of 4.3-5.8x in P95 TTFT and 3.6-11.2x in P99.9 TBT for different models and workloads. Furthermore, FastSwitch improved throughput by up to 1.44x, demonstrating its ability to handle complex workloads efficiently. The system also substantially reduced context-switching overhead, improving I/O utilization by 1.3x and GPU by 1.42x compared to vLLM.

연구원들은 NVIDIA A10 및 A100과 같은 GPU에서 LLaMA-8B 및 Qwen-32B 모델을 사용하여 FastSwitch를 평가했습니다. 테스트 시나리오에는 ShareGPT 데이터세트에서 파생된 고주파 우선순위 업데이트와 다중 턴 대화가 포함되었으며, 이는 대화당 평균 5.5턴입니다. FastSwitch는 다양한 지표에서 vLLM보다 성능이 뛰어났습니다. 다양한 모델과 워크로드에 대해 P95 TTFT에서 4.3~5.8배, P99.9 TBT에서 3.6~11.2배의 속도 향상을 달성했습니다. 또한 FastSwitch는 처리량을 최대 1.44배까지 향상시켜 복잡한 워크로드를 효율적으로 처리하는 능력을 입증했습니다. 또한 이 시스템은 컨텍스트 전환 오버헤드를 크게 줄여 vLLM에 비해 I/O 활용도를 1.3배, GPU를 1.42배 향상시켰습니다.

FastSwitch’s optimizations resulted in tangible benefits. For example, its KV cache reuse mechanism reduced swap-out blocks by 53%, significantly lowering latency. The multithreading swap manager enhanced token generation efficiency, achieving a 21.8% improvement at P99 latency compared to baseline systems. The dynamic block group manager maintained granularity by allocating memory in larger chunks, balancing efficiency and utilization. These advancements highlight FastSwitch’s capacity to maintain fairness and efficiency in high-demand environments.

FastSwitch의 최적화는 실질적인 이점을 가져왔습니다. 예를 들어, KV 캐시 재사용 메커니즘은 스왑 아웃 블록을 53% 줄여 대기 시간을 크게 줄였습니다. 멀티스레딩 스왑 관리자는 토큰 생성 효율성을 향상시켜 기본 시스템에 비해 P99 대기 시간을 21.8% 향상시켰습니다. 동적 블록 그룹 관리자는 메모리를 더 큰 청크로 할당하고 효율성과 활용도의 균형을 유지함으로써 세분성을 유지했습니다. 이러한 발전은 수요가 많은 환경에서 공정성과 효율성을 유지하는 FastSwitch의 역량을 강조합니다.

The research team’s key takeaways include the following:

연구팀의 주요 시사점은 다음과 같습니다.

In conclusion, FastSwitch addresses fundamental inefficiencies in LLM serving by introducing innovative optimizations that balance fairness and efficiency. Reducing context-switching overheads and enhancing resource utilization ensure scalable, high-quality service delivery for multi-user environments. These advancements make it a transformative solution for modern LLM deployments.

결론적으로 FastSwitch는 공정성과 효율성의 균형을 맞추는 혁신적인 최적화를 도입하여 LLM 서비스의 근본적인 비효율성을 해결합니다. 컨텍스트 전환 오버헤드를 줄이고 리소스 활용도를 향상하면 다중 사용자 환경에 확장 가능한 고품질 서비스 제공이 보장됩니다. 이러한 발전으로 인해 최신 LLM 배포를 위한 혁신적인 솔루션이 되었습니다.