NVIDIA는 Apple이 더 빠르고 더 나은 AI 경험을 구축하도록 돕고 있습니다.

BGR 링크를 통해 구매하시면 제휴 커미션을 받아 전문 제품 연구소를 지원하는 데 도움이 될 수 있습니다. Apple과 NVIDIA가 협력 세부정보를 공유했습니다.

Tech giants Apple and NVIDIA have joined forces to enhance the performance of Large Language Models (LLMs) by introducing a new text generation technique for AI.

거대 기술 기업 Apple과 NVIDIA가 AI를 위한 새로운 텍스트 생성 기술을 도입하여 LLM(대형 언어 모델)의 성능을 향상시키기 위해 힘을 합쳤습니다.

According to Apple, accelerating LLM inference is a crucial ML research problem. This is because auto-regressive token generation is computationally expensive and relatively slow. As a result, improving inference efficiency can reduce latency for users.

Apple에 따르면 LLM 추론을 가속화하는 것은 ML 연구에서 중요한 문제입니다. 이는 자동 회귀 토큰 생성이 계산 비용이 많이 들고 상대적으로 느리기 때문입니다. 결과적으로 추론 효율성을 개선하면 사용자의 대기 시간을 줄일 수 있습니다.

In addition to ongoing efforts to accelerate inference on Apple silicon, the company has recently made significant progress in accelerating LLM inference for the NVIDIA GPUs widely used for production applications across the industry, the company writes in a research paper.

Apple 실리콘에 대한 추론을 가속화하기 위한 지속적인 노력 외에도, 회사는 최근 업계 전반의 생산 애플리케이션에 널리 사용되는 NVIDIA GPU에 대한 LLM 추론을 가속화하는 데 상당한 진전을 이루었다고 연구 논문에 썼습니다.

Earlier this year, Apple published and open-sourced Recurrent Drafter (ReDrafter), which is a novel approach to speculative decoding that “achieves state of the art performance.”

올해 초 Apple은 "최첨단 성능을 달성"하는 추측 디코딩에 대한 새로운 접근 방식인 ReDrafter(Recurrent Drafter)를 출시하고 오픈 소스로 공개했습니다.

According to the company, ReDrafter uses an RNN draft model, and combines beam search with dynamic tree attention to speed up LLM token generation by up to 3.5 tokens per generation step for open source models, surpassing the performance of prior speculative decoding techniques.

회사에 따르면 ReDrafter는 RNN 초안 모델을 사용하고 빔 검색과 동적 트리 주의를 결합하여 오픈 소스 모델에 대해 생성 단계당 최대 3.5개의 토큰까지 LLM 토큰 생성 속도를 높여 이전 추측 디코딩 기술의 성능을 능가합니다.

“In benchmarking a tens-of-billions parameter production model on NVIDIA GPUs, using the NVIDIA TensorRT-LLM inference acceleration framework with ReDrafter, we have seen 2.7x speed-up in generated tokens per second for greedy decoding,” Apple papers show.

Apple 논문에서는 “ReDrafter와 함께 NVIDIA TensorRT-LLM 추론 가속 프레임워크를 사용하여 NVIDIA GPU에서 수백억 개의 매개변수 생성 모델을 벤치마킹하면서 그리디 디코딩을 위해 생성된 토큰 속도가 2.7배 향상되는 것을 확인했습니다.”라고 밝혔습니다.

With that, this technology could signifanctly reduce latency users may experience, while also using fewer GPUs and consuming less power.

이를 통해 이 기술은 사용자가 경험할 수 있는 대기 시간을 크게 줄이는 동시에 더 적은 수의 GPU를 사용하고 더 적은 전력을 소비할 수 있습니다.