|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Llada의 연구원들은 80 억 개의 매개 변수 모델이 다양한 벤치 마크에서 LLAMA3 8B와 유사하게 수행한다고보고합니다.

Large language models (LLMs) are typically bottlenecked by speed, especially when compared to smaller models. However, new diffusion-based models have reportedly achieved performance faster than or comparable to similarly sized conventional models while also being significantly faster.
대형 언어 모델 (LLM)은 일반적으로 특히 소규모 모델과 비교할 때 속도로 병목 현상을 일으킨다. 그러나 새로운 확산 기반 모델은 유사한 크기의 기존 모델보다 더 빠르거나 비교할 수있는 성능을 달성했으며 상당히 빠른 성능을 달성 한 것으로 알려졌다.
LLaDA, a 7-billion parameter language model from researchers at the University of Science and Technology of China, performs similarly to LLaMA3 8B across various benchmarks.
중국 과학 기술 대학 (University of Science and Technology of China and Technology)의 7 억 파라미터 언어 모델 인 Llada는 다양한 벤치 마크에서 LLAMA3 8B와 유사하게 수행합니다.
According to Inception, an AI startup focused on efficient deep learning, LLaDA achieves competitive results on tasks like MMLU, ARC, and GSM8K.
Inception에 따르면 AI 스타트 업은 효율적인 딥 러닝에 중점을 둔 LLADA는 MMLU, ARC 및 GSM8K와 같은 작업에 대한 경쟁력있는 결과를 달성합니다.
But when comparing the speed of an 8-billion parameter LLaDA model to an 8-billion parameter LLaMA3 model, LLaDA generates 1,024 tokens per second on an Nvidia H100, whereas LLaMA3 generates about 60 tokens per second. This difference in throughput is roughly 17x.
그러나 8 억 파라미터 LLADA 모델의 속도를 8 억 파라미터 LLAMA3 모델과 비교할 때 LLADA는 NVIDIA H100에서 초당 1,024 개의 토큰을 생성하는 반면 LLAMA3은 초당 약 60 개의 토큰을 생성합니다. 처리량의 차이는 대략 17 배입니다.
LLaDA's researchers claim this level of performance is possible with models as small as 3 billion parameters.
Llada의 연구원들은이 수준의 성능이 30 억 개의 매개 변수의 작은 모델에서는 가능하다고 주장합니다.
Compared to GPT-4o Mini, which operates at 59 tokens per second, Mercury Coder Mini scores 88.0 percent on HumanEval and 77.1 percent on MBPP—comparable to GPT-4o Mini—while reportedly operating at 1,109 tokens per second. This represents an 18x speed advantage over GPT-4o Mini.
초당 59 개의 토큰으로 작동하는 GPT-4O MINI와 비교하여 Mercury Coder Mini는 Humaneval에서 88.0 %, MBPP에서 77.1 %를 기록하며 GPT-4O MINI와 비교할 수있는 것으로 알려져 있으며, 이는 초당 1,109 개의 토큰으로 작동하는 것으로 알려졌다. 이것은 GPT-4O 미니보다 18 배 속도 이점을 나타냅니다.
Mercury's documentation states its models run "at over 1,000 tokens/sec on Nvidia H100s, a speed previously possible only using custom chips" from specialized hardware providers like Groq, Cerebras, and SambaNova. When compared to other speed-optimized models, the claimed advantage remains significant—Mercury Coder Mini is reportedly about 5.5x faster than Gemini 2.0 Flash-Lite (201 tokens/second) and 18x faster than Claude 3.5 Haiku (61 tokens/second).
Mercury의 문서에 따르면 NVIDIA H100의 1,000 개가 넘는 토큰/SEC에서 모델이 실행되며 Groq, Cerebras 및 Sambanova와 같은 전문 하드웨어 제공 업체의 이전에는 이전에 가능한 속도 "입니다. 다른 속도에서 최적화 된 모델과 비교할 때, 청구 된 이점은 여전히 중요합니다. 임업 코드 미니는 Gemini 2.0 플래시 라이트 (201 토큰/초)보다 약 5.5 배, Claude 3.5 Haiku (61 토큰/초)보다 18 배 빠릅니다.
According to Inception, Mercury Coder Mini also outperforms smaller models from GPT-3.5 series and PaLM 2 series at comparable speed.
Inception에 따르면, Mercury Coder Mini는 GPT-3.5 시리즈와 Palm 2 시리즈의 소규모 모델을 비슷한 속도로 능가합니다.
At 1,024 tokens per second, LLaDA is faster than smaller models from GPT-3.5 series and PaLM 2 series at comparable speed. At 201 tokens per second, Gemini 2.0 Flash-Lite has better performance at HumanEval and worse performance at MBPP than Mercury Coder Mini. At 61 tokens per second, Claude 3.5 Haiku has better performance at both HumanEval and MBPP than Mercury Coder Mini.
초당 1,024 개의 토큰으로 LLADA는 GPT-3.5 시리즈의 소규모 모델보다 빠르며 Palm 2 시리즈는 비슷한 속도입니다. 초당 2010 년 토큰으로 Gemini 2.0 Flash-Lite는 Mercury Coder Mini보다 MBPP에서 Humaneval에서 성능이 향상되고 성능이 나빠집니다. 초당 61 개의 토큰으로 Claude 3.5 Haiku는 Mercury Coder Mini보다 Humaneval 및 MBPP에서 더 나은 성능을 제공합니다.
Opening a potential new frontier in LLMs
LLM에서 잠재적 인 새로운 국경을 여는 것
Diffusion models do involve some trade-offs. They typically need multiple forward passes through the network to generate a complete response, unlike traditional models that need just one pass per token. However, because diffusion models process all tokens in parallel, they achieve higher throughput despite this overhead.
확산 모델에는 일부 트레이드 오프가 포함됩니다. 그들은 일반적으로 토큰 당 하나의 패스 만 필요한 기존 모델과 달리 완전한 응답을 생성하기 위해 네트워크를 통해 여러 개의 전진 패스가 필요합니다. 그러나 확산 모델은 모든 토큰을 동시에 처리하기 때문에 이러한 오버 헤드에도 불구하고 더 높은 처리량을 달성합니다.
Inception thinks the speed advantages could impact code completion tools where instant response may affect developer productivity, conversational AI applications, resource-limited environments like mobile applications, and AI agents that need to respond quickly.
Inception은 속도 이점이 즉각적인 응답이 개발자 생산성, 대화식 AI 응용 프로그램, 모바일 애플리케이션과 같은 리소스 제한 환경 및 신속하게 응답 해야하는 AI 에이전트에 영향을 줄 수있는 코드 완성 도구에 영향을 줄 수 있다고 생각합니다.
If diffusion-based language models maintain quality while improving speed, they might change how AI text generation develops. So far, AI researchers have been open to new approaches.
확산 기반 언어 모델이 속도를 향상시키면서 품질을 유지하면 AI 텍스트 생성이 발생하는 방식이 변경 될 수 있습니다. 지금까지 AI 연구원들은 새로운 접근법에 개방되어 있습니다.
Independent AI researcher Simon Willison told Ars Technica, "I love that people are experimenting with alternative architectures to transformers, it's yet another illustration of how much of the space of LLMs we haven't even started to explore yet."
독립 AI 연구원 Simon Willison은 Ars Technica에게 "사람들이 변압기에 대한 대체 아키텍처를 실험하고 있다는 것을 좋아합니다. 우리가 아직 탐색하기 시작한 LLM의 공간의 또 다른 그림입니다."
On X, former OpenAI researcher Andrej Karpathy wrote about Inception, "This model has the potential to be different, and possibly showcase new, unique psychology, or new strengths and weaknesses. I encourage people to try it out!"
X에서 전 Openai 연구원 인 Andrej Karpathy는 Inception에 대해 다음과 같이 썼습니다. "이 모델은 다르게 가능하며 새롭고 독특한 심리학 또는 새로운 강점과 약점을 보여줄 가능성이 있습니다. 사람들이 시도해 보도록 권장합니다!"
Questions remain about whether larger diffusion models can match the performance of models like GPT-4o and Claude 3.7 Sonnet, and if the approach can handle increasingly complex simulated reasoning tasks. For now, these models offer an alternative for smaller AI language models that doesn't seem to sacrifice capability for speed.
더 큰 확산 모델이 GPT-4O 및 Claude 3.7 Sonnet과 같은 모델의 성능과 일치 할 수 있는지에 대한 의문과 접근 방식이 점점 더 복잡한 시뮬레이션 추론 작업을 처리 할 수 있는지에 대한 의문이 남아 있습니다. 현재이 모델은 속도를위한 기능을 희생하지 않는 작은 AI 언어 모델에 대한 대안을 제공합니다.
You can try Mercury Coder yourself on Inception's demo site, and you can download code for LLaDA or try a demo on Hugging Face.
Inception의 데모 사이트에서 Mercury Coder를 직접 사용해 볼 수 있으며 Llada 용 코드를 다운로드하거나 포옹 페이스에 대한 데모를 시도 할 수 있습니다.
부인 성명:info@kdj.com
제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!
본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

































