Marktkapitalisierung: $2.184T 0.31%
Volumen (24h): $69.2158B -38.77%
  • Marktkapitalisierung: $2.184T 0.31%
  • Volumen (24h): $69.2158B -38.77%
  • Angst- und Gier-Index:
  • Marktkapitalisierung: $2.184T 0.31%
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
Top -Nachrichten
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
bitcoin
bitcoin

$64909.368160 USD

1.63%

ethereum
ethereum

$1819.307106 USD

2.42%

tether
tether

$0.999085 USD

-0.03%

bnb
bnb

$592.601020 USD

1.07%

usd-coin
usd-coin

$0.999847 USD

0.01%

xrp
xrp

$0.957814 USD

1.10%

solana
solana

$71.187802 USD

2.01%

tron
tron

$0.302772 USD

-1.15%

hyperliquid
hyperliquid

$66.461246 USD

2.40%

zcash
zcash

$896.786756 USD

0.40%

dogecoin
dogecoin

$0.058826 USD

2.33%

monero
monero

$488.910717 USD

0.57%

unus-sed-leo
unus-sed-leo

$9.176888 USD

0.60%

chainlink
chainlink

$9.149774 USD

1.32%

cardano
cardano

$0.153392 USD

2.45%

Nachrichtenartikel zu Kryptowährungen

Diese Diffusionsmodelle halten die Leistung schneller als oder vergleichbar mit konventionellen Modellen in ähnlicher Größe

Feb 28, 2025 at 05:14 am

Die Forscher von LLADA berichten, dass ihr 8 -Milliarden -Parametermodell ähnlich wie LLAMA3 8B über verschiedene Benchmarks hinweg abschneidet

Diese Diffusionsmodelle halten die Leistung schneller als oder vergleichbar mit konventionellen Modellen in ähnlicher Größe

Large language models (LLMs) are typically bottlenecked by speed, especially when compared to smaller models. However, new diffusion-based models have reportedly achieved performance faster than or comparable to similarly sized conventional models while also being significantly faster.

Große Sprachmodelle (LLMs) werden in der Regel mit Geschwindigkeit Engpässen, insbesondere im Vergleich zu kleineren Modellen. Neue diffusionsbasierte Modelle haben jedoch Berichten zufolge schneller als oder vergleichbar mit konventionellen Modellen in ähnlicher Größe erzielt und gleichzeitig signifikant schneller.

LLaDA, a 7-billion parameter language model from researchers at the University of Science and Technology of China, performs similarly to LLaMA3 8B across various benchmarks.

LLADA, ein 7-Milliarden Parametersprachenmodell von Forschern der Universität für Wissenschaft und Technologie Chinas, spielt ähnlich wie LLAMA3 8B über verschiedene Benchmarks.

According to Inception, an AI startup focused on efficient deep learning, LLaDA achieves competitive results on tasks like MMLU, ARC, and GSM8K.

Laut Inception erzielt LLADA ein KI -Startup, das sich auf effizientes Deep Learning konzentriert, Wettbewerbsergebnisse bei Aufgaben wie MMLU, ARC und GSM8K.

But when comparing the speed of an 8-billion parameter LLaDA model to an 8-billion parameter LLaMA3 model, LLaDA generates 1,024 tokens per second on an Nvidia H100, whereas LLaMA3 generates about 60 tokens per second. This difference in throughput is roughly 17x.

Beim Vergleich der Geschwindigkeit eines 8-Milliarden-Parameter-LLADA-Modells mit einem 8-Milliarden-Parameter-LLAMA3-Modell erzeugt LLADA jedoch 1.024 Token pro Sekunde auf einem NVIDIA H100, während LLAMA3 etwa 60 Token pro Sekunde erzeugt. Dieser Unterschied im Durchsatz beträgt ungefähr 17x.

LLaDA's researchers claim this level of performance is possible with models as small as 3 billion parameters.

Die Forscher von LLADA behaupten, dass diese Leistungsniveau mit Modellen von nur 3 Milliarden Parametern möglich sei.

Compared to GPT-4o Mini, which operates at 59 tokens per second, Mercury Coder Mini scores 88.0 percent on HumanEval and 77.1 percent on MBPP—comparable to GPT-4o Mini—while reportedly operating at 1,109 tokens per second. This represents an 18x speed advantage over GPT-4o Mini.

Im Vergleich zu GPT-4O-Mini, der bei 59 Token pro Sekunde arbeitet, bewertet Mercury Coder Mini 88,0 Prozent auf Humaneval und 77,1 Prozent für MBPP-kompetent für GPT-4O-Mini-Berichten zufolge bei 1.109 Token pro Sekunde operiert. Dies ist ein 18-facher Geschwindigkeitsvorteil gegenüber GPT-4O-Mini.

Mercury's documentation states its models run "at over 1,000 tokens/sec on Nvidia H100s, a speed previously possible only using custom chips" from specialized hardware providers like Groq, Cerebras, and SambaNova. When compared to other speed-optimized models, the claimed advantage remains significant—Mercury Coder Mini is reportedly about 5.5x faster than Gemini 2.0 Flash-Lite (201 tokens/second) and 18x faster than Claude 3.5 Haiku (61 tokens/second).

Die Dokumentation von Mercury besagt, dass seine Modelle "über 1.000 Token/Sekunden auf NVIDIA H100S ausgeführt werden, eine Geschwindigkeit, die bisher nur benutzerdefinierte Chips verwendet wird" von spezialisierten Hardware -Anbietern wie GROQ, Cerebras und Sambanova. Im Vergleich zu anderen spezoptimierten Modellen bleibt der behauptete Vorteil signifikant-Berichten zufolge ist Mercury Codierer Mini etwa 5,5-fach schneller als Gemini 2.0 Flash-Lite (201-Token/Sekunde) und 18x schneller als Claude 3.5 Haiku (61 Token/Second).

According to Inception, Mercury Coder Mini also outperforms smaller models from GPT-3.5 series and PaLM 2 series at comparable speed.

Laut Inception übertrifft Mercury Codierer Mini auch kleinere Modelle aus der Serie GPT-3,5-Serie und der Palm 2-Serie mit vergleichbarer Geschwindigkeit.

At 1,024 tokens per second, LLaDA is faster than smaller models from GPT-3.5 series and PaLM 2 series at comparable speed. At 201 tokens per second, Gemini 2.0 Flash-Lite has better performance at HumanEval and worse performance at MBPP than Mercury Coder Mini. At 61 tokens per second, Claude 3.5 Haiku has better performance at both HumanEval and MBPP than Mercury Coder Mini.

Bei 1.024 Token pro Sekunde ist die LLADA schneller als kleinere Modelle aus der Serie GPT-3,5 und Palm 2 Series mit vergleichbarer Geschwindigkeit. Bei 201 Token pro Sekunde hat Gemini 2.0 Flash-Lite eine bessere Leistung bei Humaneval und schlechtere Leistung bei MBPP als Mercury Coder Mini. Bei 61 Token pro Sekunde hat Claude 3,5 Haiku sowohl bei Humaneval als auch bei MBPP eine bessere Leistung als Mercury Coder Mini.

Opening a potential new frontier in LLMs

Öffnen einer potenziellen neuen Grenze in LLMs

Diffusion models do involve some trade-offs. They typically need multiple forward passes through the network to generate a complete response, unlike traditional models that need just one pass per token. However, because diffusion models process all tokens in parallel, they achieve higher throughput despite this overhead.

Diffusionsmodelle beinhalten einige Kompromisse. In der Regel benötigen sie mehrere Stürmerung durch das Netzwerk, um eine vollständige Antwort zu generieren, im Gegensatz zu herkömmlichen Modellen, die nur einen Pass pro Token benötigen. Da Diffusionsmodelle jedoch alle Token parallel verarbeiten, erreichen sie trotz dieses Overheads einen höheren Durchsatz.

Inception thinks the speed advantages could impact code completion tools where instant response may affect developer productivity, conversational AI applications, resource-limited environments like mobile applications, and AI agents that need to respond quickly.

Inception ist der Ansicht, dass die Geschwindigkeitsvorteile sich auf Tools für die Abschluss von Code auswirken könnten, bei denen die sofortige Reaktion die Produktivität der Entwickler, Konversations-KI-Anwendungen, ressourcenbegrenzte Umgebungen wie mobile Anwendungen und KI-Agenten, die schnell reagieren müssen, beeinflussen könnten.

If diffusion-based language models maintain quality while improving speed, they might change how AI text generation develops. So far, AI researchers have been open to new approaches.

Wenn diffusionsbasierte Sprachmodelle die Qualität aufrechterhalten und gleichzeitig die Geschwindigkeit verbessern, können sie die Entwicklung der KI-Textgenerierung ändern. Bisher waren AI -Forscher offen für neue Ansätze.

Independent AI researcher Simon Willison told Ars Technica, "I love that people are experimenting with alternative architectures to transformers, it's yet another illustration of how much of the space of LLMs we haven't even started to explore yet."

Der unabhängige KI -Forscher Simon Willison sagte gegenüber ARS Technica: "Ich finde es toll, dass Menschen mit alternativen Architekturen für Transformatoren experimentieren.

On X, former OpenAI researcher Andrej Karpathy wrote about Inception, "This model has the potential to be different, and possibly showcase new, unique psychology, or new strengths and weaknesses. I encourage people to try it out!"

Auf X schrieb der ehemalige OpenAI -Forscher Andrej Karpathy über Inception: "Dieses Modell hat das Potenzial, anders zu sein und möglicherweise neue, einzigartige Psychologie oder neue Stärken und Schwächen zu präsentieren. Ich ermutige die Menschen, es auszuprobieren!"

Questions remain about whether larger diffusion models can match the performance of models like GPT-4o and Claude 3.7 Sonnet, and if the approach can handle increasingly complex simulated reasoning tasks. For now, these models offer an alternative for smaller AI language models that doesn't seem to sacrifice capability for speed.

Es bleiben Fragen darüber, ob größere Diffusionsmodelle mit der Leistung von Modellen wie GPT-4O und Claude 3.7-Sonett übereinstimmen können und ob der Ansatz zunehmend komplexe simulierte Argumentationsaufgaben erledigen kann. Im Moment bieten diese Modelle eine Alternative für kleinere KI -Sprachmodelle, die nicht die Fähigkeit für Geschwindigkeit zu opfern scheint.

You can try Mercury Coder yourself on Inception's demo site, and you can download code for LLaDA or try a demo on Hugging Face.

Sie können Mercury Codierer selbst auf der Demo -Website von Inception ausprobieren und Code für LLADA herunterladen oder eine Demo auf dem Umarmungsgesicht ausprobieren.

Originalquelle:arstechnica

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Artikel veröffentlicht am Nov 16, 2026