Marktkapitalisierung: $2.1676T -1.22%
Volumen (24h): $71.3695B -5.15%
  • Marktkapitalisierung: $2.1676T -1.22%
  • Volumen (24h): $71.3695B -5.15%
  • Angst- und Gier-Index:
  • Marktkapitalisierung: $2.1676T -1.22%
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
Top -Nachrichten
Kryptos
Themen
Cryptospedia
Nachricht
Cryptostopics
Videos
bitcoin
bitcoin

$63578.198348 USD

-1.51%

ethereum
ethereum

$1801.071814 USD

-0.48%

tether
tether

$0.998867 USD

0.00%

bnb
bnb

$588.513625 USD

-0.59%

usd-coin
usd-coin

$0.999795 USD

0.00%

xrp
xrp

$0.978870 USD

-1.46%

solana
solana

$74.684351 USD

-0.23%

tron
tron

$0.312784 USD

1.28%

hyperliquid
hyperliquid

$68.095152 USD

-0.96%

zcash
zcash

$937.570573 USD

-1.21%

monero
monero

$502.959239 USD

-0.38%

dogecoin
dogecoin

$0.059317 USD

-0.30%

unus-sed-leo
unus-sed-leo

$9.333299 USD

0.14%

chainlink
chainlink

$9.152437 USD

-1.01%

cardano
cardano

$0.153564 USD

-0.35%

Nachrichtenartikel zu Kryptowährungen

Genarm: Belohnungsgeführte Generation mit autoregressivem Belohnungsmodell

Feb 11, 2025 at 03:46 am

Große Sprachmodelle (LLMs) müssen mit menschlichen Vorlieben wie Hilfsbereitschaft und Harmlosigkeit in Einklang stehen, aber traditionelle Ausrichtungsmethoden erfordern kostspielige Umschulungen und kämpfen mit dynamischen oder widersprüchlichen Vorlieben.

Genarm: Belohnungsgeführte Generation mit autoregressivem Belohnungsmodell

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.

Große Sprachmodelle (LLMs) müssen mit menschlichen Vorlieben wie Hilfsbereitschaft und Harmlosigkeit in Einklang stehen, aber traditionelle Ausrichtungsmethoden erfordern kostspielige Umschulungen und kämpfen mit dynamischen oder widersprüchlichen Vorlieben. Ansätze für Testzeitausrichtungen unter Verwendung von Belohnmodellen (RMS) vermeiden Umschulungen, stehen jedoch aufgrund der Abhängigkeit von Belohnungen auf Flugbahnebene, die die vollständigen Antworten bewerten, anstatt die Generation von Token-by-gepflegt zu bewerten.

Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.

Bestehende Ausrichtungstechniken fallen in zwei Kategorien: Trainingszeitmethoden wie Verstärkungslernen aus menschlichem Feedback (RLHF) und Direktpräferenzoptimierung (DPO), die LLMs für Präferenzdatensätze fein, aber erhebliche Rechenressourcen erfordern und keine Flexibilität für neue Präferenzen haben. Testzeitmethoden verwenden RMS, um gefrorene LLMs zu leiten, stützen sich jedoch auf RMS auf Flugbahnebene, die eine einzige Belohnung für die vollständigen Antworten zuweisen. Dies schafft eine Nichtübereinstimmung während der autoregressiven Generation, bei der nächste Entscheidungen teilweise Reaktionsbewertungen erfordern. Beispielsweise nähern sich die Argumente auf Token-Ebene, indem sie die RMS-RMS auf unvollständige Antworten anwenden, was zu Ungenauigkeiten führt, da diese RMS nur mit vollständigen Antworten geschult werden. Andere Methoden wie Transfer-Q erzeugen mehrere vollständige Antworten pro Token-Kandidat, die die Inferenzkosten multiplizieren. Diese Ineffizienzen begrenzen die Skalierbarkeit und Echtzeit-Anpassungsfähigkeit.

To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.

Um diese Themen anzugehen, schlagen Forscher der University of Maryland, College Park und JPMorgan AI Research die Genarm vor (Belohnung Guided Generation mit autoregressivem Belohnungsmodell), ein Rahmen für die Ausrichtung der Testzeit, das einen neuartigen autoregressiven RM mit geführter Dekodierung kombiniert. Die Hauptinnovation ist das autoregressive Belohnungsmodell, das Belohnungen auf Trajektorienebene in Komponenten auf Token-Ebene zersetzt. Anstatt einer vollständigen Reaktion eine einzige Belohnung zuzuweisen, prognostiziert sie die Belohnung für jedes Token, das auf vorherigen Token konditioniert ist und dicht, Schritt-für-Schritt-Anleitung ermöglicht, sodass die Belohnungen jede Token-Auswahl direkt beeinflussen können, ohne die teilweisen Antworten ungenau zu bewerten.

During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.

Während der Generation integriert Genarm die Belohnungen auf dem autoregressiven RM-Token-Ebene mit den LLM-Logits der Basis-LLM. Das nächste Token wird aus einer modifizierten Verteilung abgetastet. Im Gegensatz zu früheren Methoden erfordert dies nur eine Vorwärts- und Belohnungsmodelle pro Token, wodurch kostspielige Kandidatenerweiterungen vermieden werden.

Experiments demonstrate GenARM’s advantages across three scenarios:

Experimente zeigen die Vorteile von Genarm in drei Szenarien:

1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.

1. Allgemeine Ausrichtung der menschlichen Präferenz: Auf dem HHH-RLHF-Datensatz übertrifft die Genarm die Testzeit-Basislinien wie Args und Transfer-Q in Bezug auf Hilfsbereitschaft und Harmlosigkeit, wobei die Leistung von Trainingszeitmethoden wie DPO basierend auf Bewertungen mit GPT-4 entspricht.

2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.

2. Anleitungen mit schwacher bis starker: Ein autoregressives 7B-RM führt größere Basismodelle (13B, 70B) effektiv, ohne sie zu feuern. Es übertrifft DPO auf der 7B -Skala und passt fast zu DPO auf der 13B -Skala. Auf der 70B-Skala erzielt Genarm mehr als 70% der Leistungslücke sowohl bei den RAW- als auch in der LC LLMs effizient.

3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.

3.. Multi-Objektivausrichtung: Genarm gleicht widersprüchliche Präferenzen (z. B. Hilfsbereitschaft gegen Harmlosigkeit) aus, indem sie Belohnungen aus mehreren autoregressiven RMs kombinieren. Auf dem PKU-SAFERLHF-10K-Datensatz erreicht es eine Pareto-Grenze, die belohnten Suppen überlegen ist und mit Multi-Objektiv-RL übergeht, ohne sich umzusetzen.

The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.

Das Design des autoregressiven RM stellt sicher, dass jede Belohnungsfunktion, die durch traditionelle RMS im KL-regulären Verstärkungslernen-Rahmen erreicht werden kann, ausdrücken kann. Diese theoretische Garantie in Kombination mit der Faktorisierung auf Token-Ebene macht Genarm sowohl expressionstiver als auch effizient. Im Gegensatz zu RMS auf Trajektorienebene, die mit partiellen Kontexten zu kämpfen haben, bieten autoregressive RMS genaue, inkrementelle Feedback, wodurch Belohnungshacking oder inkohärente Ausgänge während langer Generationen verhindern.

In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.

Zusammenfassend schließt Genarm die Lücke zwischen Trainingszeit und Testzeitausrichtung durch Einführung autoregressiver Belohnungsmodelle, die eine präzise Anleitung auf Token-Ebene ermöglichen. Es beseitigt die Notwendigkeit einer kostspieligen LLM -Umschulung, unterstützt die dynamische Anpassung an verschiedene Präferenzen und skaliert effizient zu größeren Modellen. Durch die Bekämpfung der Ineffizienzen von Belohnungen auf Trajektorienebene und der Ermöglichung der Anleitung von schwachen bis zu starken bietet Genarm eine praktische Lösung für die Ausrichtung von LLMs in ressourcengesteuerten Szenarien. Zukünftige Arbeiten könnten diesen Ansatz für Aufgaben wie mathematisches Denken oder Codegenerierung erweitern, wo Belohnungen auf Token-Ebene die Leistung ohne zusätzliche Feinabstimmung verbessern können.

Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.

Schauen Sie sich das Papier an. Alle Krediten für diese Forschung gilt an die Forscher dieses Projekts. Vergessen Sie auch nicht, uns auf Twitter zu folgen und unserem Telegrammkanal und LinkedIn Group beizutreten. Vergessen Sie nicht, sich unserem 75k+ ML Subreddit anzuschließen.

? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)

? Empfohlene Open-Source-AI-Plattform: „Intellagent ist ein Open-Source-Multi-Agent-Rahmen zur Bewertung des komplexen Konversations-KI-Systems“ (gefördert)

Originalquelle:marktechpost

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Artikel veröffentlicht am Nov 19, 2026