|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Nachrichtenartikel zu Kryptowährungen
Genarm: Belohnungsgeführte Generation mit autoregressivem Belohnungsmodell
Feb 11, 2025 at 03:46 am
Große Sprachmodelle (LLMs) müssen mit menschlichen Vorlieben wie Hilfsbereitschaft und Harmlosigkeit in Einklang stehen, aber traditionelle Ausrichtungsmethoden erfordern kostspielige Umschulungen und kämpfen mit dynamischen oder widersprüchlichen Vorlieben.

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.
Große Sprachmodelle (LLMs) müssen mit menschlichen Vorlieben wie Hilfsbereitschaft und Harmlosigkeit in Einklang stehen, aber traditionelle Ausrichtungsmethoden erfordern kostspielige Umschulungen und kämpfen mit dynamischen oder widersprüchlichen Vorlieben. Ansätze für Testzeitausrichtungen unter Verwendung von Belohnmodellen (RMS) vermeiden Umschulungen, stehen jedoch aufgrund der Abhängigkeit von Belohnungen auf Flugbahnebene, die die vollständigen Antworten bewerten, anstatt die Generation von Token-by-gepflegt zu bewerten.
Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.
Bestehende Ausrichtungstechniken fallen in zwei Kategorien: Trainingszeitmethoden wie Verstärkungslernen aus menschlichem Feedback (RLHF) und Direktpräferenzoptimierung (DPO), die LLMs für Präferenzdatensätze fein, aber erhebliche Rechenressourcen erfordern und keine Flexibilität für neue Präferenzen haben. Testzeitmethoden verwenden RMS, um gefrorene LLMs zu leiten, stützen sich jedoch auf RMS auf Flugbahnebene, die eine einzige Belohnung für die vollständigen Antworten zuweisen. Dies schafft eine Nichtübereinstimmung während der autoregressiven Generation, bei der nächste Entscheidungen teilweise Reaktionsbewertungen erfordern. Beispielsweise nähern sich die Argumente auf Token-Ebene, indem sie die RMS-RMS auf unvollständige Antworten anwenden, was zu Ungenauigkeiten führt, da diese RMS nur mit vollständigen Antworten geschult werden. Andere Methoden wie Transfer-Q erzeugen mehrere vollständige Antworten pro Token-Kandidat, die die Inferenzkosten multiplizieren. Diese Ineffizienzen begrenzen die Skalierbarkeit und Echtzeit-Anpassungsfähigkeit.
To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.
Um diese Themen anzugehen, schlagen Forscher der University of Maryland, College Park und JPMorgan AI Research die Genarm vor (Belohnung Guided Generation mit autoregressivem Belohnungsmodell), ein Rahmen für die Ausrichtung der Testzeit, das einen neuartigen autoregressiven RM mit geführter Dekodierung kombiniert. Die Hauptinnovation ist das autoregressive Belohnungsmodell, das Belohnungen auf Trajektorienebene in Komponenten auf Token-Ebene zersetzt. Anstatt einer vollständigen Reaktion eine einzige Belohnung zuzuweisen, prognostiziert sie die Belohnung für jedes Token, das auf vorherigen Token konditioniert ist und dicht, Schritt-für-Schritt-Anleitung ermöglicht, sodass die Belohnungen jede Token-Auswahl direkt beeinflussen können, ohne die teilweisen Antworten ungenau zu bewerten.
During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.
Während der Generation integriert Genarm die Belohnungen auf dem autoregressiven RM-Token-Ebene mit den LLM-Logits der Basis-LLM. Das nächste Token wird aus einer modifizierten Verteilung abgetastet. Im Gegensatz zu früheren Methoden erfordert dies nur eine Vorwärts- und Belohnungsmodelle pro Token, wodurch kostspielige Kandidatenerweiterungen vermieden werden.
Experiments demonstrate GenARM’s advantages across three scenarios:
Experimente zeigen die Vorteile von Genarm in drei Szenarien:
1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.
1. Allgemeine Ausrichtung der menschlichen Präferenz: Auf dem HHH-RLHF-Datensatz übertrifft die Genarm die Testzeit-Basislinien wie Args und Transfer-Q in Bezug auf Hilfsbereitschaft und Harmlosigkeit, wobei die Leistung von Trainingszeitmethoden wie DPO basierend auf Bewertungen mit GPT-4 entspricht.
2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.
2. Anleitungen mit schwacher bis starker: Ein autoregressives 7B-RM führt größere Basismodelle (13B, 70B) effektiv, ohne sie zu feuern. Es übertrifft DPO auf der 7B -Skala und passt fast zu DPO auf der 13B -Skala. Auf der 70B-Skala erzielt Genarm mehr als 70% der Leistungslücke sowohl bei den RAW- als auch in der LC LLMs effizient.
3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.
3.. Multi-Objektivausrichtung: Genarm gleicht widersprüchliche Präferenzen (z. B. Hilfsbereitschaft gegen Harmlosigkeit) aus, indem sie Belohnungen aus mehreren autoregressiven RMs kombinieren. Auf dem PKU-SAFERLHF-10K-Datensatz erreicht es eine Pareto-Grenze, die belohnten Suppen überlegen ist und mit Multi-Objektiv-RL übergeht, ohne sich umzusetzen.
The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.
Das Design des autoregressiven RM stellt sicher, dass jede Belohnungsfunktion, die durch traditionelle RMS im KL-regulären Verstärkungslernen-Rahmen erreicht werden kann, ausdrücken kann. Diese theoretische Garantie in Kombination mit der Faktorisierung auf Token-Ebene macht Genarm sowohl expressionstiver als auch effizient. Im Gegensatz zu RMS auf Trajektorienebene, die mit partiellen Kontexten zu kämpfen haben, bieten autoregressive RMS genaue, inkrementelle Feedback, wodurch Belohnungshacking oder inkohärente Ausgänge während langer Generationen verhindern.
In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.
Zusammenfassend schließt Genarm die Lücke zwischen Trainingszeit und Testzeitausrichtung durch Einführung autoregressiver Belohnungsmodelle, die eine präzise Anleitung auf Token-Ebene ermöglichen. Es beseitigt die Notwendigkeit einer kostspieligen LLM -Umschulung, unterstützt die dynamische Anpassung an verschiedene Präferenzen und skaliert effizient zu größeren Modellen. Durch die Bekämpfung der Ineffizienzen von Belohnungen auf Trajektorienebene und der Ermöglichung der Anleitung von schwachen bis zu starken bietet Genarm eine praktische Lösung für die Ausrichtung von LLMs in ressourcengesteuerten Szenarien. Zukünftige Arbeiten könnten diesen Ansatz für Aufgaben wie mathematisches Denken oder Codegenerierung erweitern, wo Belohnungen auf Token-Ebene die Leistung ohne zusätzliche Feinabstimmung verbessern können.
Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.
Schauen Sie sich das Papier an. Alle Krediten für diese Forschung gilt an die Forscher dieses Projekts. Vergessen Sie auch nicht, uns auf Twitter zu folgen und unserem Telegrammkanal und LinkedIn Group beizutreten. Vergessen Sie nicht, sich unserem 75k+ ML Subreddit anzuschließen.
? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)
? Empfohlene Open-Source-AI-Plattform: „Intellagent ist ein Open-Source-Multi-Agent-Rahmen zur Bewertung des komplexen Konversations-KI-Systems“ (gefördert)
Haftungsausschluss:info@kdj.com
Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!
Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.
-
- Der Bitcoin-Preis stürzt aufgrund der Angst vor Zinserhöhungen der Federal Reserve und dem Krypto-Crash ab
- Nov 19, 2026 at 12:05 pm
- Die restriktiven Signale der Federal Reserve haben die Bitcoin-Preise fallen lassen, einen breiteren Absturz des Kryptomarktes ausgelöst und Ängste bei den Anlegern geweckt.
-
- Bewältigung geopolitischer Stürme: Portfolio-Resilienz, Vermögenserhaltung und die wechselnden Möglichkeiten des Zugangs
- Nov 19, 2026 at 11:55 am
- In einer Zeit eskalierender geopolitischer Risiken geht es beim Schutz von Vermögen nicht nur um den Vermögenswert, sondern auch um die Aufrechterhaltung des Zugangs. Anleger legen Wert auf Portfolio-Resilienz, Liquidität und Diversifizierung über verschiedene Jurisdiktionen hinweg, um potenzielle Störungen zu überstehen.
-
- Bain Capital Crypto führt die 110-Millionen-Dollar-Finanzierungsrunde von Variational an und bewertet die Plattform mit satten 1,5 Milliarden US-Dollar
- Nov 19, 2026 at 08:05 am
- Variational sichert sich die von Bain Capital Crypto angeführte Serie B im Wert von 110 Millionen US-Dollar und erreicht eine Bewertung von 1,5 Milliarden US-Dollar, da es den On-Chain-Handel mit der traditionellen Marktliquidität verbindet.
-
-
- Die Bybit-Karte ermöglicht den Zugang zur Flughafen-Lounge mit Krypto-Bezahlung und verbessert so das Reiseerlebnis für europäische Benutzer
- Nov 18, 2026 at 08:05 am
- Inhaber einer Bybit-Karte können jetzt Flughafen-Lounge-Pässe direkt in der App mit Kryptowährungen kaufen und so den Reisekomfort für Benutzer innerhalb des EWR erhöhen, indem sie die MiCA-Autorisierung von Bybit EU nutzen.
-
- Der Ethereum-Futures-Markt erlebt einen deutlichen Rückgang, da das Open Interest sinkt; Die Preisprognosen bleiben geteilt
- Nov 18, 2026 at 08:05 am
- Der Terminmarkt von Ethereum erlebt eine deutliche Abkühlung, wobei das offene Interesse auf Mehrmonatstiefs fällt. Diese Analyse befasst sich mit den Auswirkungen auf ETH-Preisprognosen inmitten der sich entwickelnden Marktdynamik.
-
- S&P Global Ratings schlägt Alarm: Blockchain-Hacking-Verluste und Governance-Fehler gefährden die institutionelle Akzeptanz
- Nov 18, 2026 at 08:05 am
- S&P Global Ratings betont, dass anhaltende Verluste durch Blockchain-Hacker, die größtenteils auf Governance-Versagen zurückzuführen sind, eine große Hürde für die institutionelle Einführung digitaler Vermögenswerte darstellen. Neue On-Chain-Risikobewertungen sollen das Vertrauen stärken.
-
-
- Aufmerksamkeit, Nachaufmerksamkeit und der KI-Mechanismus: Navigieren in der New Economy
- Nov 18, 2026 at 04:00 am
- Die Ära der KI-Agenten ist da und verändert die Art und Weise, wie wir bezahlen und bezahlt werden. Entdecken Sie den bahnbrechenden Wandel von aufmerksamkeitsbasierten Modellen hin zu transaktionsgesteuerten Finanzen und die entscheidende Rolle von KI-Mechanismen.

































