|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
大規模な言語モデル(LLM)は、有用性や無害性などの人間の好みに合わせなければなりませんが、従来のアライメント方法には、費用のかかる再訓練と動的または矛盾する好みとの闘いが必要です。

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.
大規模な言語モデル(LLM)は、有用性や無害性などの人間の好みに合わせなければなりませんが、従来のアライメント方法には、費用のかかる再訓練と動的または矛盾する好みとの闘いが必要です。報酬モデル(RMS)を使用したテスト時間アライメントアプローチは、再訓練を避けますが、トークンごとの生成をガイドするのではなく、完全な応答を評価する軌跡レベルの報酬に依存するため、非効率性に直面します。
Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.
既存のアラインメント手法は、2つのカテゴリに分類されます。人間のフィードバック(RLHF)からの強化学習などのトレーニングタイム方法と直接選好最適化(DPO)からのトレーニング時間。テスト時間方法はRMSを使用して冷凍LLMを導きますが、完全な応答に単一の報酬を割り当てる軌跡レベルのRMSに依存しています。これにより、次のトークンの決定が部分的な応答評価が必要なオートレーフレフな生成中に不一致が作成されます。たとえば、ARGSは、軌道RMSを不完全な応答に適用することによりトークンレベルの報酬を概算し、これらのRMSは完全な応答のみでトレーニングされるため、不正確さにつながります。 Transfer-Qなどの他の方法は、トークン候補ごとに複数の完全な応答を生成し、推論コストを掛けます。これらの非効率性は、スケーラビリティとリアルタイムの適応性を制限します。
To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.
これらの問題に対処するために、メリーランド大学、カレッジパーク、JPモルガンAI研究の研究者は、新しいオートレーリングRMとガイド付きデコードを組み合わせたテスト時間アライメントフレームワークであるGENARM(自己回帰報酬モデルを備えた報酬誘導生成)を提案しています。主要な革新は、トークンレベルのコンポーネントに軌道レベルの報酬を分解する自己回帰報酬モデルです。完全な応答に単一の報酬を割り当てる代わりに、トークン前に条件付けられた各トークンの報酬を予測し、密な段階的なガイダンスを可能にし、報酬が部分的な応答を不正確に評価せずに各トークンの選択に直接影響を与えることができます。
During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.
発電中、Genarmは、自動脱着RMのトークンレベルの報酬をBase LLMのロジットと統合します。次のトークンは、変更された分布からサンプリングされます。以前の方法とは異なり、これには、トークンごとにベースと報酬モデルを1つのフォワードパスを通過する必要があり、費用のかかる候補の拡張を回避します。
Experiments demonstrate GenARM’s advantages across three scenarios:
実験は、3つのシナリオにわたるGenarmの利点を示しています。
1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.
1.一般的な人間の好みのアラインメント:HH-RLHFデータセットでは、GPT-4を使用した評価に基づいてDPOのようなトレーニング時間方法のパフォーマンスに一致する、HH-RLHFデータセットでは、ARGSやTransfer-Qなどのテスト時間ベースラインが有用性と無害性を上回ります。
2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.
2。弱から強いガイダンス:7Bの自己回帰RMは、それらを微調整せずに大きなベースモデル(13B、70B)を効果的にガイドします。 7BスケールでDPOを上回り、13BスケールでDPOとほぼ一致します。 70Bスケールで、GenARMは、TULU2-70BとTULU2-DPO-70BのRAWとLCの両方の勝利率のパフォーマンスギャップの70%以上を回復します。 llms効率的。
3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.
3.多目的アライメント:ガネームは、複数の自己回帰RMSからの報酬を組み合わせることにより、矛盾する好み(例えば、有用性と無害性)のバランスを取ります。 PKU-Saferlhf-10kデータセットでは、報酬を受けたスープや、再訓練なしで多目的RLに合わせたパレートフロンティアを実現します。
The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.
Autore-Gressive RMの設計により、KL正規化された補強学習フレームワーク内で、従来のRMSが達成できる報酬機能を表現できます。この理論的保証は、トークンレベルの因数分解と組み合わされており、ガネームが表現力豊かで効率的になります。部分的なコンテキストと格闘する軌道レベルのRMSとは異なり、自動回帰RMSは正確で漸進的なフィードバックを提供し、長い世代の間に報酬のハッキングや一貫性のない出力を防ぎます。
In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.
要約すると、GenArmは、トークンレベルのガイダンスを可能にする自己回帰報酬モデルを導入することにより、トレーニング時間とテスト時間のアラインメントのギャップを橋渡しします。費用のかかるLLMレトランの必要性を排除し、多様な好みへの動的な適応をサポートし、より大きなモデルに効率的にスケーリングします。軌道レベルの報酬の非効率性に対処し、弱くて強力なガイダンスを有効にすることにより、Genarmはリソース制約のシナリオにLLMを調整するための実用的なソリューションを提供します。将来の作業は、このアプローチを数学的推論やコード生成などのタスクに拡張することができ、トークンレベルの報酬は、追加の微調整なしでパフォーマンスを向上させる可能性があります。
Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.
論文をチェックしてください。この研究のすべてのクレジットは、このプロジェクトの研究者に送られます。また、Twitterでフォローして、Telegram ChannelとLinkedInグループに参加することを忘れないでください。 75k+ ml subredditに参加することを忘れないでください。
? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)
?オープンソースAIプラットフォームを推奨:「Intellagentは、複雑な会話型AIシステムを評価するためのオープンソースマルチエージェントフレームワークです」(プロモーション)
免責事項:info@kdj.com
提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。
このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

































