Capitalisation boursière: $2.1676T -1.22%
Volume(24h): $71.3695B -5.15%
  • Capitalisation boursière: $2.1676T -1.22%
  • Volume(24h): $71.3695B -5.15%
  • Indice de peur et de cupidité:
  • Capitalisation boursière: $2.1676T -1.22%
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
Top nouvelles
Cryptos
Les sujets
Cryptospedia
Nouvelles
Cryptosopique
Vidéos
bitcoin
bitcoin

$63788.154471 USD

-1.38%

ethereum
ethereum

$1806.501379 USD

-0.33%

tether
tether

$0.998875 USD

0.00%

bnb
bnb

$589.351189 USD

-0.48%

usd-coin
usd-coin

$0.999844 USD

0.00%

xrp
xrp

$0.982524 USD

-0.48%

solana
solana

$75.054384 USD

0.26%

tron
tron

$0.312519 USD

1.10%

hyperliquid
hyperliquid

$68.357807 USD

-0.88%

zcash
zcash

$940.471300 USD

-1.53%

monero
monero

$504.625613 USD

-0.26%

dogecoin
dogecoin

$0.059451 USD

0.06%

unus-sed-leo
unus-sed-leo

$9.306894 USD

0.10%

chainlink
chainlink

$9.160754 USD

-0.89%

cardano
cardano

$0.153819 USD

0.00%

Articles d’actualité sur les crypto-monnaies

Genarm: Génération guidée par récompense avec modèle de récompense autorégressif

Feb 11, 2025 at 03:46 am

Les modèles de grandes langues (LLM) doivent s'aligner sur les préférences humaines comme la protection et l'inrantiolation, mais les méthodes d'alignement traditionnelles nécessitent un recyclage coûteux et luttent avec des préférences dynamiques ou conflictuelles.

Genarm: Génération guidée par récompense avec modèle de récompense autorégressif

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.

Les modèles de grandes langues (LLM) doivent s'aligner sur les préférences humaines comme la protection et l'inrantiolation, mais les méthodes d'alignement traditionnelles nécessitent un recyclage coûteux et luttent avec des préférences dynamiques ou conflictuelles. Les approches d'alignement du temps de test utilisant des modèles de récompense (RMS) évitent le recyclage mais font face à des inefficacités en raison de la dépendance à l'égard des récompenses au niveau de la trajectoire, qui évaluent les réponses complètes plutôt que de guider la génération de jeton par token.

Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.

Les techniques d'alignement existantes se répartissent en deux catégories: des méthodes de formation comme l'apprentissage du renforcement de la rétroaction humaine (RLHF) et l'optimisation directe des préférences (DPO), qui affinent les LLMS sur les ensembles de données de préférence mais exigent des ressources de calcul significatives et manquent de flexibilité pour de nouvelles préférences. Les méthodes de temps de test utilisent RMS pour guider les LLM congelées mais s'appuient sur des RM au niveau de la trajectoire qui attribuent une seule récompense pour terminer les réponses. Cela crée une inadéquation pendant la génération autorégressive, où les décisions de la prochaine fois nécessitent des évaluations de réponse partielle. Par exemple, les args se rapprochent des récompenses au niveau des jetons en appliquant la RMS de trajectoire à des réponses incomplètes, conduisant à des inexactitudes car ces RM sont formés uniquement sur les réponses complètes. D'autres méthodes telles que Transfer-Q génèrent plusieurs réponses complètes par candidat de jeton, multipliant les coûts d'inférence. Ces inefficacités limitent l'évolutivité et l'adaptabilité en temps réel.

To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.

Pour résoudre ces problèmes, les chercheurs de l'Université du Maryland, du College Park et de la recherche JPMorgan AI proposent Genarm (génération guidée par récompense avec modèle de récompense autorégressif), un cadre d'alignement de test en temps de test combinant un nouveau RM autorégressif avec décodage guidé. L'innovation clé est le modèle de récompense autorégressif, qui décompose les récompenses au niveau de la trajectoire en composants au niveau des jetons. Au lieu d'attribuer une seule récompense à une réponse complète, il prédit la récompense pour chaque jeton conditionné sur les jetons avant, permettant des conseils denses et étape par étape, permettant aux récompenses d'influencer directement chaque choix de jeton sans évaluer les réponses partielles inactives.

During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.

Pendant la génération, Genarm intègre les récompenses de niveau de jeton de RM autorégressives avec les logits de la base LLM. Le token suivant est échantillonné à partir d'une distribution modifiée. Contrairement aux méthodes antérieures, cela ne nécessite qu'un seul passage en avant à travers les modèles de base et de récompense par jeton, évitant les extensions coûteuses des candidats.

Experiments demonstrate GenARM’s advantages across three scenarios:

Les expériences démontrent les avantages de Genarm dans trois scénarios:

1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.

1. Alignement général des préférences humaines: Sur l'ensemble de données HH-RLHF, GeNarm surpasse les lignes de base en temps de test comme les ARGS et le transfert-Q dans l'utilité et l'ingularité, correspondant aux performances des méthodes de formation comme DPO basées sur des évaluations utilisant GPT-4.

2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.

2. Il dépasse le DPO à l'échelle 7b et correspond presque au DPO à l'échelle 13B. À l'échelle 70b, GeNarm récupère plus de 70% de l'écart de performance dans les taux de victoires bruts et LC entre Tulu2-70b et Tulu2-DPO-70B, le tout sans avoir besoin de former le 70b LLM, démontrant que les RM plus petits peuvent diriger plus grand plus grand LLMS efficacement.

3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.

3. Alignement multi-objectif: le genarm équilibre les préférences contradictoires (par exemple, l'aide par rapport à l'inrôme) en combinant les récompenses à partir de multiples RM autorégressives. Sur l'ensemble de données PKU-SAFERLHF-10K, il réalise une frontière Pareto supérieure aux soupes récompensées et correspond à un RL multi-objectif sans recyclage.

The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.

La conception de la RM autorégressive garantit qu'elle peut exprimer toute fonction de récompense réalisable par le RMS traditionnel dans le cadre d'apprentissage par renforcement KL-régularisé. Cette garantie théorique, combinée à une factorisation au niveau des jetons, rend Genarm à la fois expressif et efficace. Contrairement aux RM au niveau de la trajectoire, qui luttent avec des contextes partiels, les RM autorégressives fournissent des commentaires précis et progressifs, empêchant le piratage de récompense ou des sorties incohérentes pendant les longues générations.

In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.

En résumé, Genarm comble l'écart entre l'alignement du temps de formation et l'alignement du temps de test en introduisant des modèles de récompense autorégressifs qui permettent des conseils précis au niveau des jetons. Il élimine le besoin de recyclage LLM coûteux, prend en charge l'adaptation dynamique à diverses préférences et évolue efficacement à des modèles plus grands. En s'attaquant aux inefficacités des récompenses au niveau de la trajectoire et en permettant des conseils faibles à forfaits, GeNarm offre une solution pratique pour aligner les LLM dans les scénarios limités aux ressources. Les travaux futurs pourraient étendre cette approche à des tâches telles que le raisonnement mathématique ou la génération de code, où les récompenses au niveau des jetons pourraient améliorer les performances sans réglage fin supplémentaire.

Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.

Découvrez le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre sur Twitter et de rejoindre notre chaîne Telegram et LinkedIn Group. N'oubliez pas de rejoindre notre Sandredit 75K + ML.

? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)

? Plateforme d'IA open source recommandée: `` Intellegent est un cadre multi-agent open source pour évaluer le système d'IA conversationnel complexe '' (promu)

Source primaire:marktechpost

Clause de non-responsabilité:info@kdj.com

Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!

Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.

Autres articles publiés sur Nov 20, 2026