|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
Genarm: Génération guidée par récompense avec modèle de récompense autorégressif
Feb 11, 2025 at 03:46 am
Les modèles de grandes langues (LLM) doivent s'aligner sur les préférences humaines comme la protection et l'inrantiolation, mais les méthodes d'alignement traditionnelles nécessitent un recyclage coûteux et luttent avec des préférences dynamiques ou conflictuelles.

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.
Les modèles de grandes langues (LLM) doivent s'aligner sur les préférences humaines comme la protection et l'inrantiolation, mais les méthodes d'alignement traditionnelles nécessitent un recyclage coûteux et luttent avec des préférences dynamiques ou conflictuelles. Les approches d'alignement du temps de test utilisant des modèles de récompense (RMS) évitent le recyclage mais font face à des inefficacités en raison de la dépendance à l'égard des récompenses au niveau de la trajectoire, qui évaluent les réponses complètes plutôt que de guider la génération de jeton par token.
Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.
Les techniques d'alignement existantes se répartissent en deux catégories: des méthodes de formation comme l'apprentissage du renforcement de la rétroaction humaine (RLHF) et l'optimisation directe des préférences (DPO), qui affinent les LLMS sur les ensembles de données de préférence mais exigent des ressources de calcul significatives et manquent de flexibilité pour de nouvelles préférences. Les méthodes de temps de test utilisent RMS pour guider les LLM congelées mais s'appuient sur des RM au niveau de la trajectoire qui attribuent une seule récompense pour terminer les réponses. Cela crée une inadéquation pendant la génération autorégressive, où les décisions de la prochaine fois nécessitent des évaluations de réponse partielle. Par exemple, les args se rapprochent des récompenses au niveau des jetons en appliquant la RMS de trajectoire à des réponses incomplètes, conduisant à des inexactitudes car ces RM sont formés uniquement sur les réponses complètes. D'autres méthodes telles que Transfer-Q génèrent plusieurs réponses complètes par candidat de jeton, multipliant les coûts d'inférence. Ces inefficacités limitent l'évolutivité et l'adaptabilité en temps réel.
To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.
Pour résoudre ces problèmes, les chercheurs de l'Université du Maryland, du College Park et de la recherche JPMorgan AI proposent Genarm (génération guidée par récompense avec modèle de récompense autorégressif), un cadre d'alignement de test en temps de test combinant un nouveau RM autorégressif avec décodage guidé. L'innovation clé est le modèle de récompense autorégressif, qui décompose les récompenses au niveau de la trajectoire en composants au niveau des jetons. Au lieu d'attribuer une seule récompense à une réponse complète, il prédit la récompense pour chaque jeton conditionné sur les jetons avant, permettant des conseils denses et étape par étape, permettant aux récompenses d'influencer directement chaque choix de jeton sans évaluer les réponses partielles inactives.
During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.
Pendant la génération, Genarm intègre les récompenses de niveau de jeton de RM autorégressives avec les logits de la base LLM. Le token suivant est échantillonné à partir d'une distribution modifiée. Contrairement aux méthodes antérieures, cela ne nécessite qu'un seul passage en avant à travers les modèles de base et de récompense par jeton, évitant les extensions coûteuses des candidats.
Experiments demonstrate GenARM’s advantages across three scenarios:
Les expériences démontrent les avantages de Genarm dans trois scénarios:
1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.
1. Alignement général des préférences humaines: Sur l'ensemble de données HH-RLHF, GeNarm surpasse les lignes de base en temps de test comme les ARGS et le transfert-Q dans l'utilité et l'ingularité, correspondant aux performances des méthodes de formation comme DPO basées sur des évaluations utilisant GPT-4.
2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.
2. Il dépasse le DPO à l'échelle 7b et correspond presque au DPO à l'échelle 13B. À l'échelle 70b, GeNarm récupère plus de 70% de l'écart de performance dans les taux de victoires bruts et LC entre Tulu2-70b et Tulu2-DPO-70B, le tout sans avoir besoin de former le 70b LLM, démontrant que les RM plus petits peuvent diriger plus grand plus grand LLMS efficacement.
3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.
3. Alignement multi-objectif: le genarm équilibre les préférences contradictoires (par exemple, l'aide par rapport à l'inrôme) en combinant les récompenses à partir de multiples RM autorégressives. Sur l'ensemble de données PKU-SAFERLHF-10K, il réalise une frontière Pareto supérieure aux soupes récompensées et correspond à un RL multi-objectif sans recyclage.
The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.
La conception de la RM autorégressive garantit qu'elle peut exprimer toute fonction de récompense réalisable par le RMS traditionnel dans le cadre d'apprentissage par renforcement KL-régularisé. Cette garantie théorique, combinée à une factorisation au niveau des jetons, rend Genarm à la fois expressif et efficace. Contrairement aux RM au niveau de la trajectoire, qui luttent avec des contextes partiels, les RM autorégressives fournissent des commentaires précis et progressifs, empêchant le piratage de récompense ou des sorties incohérentes pendant les longues générations.
In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.
En résumé, Genarm comble l'écart entre l'alignement du temps de formation et l'alignement du temps de test en introduisant des modèles de récompense autorégressifs qui permettent des conseils précis au niveau des jetons. Il élimine le besoin de recyclage LLM coûteux, prend en charge l'adaptation dynamique à diverses préférences et évolue efficacement à des modèles plus grands. En s'attaquant aux inefficacités des récompenses au niveau de la trajectoire et en permettant des conseils faibles à forfaits, GeNarm offre une solution pratique pour aligner les LLM dans les scénarios limités aux ressources. Les travaux futurs pourraient étendre cette approche à des tâches telles que le raisonnement mathématique ou la génération de code, où les récompenses au niveau des jetons pourraient améliorer les performances sans réglage fin supplémentaire.
Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.
Découvrez le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre sur Twitter et de rejoindre notre chaîne Telegram et LinkedIn Group. N'oubliez pas de rejoindre notre Sandredit 75K + ML.
? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)
? Plateforme d'IA open source recommandée: `` Intellegent est un cadre multi-agent open source pour évaluer le système d'IA conversationnel complexe '' (promu)
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Bybit, Anthropic et les sables mouvants du trading d'actions : une minute new-yorkaise à la frontière numérique de Wall Street
- Nov 20, 2026 at 12:05 pm
- Bybit étend son offre d'actions cotées aux États-Unis avec Anthropic, alors que le paysage plus large du trading d'actions est aux prises avec le contrôle réglementaire sur la tokenisation et le défi persistant des flux financiers illicites.
-
- Le départ du directeur technique de Ledger signale une évolution du paysage de la sécurité des actifs cryptographiques au milieu de nouvelles menaces
- Nov 20, 2026 at 08:05 am
- Le départ de Charles Guillemet, CTO de Ledger, souligne l'évolution des défis en matière de sécurité des actifs cryptographiques et la nécessité de défenses robustes contre les nouvelles menaces.
-
- GTA VI Frenzy, AI Hurdles de Nvidia et Texas Gamble de SpaceX : un trio technologique
- Nov 20, 2026 at 04:05 am
- Le lancement massif de Grand Theft Auto VI, les défis d'exportation de puces de Nvidia et l'ambitieux projet Texas AI de SpaceX dominent le cycle de l'actualité technologique et financière.
-
- Stratégie d'investissement XRP d'Egrag Crypto : de la patience, pas de la perfection, pour les détenteurs
- Nov 20, 2026 at 04:05 am
- Egrag Crypto conseille aux détenteurs de XRP d'abandonner la pêche de fond au profit d'une stratégie d'accumulation patiente et basée sur la fourchette, en mettant l'accent sur la création de richesse à long terme plutôt que sur l'obsession des prix à court terme.
-
- Le prix du Bitcoin chute au milieu des craintes de hausse des taux de la Réserve fédérale et du crash de la cryptographie
- Nov 19, 2026 at 12:05 pm
- Les signaux bellicistes de la Réserve fédérale ont fait chuter les prix du Bitcoin, déclenchant un krach plus large du marché de la cryptographie et suscitant l'anxiété des investisseurs.
-
- Naviguer dans les tempêtes géopolitiques : résilience du portefeuille, préservation de la richesse et sables mouvants de l'accès
- Nov 19, 2026 at 11:55 am
- À une époque de risques géopolitiques croissants, la sauvegarde de la richesse n’est pas seulement une question de valeur des actifs : il s’agit également d’en maintenir l’accès. Les investisseurs donnent la priorité à la résilience, à la liquidité et à la diversification de leurs portefeuilles entre les juridictions pour faire face aux perturbations potentielles.
-
- Bain Capital Crypto mène le cycle de financement de 110 millions de dollars de Variational, valorisant la plateforme à 1,5 milliard de dollars
- Nov 19, 2026 at 08:05 am
- Variational obtient une série B de 110 millions de dollars, dirigée par Bain Capital Crypto, atteignant une valorisation de 1,5 milliard de dollars car elle relie le trading en chaîne avec la liquidité traditionnelle du marché.
-
- Prix du Bitcoin, intelligence artificielle et changement de propriété : un carrefour du marché
- Nov 19, 2026 at 04:05 am
- L'analyse des mouvements de prix du Bitcoin, de l'augmentation des investissements dans l'IA et de l'évolution de la propriété du Bitcoin révèle des changements et des opportunités potentiels sur le marché.
-
- La carte Bybit débloque l'accès aux salons d'aéroport cryptés, améliorant ainsi l'expérience de voyage des utilisateurs européens
- Nov 18, 2026 at 08:05 am
- Les titulaires de la carte Bybit peuvent désormais acheter des laissez-passer pour les salons d'aéroport directement dans l'application en utilisant des crypto-monnaies, améliorant ainsi le confort de voyage des utilisateurs au sein de l'EEE, en tirant parti de l'autorisation MiCA de Bybit EU.

































