시가총액: $2.1676T -1.22%
거래량(24시간): $71.3695B -5.15%
  • 시가총액: $2.1676T -1.22%
  • 거래량(24시간): $71.3695B -5.15%
  • 공포와 탐욕 지수:
  • 시가총액: $2.1676T -1.22%
암호화
주제
암호화
소식
cryptostopics
비디오
최고의 뉴스
암호화
주제
암호화
소식
cryptostopics
비디오
bitcoin
bitcoin

$63537.839175 USD

-1.70%

ethereum
ethereum

$1801.799255 USD

-0.59%

tether
tether

$0.998886 USD

0.00%

bnb
bnb

$588.004943 USD

-0.70%

usd-coin
usd-coin

$0.999849 USD

0.01%

xrp
xrp

$0.979090 USD

-1.39%

solana
solana

$74.706411 USD

-0.44%

tron
tron

$0.312598 USD

0.96%

hyperliquid
hyperliquid

$68.135457 USD

-1.25%

zcash
zcash

$936.704021 USD

-1.85%

monero
monero

$502.454856 USD

-0.38%

dogecoin
dogecoin

$0.059306 USD

-0.34%

unus-sed-leo
unus-sed-leo

$9.340813 USD

0.52%

chainlink
chainlink

$9.146690 USD

-1.27%

cardano
cardano

$0.153513 USD

-0.45%

암호화폐 뉴스 기사

Genarm :자가 회귀 보상 모델을 사용한 보상 가이드 세대

2025/02/11 03:46

대형 언어 모델 (LLM)은 도움과 무해함과 같은 인간 선호도와 일치해야하지만 전통적인 정렬 방법은 비용이 많이 드는 재교육이 필요하며 동적 또는 상충되는 선호도와의 투쟁이 필요합니다.

Genarm :자가 회귀 보상 모델을 사용한 보상 가이드 세대

Large language models (LLMs) must align with human preferences like helpfulness and harmlessness, but traditional alignment methods require costly retraining and struggle with dynamic or conflicting preferences. Test-time alignment approaches using reward models (RMs) avoid retraining but face inefficiencies due to reliance on trajectory-level rewards, which evaluate full responses rather than guiding token-by-token generation.

대형 언어 모델 (LLM)은 도움과 무해함과 같은 인간 선호도와 일치해야하지만 전통적인 정렬 방법은 비용이 많이 드는 재교육이 필요하며 동적 또는 상충되는 선호도와의 투쟁이 필요합니다. RMS (Resward Models)를 사용한 테스트 시간 정렬 접근법은 재교육을 피하지만 궤적 수준의 보상에 의존하여 비효율적 인 얼굴에 직면하여 토큰 별 생성을 안내하는 대신 전체 응답을 평가합니다.

Existing alignment techniques fall into two categories: training-time methods like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), which fine-tune LLMs on preference datasets but demand significant computational resources and lack flexibility for new preferences. Test-time methods use RMs to guide frozen LLMs but rely on trajectory-level RMs that assign a single reward to complete responses. This creates a mismatch during autoregressive generation, where next-token decisions require partial response evaluations. For instance, ARGS approximates token-level rewards by applying trajectory RMs to incomplete responses, leading to inaccuracies since these RMs are trained only on full responses. Other methods like Transfer-Q generate multiple full responses per token candidate, multiplying inference costs. These inefficiencies limit scalability and real-time adaptability.

기존 정렬 기술은 인간 피드백 (RLHF)의 강화 학습 (RLHF)과 DPO (Direct Preverence Optimization)와 같은 교육 시간 방법으로 인해 선호도 데이터 세트에 대해 LLM을 미세 조정하지만 중요한 계산 리소스를 요구하고 새로운 선호도에 대한 유연성이 부족합니다. 테스트 시간 방법은 RMS를 사용하여 Frozen LLM을 안내하지만 완전한 응답을 위해 단일 보상을 할당하는 궤적 수준의 RM에 의존합니다. 이것은자가 회귀 세대 동안 불일치를 만듭니다. 여기서 차세대 결정에는 부분 응답 평가가 필요합니다. 예를 들어, Args는 불완전한 응답에 궤적 RMS를 적용하여 토큰 수준의 보상을 근사화하여 이러한 RMS가 전체 응답 만 훈련되기 때문에 부정확성을 초래합니다. Transfer-Q와 같은 다른 방법은 토큰 후보자 당 여러 가지 전체 응답을 생성하여 추론 비용을 곱합니다. 이러한 비 효율성은 확장 성과 실시간 적응성을 제한합니다.

To address these issues, researchers from the University of Maryland, College Park and JPMorgan AI Research propose GenARM (Reward Guided Generation with Autoregressive Reward Model), a test-time alignment framework combining a novel autoregressive RM with guided decoding. The key innovation is the Autoregressive Reward Model, which decomposes trajectory-level rewards into token-level components. Instead of assigning a single reward to a full response, it predicts the reward for each token conditioned on prior tokens, enabling dense, step-by-step guidance, allowing rewards to directly influence each token choice without evaluating partial responses inaccurately.

이러한 문제를 해결하기 위해 메릴랜드 대학교, College Park 및 JPMorgan AI Research의 연구원들은 새로운 자동 회귀 RM을 유도 디코딩과 결합한 테스트 시간 정렬 프레임 워크 인 GenArm (자가 회귀 보상 모델과의 보상 가이드 생성)을 제안합니다. 주요 혁신은 자동 회귀 보상 모델로, 궤적 수준의 보상을 토큰 수준의 구성 요소로 분해합니다. 전체 응답에 단일 보상을 할당하는 대신, 이전 토큰에 조절 된 각 토큰에 대한 보상을 예측하여 조밀 한 단계별 지침을 가능하게하여 보상이 부분 응답을 부정확하게 평가하지 않고 각 토큰 선택에 직접 영향을 줄 수 있습니다.

During generation, GenARM integrates the autoregressive RM’s token-level rewards with the base LLM’s logits. The next token is sampled from a modified distribution. Unlike prior methods, this requires only one forward pass through the base and reward models per token, avoiding costly candidate expansions.

Genarm은 세대 동안 자동 회귀 RM의 토큰 수준 보상을 Base LLM의 로짓과 통합합니다. 다음 토큰은 수정 된 분포에서 샘플링됩니다. 이전 방법과 달리, 이것은 비용이 많이 드는 후보 확장을 피하기 때문에 기본 및 보상 모델을 통과하는 하나의 전방 패스 만 있으면됩니다.

Experiments demonstrate GenARM’s advantages across three scenarios:

실험은 세 가지 시나리오에서 Genarm의 장점을 보여줍니다.

1. General Human Preference Alignment: On the HH-RLHF dataset, GenARM outperforms test-time baselines like ARGS and Transfer-Q in helpfulness and harmlessness, matching the performance of training-time methods like DPO based on evaluations using GPT-4.

1. 일반적인 인적 선호도 정렬 : HH-RLHF 데이터 세트에서 Genarm은 GPT-4를 사용한 평가를 기반으로 DPO와 같은 교육 시간 방법의 성능과 일치하는 Args 및 Transfer-Q와 같은 테스트 시간 기준을 능가합니다.

2. Weak-to-Strong Guidance: A 7B autoregressive RM effectively guides larger base models (13B, 70B) without fine-tuning them. It surpasses DPO at the 7B scale and nearly matches DPO at the 13B scale. At the 70B scale, GenARM recovers more than 70% of the performance gap in both raw and LC win rates between Tulu2-70B and Tulu2-DPO-70B, all without the need to train the 70B LLM, demonstrating that smaller RMs can steer larger LLMs efficiently.

2. 약한 대략 지침 : 7B 자동 회귀 RM은 미세 조정하지 않고 더 큰 기본 모델 (13B, 70B)을 효과적으로 안내합니다. 7B 규모로 DPO를 능가하고 DPO를 13B 규모로 거의 일치시킵니다. 70B 규모로 Genarm은 TULU2-70B와 TULU2-DPO-70B 사이의 원시 및 LC 승리율 모두에서 성능 갭의 70% 이상을 70B LLM을 훈련시킬 필요없이 작은 RMS가 더 크게 조종 할 수 있음을 보여줍니다. 효율적으로 LLM.

3. Multi-Objective Alignment: GenARM balances conflicting preferences (e.g., helpfulness vs. harmlessness) by combining rewards from multiple autoregressive RMs. On the PKU-SafeRLHF-10K dataset, it achieves a Pareto frontier superior to Rewarded Soups and matches multi-objective RL without retraining.

3. 다목적 정렬 : Genarm은 다중 자동 회귀 RMS의 보상을 결합하여 상충되는 선호도 (예 : 도움과 무해 함)를 균형을 유지합니다. PKU-SAFERLHF-10K 데이터 세트에서 보상을받은 수프보다 우수한 파레토 프론티어를 달성하고 재교육없이 다목적 RL과 일치합니다.

The autoregressive RM’s design ensures it can express any reward function achievable by traditional RMs within the KL-regularized reinforcement learning framework. This theoretical guarantee, combined with token-level factorization, makes GenARM both expressive and efficient. Unlike trajectory-level RMs, which struggle with partial contexts, autoregressive RMs provide accurate, incremental feedback, preventing reward hacking or incoherent outputs during long generations.

자동 회귀 RM의 디자인은 KL- 규제 강화 학습 프레임 워크 내에서 전통적인 RM이 달성 할 수있는 보상 기능을 표현할 수 있도록합니다. 이 이론적 보증은 토큰 수준의 인수화와 결합하여 Genarm을 표현적이고 효율적으로 만듭니다. 부분적 맥락과 어려움을 겪고있는 궤적 수준의 RMS와 달리, 자동 회귀 RMS는 정확하고 증분 피드백을 제공하여 장기적으로 보상 해킹 또는 일관성이없는 출력을 방지합니다.

In summary, GenARM bridges the gap between training-time and test-time alignment by introducing autoregressive reward models that enable precise, token-level guidance. It eliminates the need for costly LLM retraining, supports dynamic adaptation to diverse preferences, and efficiently scales to larger models. By addressing the inefficiencies of trajectory-level rewards and enabling weak-to-strong guidance, GenARM offers a practical solution for aligning LLMs in resource-constrained scenarios. Future work could extend this approach to tasks like mathematical reasoning or code generation, where token-level rewards might enhance performance without additional fine-tuning.

요약하면, Genarm은 정확한 토큰 수준의 지침을 가능하게하는 자동 회귀 보상 모델을 도입하여 교육 시간과 테스트 시간 정렬 사이의 격차를 해소합니다. 비용이 많이 드는 LLM 재교육이 필요하지 않으며 다양한 선호도에 대한 동적 적응을 지원하며 더 큰 모델로 효율적으로 확장됩니다. Genarm은 궤적 수준의 보상의 비 효율성을 해결하고 약한 지침을 가능하게함으로써 자원으로 제한된 시나리오에서 LLM을 정렬하기위한 실용적인 솔루션을 제공합니다. 미래의 작업은 이러한 접근 방식을 수학적 추론 또는 코드 생성과 같은 작업으로 확장 할 수 있으며, 이는 토큰 수준의 보상이 추가 미세 조정없이 성능을 향상시킬 수 있습니다.

Check out the Paper. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 75k+ ML SubReddit.

종이를 확인하십시오. 이 연구에 대한 모든 크레딧은이 프로젝트의 연구원들에게 전달됩니다. 또한 Twitter에서 우리를 팔로우하고 Telegram Channel 및 LinkedIn Group에 가입하는 것을 잊지 마십시오. 75K+ ML 하위 레드에 가입하는 것을 잊지 마십시오.

? Recommended Open-Source AI Platform: ‘IntellAgent is a An Open-Source Multi-Agent Framework to Evaluate Complex Conversational AI System’ (Promoted)

? 권장 오픈 소스 AI 플랫폼 : 'Intellagent는 복잡한 대화 AI 시스템을 평가하기위한 오픈 소스 다중 에이전트 프레임 워크입니다'(프로모션)

원본 소스:marktechpost

부인 성명:info@kdj.com

제공된 정보는 거래 조언이 아닙니다. kdj.com은 이 기사에 제공된 정보를 기반으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 암호화폐는 변동성이 매우 높으므로 철저한 조사 후 신중하게 투자하는 것이 좋습니다!

본 웹사이트에 사용된 내용이 귀하의 저작권을 침해한다고 판단되는 경우, 즉시 당사(info@kdj.com)로 연락주시면 즉시 삭제하도록 하겠습니다.

2026年11月19日 에 게재된 다른 기사