다음 토큰 예측의 기초가되는 인과 관계 세계 모델 : 통제 된 환경에서 GPT 탐색

다음 토큰 예측의 기본 원인 세계 모델 : 통제 된 환경에서 GPT 탐색 Raanan Y. Rohekar, Yaniv Gurwicz, Sungduk Yu, Estelle Aflalo, Vasudev Lal은 다음 토큰을 예측하기 위해 훈련 된 생성 적 미리 훈련 된 변압기 (GPT) 모델을 수행합니다. 우리는 GPT의주의 메커니즘에 대한 인과 적 해석을 도출 하고이 해석에서 발생하는 인과 적 세계 모델을 제안 함으로써이 질문을 다룹니다. 또한, 우리는 추론 시간에 GPT 모델을 입력 시퀀스에 대한 제로 샷 인과 구조 학습에 활용하고 신뢰 점수를 제시 할 수 있다고 제안합니다. 경험적 평가는 Othello 및 Chess 전략 게임의 설정 및 규칙을 사용하여 통제 된 환경에서 수행됩니다. 승리의 의도로 수행 된 실제 게임에서 미리 훈련 된 GPT는 임의의 법적 움직임 시퀀스로 구성된 분포되지 않은 합성 데이터에 대해 테스트됩니다. 우리는 GPT 모델이 인과 적 구조가 높은 신뢰를 갖는주의 메커니즘에서 인코딩되는 분포되지 않은 시퀀스에 대한 합법적 인 다음 움직임을 생성 할 가능성이 있음을 발견했습니다. GPT 모델이 불법 이동을 생성하는 경우 인과 관계 구조도 포착하지 못합니다.