A Causal World Model Underlying Next Token Prediction: Exploring GPT in a Controlled Environment Raanan Y. Rohekar, Yaniv Gurwicz, Sungduk Yu, Estelle Aflalo, Vasudev Lal Do generative pre-trained transformer (GPT) models, trained only to predict the next token, implicitly learn a world model from which a sequence is generated one token at a time?我們通過得出對GPT中註意機制的因果解釋來解決這個問題，並提出了一種因果世界模型，該模型是由這種解釋引起的。此外，我們建議將GPT模型在推理時間用於輸入序列的零射擊因果結構學習，並提出置信度評分。經驗評估是在受控的環境中使用奧賽羅和國際象棋策略遊戲的設置和規則進行的。在現實世界中預先訓練的GPT是為了獲勝的目的，經過分佈外的合成數據測試，該數據由隨機法律移動的序列組成。我們發現，GPT模型可能會為分佈外序列產生法律下一步的動作，該序列在註意機制中以高信心在註意機制中編碼了因果結構。在GPT模型生成非法移動的情況下，它也無法捕獲任何因果結構。
