A Causal World Model Underlying Next Token Prediction: Exploring GPT in a Controlled Environment Raanan Y. Rohekar, Yaniv Gurwicz, Sungduk Yu, Estelle Aflalo, Vasudev Lal Do generative pre-trained transformer (GPT) models, trained only to predict the next token, implicitly learn a world model from which a sequence is generated one token at a time?我们通过得出对GPT中注意机制的因果解释来解决这个问题，并提出了一种因果世界模型，该模型是由这种解释引起的。此外，我们建议将GPT模型在推理时间用于输入序列的零射击因果结构学习，并提出置信度评分。经验评估是在受控的环境中使用奥赛罗和国际象棋策略游戏的设置和规则进行的。在现实世界中预先训练的GPT是为了获胜的目的，经过分布外的合成数据测试，该数据由随机法律移动的序列组成。我们发现，GPT模型可能会为分布外序列产生法律下一步的动作，该序列在注意机制中以高信心在注意机制中编码了因果结构。在GPT模型生成非法移动的情况下，它也无法捕获任何因果结构。
