次のトークン予測の根底にある因果世界モデル：制御された環境でのGPTの調査

次のトークン予測の根底にある因果世界モデル：制御された環境でのGPTの調査Raanan Y. Rohekar、Yaniv Gurwicz、Sungduk Yu、Estelle Aflalo、Vasudev Lalは、生成事前訓練を受けた変圧器（GPT）モデルを行います。 GPTの注意メカニズムの因果的な解釈を導き出し、この解釈から生じる因果世界モデルを提案することにより、この質問に対処します。さらに、推論時にGPTモデルは、入力シーケンスのゼロショット因果構造学習に使用し、信頼性スコアを提示できることを提案します。経験的評価は、OthelloおよびChess Strategyゲームのセットアップとルールを使用して、制御された環境で実施されます。勝利を目的として再生された現実世界のゲームで事前に訓練されたGPTは、ランダムな法的動きのシーケンスで構成される分散式の合成データでテストされています。 GPTモデルは、因果構造が注意メカニズムに高い信頼性を持ってエンコードされる分散除外シーケンスの合法的な次の動きを生成する可能性が高いことがわかります。 GPTモデルが違法な動きを生成する場合、因果構造もキャプチャできません。