Ein kausales Weltmodell. das neben Token -Vorhersage zugrunde liegt: Erforschung von GPT in einer kontrollierten Umgebung

Ein kausales Weltmodell, das neben Token-Vorhersage zugrunde liegt: Erkundung der GPT in einer kontrollierten Umgebung Raanan Y. Rohekar, Yaniv Gurwicz, Sungduk Yu, Estelle Aflalo, Vasudev lal do generatives Vorausgebildeter Transformator (GPT) -Modelle, nur um das nächste Token implizit zu prüfen. Wir befassen uns mit dieser Frage, indem wir eine kausale Interpretation des Aufmerksamkeitsmechanismus in GPT abgeben und ein kausales Weltmodell vorschlagen, das sich aus dieser Interpretation ergibt. Darüber hinaus schlagen wir vor, dass GPT-Modelle zum Zeitpunkt der Inferenz für das Lernen von kausaler Struktur von Null-Shots für Eingabesequenzen verwendet werden können und einen Konfidenzwert darstellen. Die empirische Bewertung wird in einer kontrollierten Umgebung unter Verwendung des Setups und der Regeln der Othello- und Schachstrategiespiele durchgeführt. Ein GPT, der in realen Spielen vorgebracht ist, die mit der Absicht des Gewinns gespielt werden, wird an synthetischen Daten außerhalb der Verteilung getestet, die aus Sequenzen zufälliger Rechtsbewegungen bestehen. Wir stellen fest, dass das GPT-Modell wahrscheinlich die legalen nächsten Schritte für außerverteilte Sequenzen erzeugt, für die eine kausale Struktur mit hohem Vertrauen im Aufmerksamkeitsmechanismus codiert wird. In Fällen, in denen das GPT -Modell illegale Bewegungen erzeugt, kann es auch keine kausale Struktur erfassen.