標題：超越接下來的令牌（2025年4月）鏈接：http：//arxiv.org/abs/2504.11336v1日期：2025年4月摘要：介紹Trelawney，一種以數據為中心的方法，一種以數據為中心的方法，用於通過重新排列培訓數據來改善語言模型，包括“ BookAhead”代表“ lookahead”代表未來的信息，而不受其構建的構建，並提高了計劃，並提高了構建功能，並提高了構建功能，並提高了構建工作，並進行了構建工作，並進行了構建，並提高了構建的範圍。 Key Topics: - Language Models - Next Token Prediction - Data Augmentation - Teacher Forcing - Planning - Reasoning - Story Generation - Lookahead Tokens - TRELAWNEY Chapters: 00:00 - The Problem with Next Token Prediction 00:17 - Goal-Oriented Thinking 00:43 - Introducing TRELAWNEY 01:17 - A Data-Centric Solution 01:56 - Deep Dive Overview 02:21 - Human Planning vs. NTP 02：57-特雷拉尼（Trelawney）的工作方式03：34-特雷拉尼（Trelawney）的好處03：51-教師強迫限制04：38-聰明的漢斯作弊05：45-不可安全的標記問題06:26-曝光07：11- bias bias bil bil by of信息流量07：38：38 -trelawney -trelawney -trelawney -trelawney -trelawney -trelawny：38- 08:26 - Importance of Choosing the Right Chunk 08:58 - The Distance Between Decision Point and Sequence 09:33 - Positional Information 10:12 - Leveraging Preexisting Knowledge 10:41 - Training with Augmented Sequences 11:24 - Loss Function Tweak 11:47 - Masking the T Token 12:09 - Inference with TRELAWNEY 12:31 - T Generation 12:58 - Explicit Control 13:23 - Experiment Domains 13:58 - StarCraft Task 14:23 - NTP Struggles 14:44 - Excluding V1 15:11 - Results on Standard Autoregressive Generation 16:00 - Algorithmic Reasoning 16:39 - Rule Based vs Random Selection 17:16 - Natural Language Planning 17:50 - Evaluate Story Quality 18:35 - Perplexity 19:06 - Big Picture Takeaway 19:52 - Goal Orientation 20:11 - Further想法
