标题：超越接下来的令牌（2025年4月）链接：http：//arxiv.org/abs/2504.11336v1日期：2025年4月摘要：介绍Trelawney，一种以数据为中心的方法，一种以数据为中心的方法，用于通过重新排列培训数据来改善语言模型，包括“ BookAhead”代表“ lookahead”代表未来的信息，而不受其构建的构建，并提高了计划，并提高了构建功能，并提高了构建功能，并提高了构建工作，并进行了构建工作，并进行了构建，并提高了构建的范围。 Key Topics: - Language Models - Next Token Prediction - Data Augmentation - Teacher Forcing - Planning - Reasoning - Story Generation - Lookahead Tokens - TRELAWNEY Chapters: 00:00 - The Problem with Next Token Prediction 00:17 - Goal-Oriented Thinking 00:43 - Introducing TRELAWNEY 01:17 - A Data-Centric Solution 01:56 - Deep Dive Overview 02:21 - Human Planning vs. NTP 02：57-特雷拉尼（Trelawney）的工作方式03：34-特雷拉尼（Trelawney）的好处03：51-教师强迫限制04：38-聪明的汉斯作弊05：45-不可安全的标记问题06:26-曝光07：11- bias bias bil bil by of信息流量07：38：38 -trelawney -trelawney -trelawney -trelawney -trelawney -trelawny：38- 08:26 - Importance of Choosing the Right Chunk 08:58 - The Distance Between Decision Point and Sequence 09:33 - Positional Information 10:12 - Leveraging Preexisting Knowledge 10:41 - Training with Augmented Sequences 11:24 - Loss Function Tweak 11:47 - Masking the T Token 12:09 - Inference with TRELAWNEY 12:31 - T Generation 12:58 - Explicit Control 13:23 - Experiment Domains 13:58 - StarCraft Task 14:23 - NTP Struggles 14:44 - Excluding V1 15:11 - Results on Standard Autoregressive Generation 16:00 - Algorithmic Reasoning 16:39 - Rule Based vs Random Selection 17:16 - Natural Language Planning 17:50 - Evaluate Story Quality 18:35 - Perplexity 19:06 - Big Picture Takeaway 19:52 - Goal Orientation 20:11 - Further想法
