次のトークンを超えて見る（2025年4月）

タイトル：The Beyond The Next Token（2025年4月）リンク：http：//arxiv.org/abs/2504.11336v1日付：2025年4月概要：Trelawneyは、「Lookahead」を含むトレーニングデータを含むトレーニングデータを含むトークンを含むトークンを含むトークンを含むトークンを含むトークンを含むトークンを改善するための言語モデルを改善するためのデータ中心の方法を紹介します。重要なトピック： - 言語モデル - 次のトークン予測 - データ増強 - 教師の強制 - 計画 - 推論 - ストーリー生成 - ルックヘッドトークン - トレローニー章：00:00-次のトークン予測の問題00:17-目標指向の思考00:43-紹介NTP 02:57-トレラウニーの仕組み03:34-トレローニーの利点03:51-教師の強制制限04:38-賢いハンスチート05:45-露出性トークン問題06:26-エクスポージャーバイアス07:11-情報フロー07:38-トレロウニュニーのために08:38 -augmentation 08:03 08:26-適切なチャンクを選択することの重要性08:58-決定点とシーケンス間の距離09:33-位置情報10:12-既存の知識を活用する10:41-増強シーケンスを使用したトレーニング11:24-損失関数の調整11:47- Tトークン12:09のマスキング13:31-113- 13:58-スタークラフトタスク14:23- NTP闘争14:44- V1 15:11を除く - 標準的な自己回帰ジェネレーション16:00の結果 - アルゴリズムの推論16:39-ルールベースのvsランダム選択17:16-自然言語計画17:50-ストーリーの品質を評価する18:35-