AIは実際にどのように機能するのでしょうか? ChatGPT、Claude、Gemini などのチャットボットからのすべての応答は、大規模な言語モデルが次の単語を推測することによって、一度に 1 つのトークンずつ書き込まれます。この視覚的な説明は、マシン全体で 1 つのプロンプトに従います。それは 1948 年に始まり、クロード シャノンは本をめくり、単語を次々と推測して文章を構築しました。それはほとんどうまくいきましたが、その後崩壊しました。今日の目標は同じですが、マシンは読み取ったすべてのものを振り返ることができます。 「最初に月面を歩いた人は…」をトークンからベクトル、注意と 96 のレイヤーを経て、確率のリストと選ばれた 1 つの単語に至るまで追跡します。次に、トレーニング、モデルが間違っているときに自信を持って聞こえる理由、予測がどこまで可能なのかを見ていきます。このビデオの内容: • 大規模言語モデル (LLM) とは何か、そして「パラメータ」とは何なのか • トークン: テキストがどのように分割され、数値に変換されるのか • ベクトルと単語の埋め込み (Bengio、2003) • 注意: クエリ、キー、値、視覚的に説明 (Vaswani et al., 2017) • ソフトマックス、確率、温度: 次のトークンの選択方法 • トレーニング、微調整、人間によるフィードバック • AI が幻覚を起こす理由、コンテキスト ウィンドウ、知識の遮断 第章 次の単語予測モデルが実際にどのようにテキストを生成するか。確率的言語モデルと注意の背後にあるロジックをご覧ください。ほとんどの人は、AI モデルが人間と同じように考えると考えていますが、実際には統計エンジンです。この映画では、次単語予測モデルがトレーニング データに基づいて次のトークンの確率を計算する仕組みを詳しく説明します。クロード シャノンによるオリジナルの実験と、それらがどのようにして現代のシステムを動かすアーキテクチャに進化したかを探ります。単純な確率を超えて、単語ベクトルと注意メカニズムを調べて、機械がコンテキストをどのように処理するかを示します。これらのシステムが時々無意味な出力を生成する理由と、言語を数学的空間にどのようにマッピングするかを学びます。これらの核となる原則を理解することは、大規模な言語モデルを使用して構築したり研究したりする人にとって不可欠です。スタックゼロ。複雑なシステム。明確な説明。リアルインパクト。最新のソフトウェアの背後にあるテクノロジーの毎週の詳細を購読してください。 0:00 単語を推測する 1948 年の実験 0:40 現在のチャットボット: まだ次の単語を推測している 1:41 大規模な言語モデルとは 2:02 トークンと予測ループ 2:41 シャノンの文章がバラバラになった理由 2:56 シャノンの人間推測ゲーム (1951 年) 3:32 単語を数える: n グラム 3:57 単語ベクトル (2003) 4:19 アテンションの到着 (2014) 4:41 トランスフォーマー: 「アテンションが必要なだけ」 (2017) 5:07 モデルの内部: 1 つのプロンプト、ステップバイステップ 5:15 ステップ 1: トークン 5:38 ステップ 2: ベクトル 6:01 ステップ 3: アテンション (クエリ、キー、値) 6:49 アテンション ヘッド 7:04 96 レイヤーとフィードフォワードネットワーク 7:33 ステップ 4: 確率とソフトマックス 7:48 ステップ 5: 次のトークンの選択 (貪欲、サンプリング、温度) 8:14 ループ: 一度に 1 つのトークン 8:33 トレーニング: 大規模なシャノン ゲーム 9:16 予測子からアシスタントまで 9:34 1 つのループ、多数のプロダクト 9:45 なぜ AI が幻覚を起こすのか 10:18 コンテキスト ウィンドウ、カットオフ、ソース10:37 要約: マシン全体 10:59 予測はどこまで可能ですか?出典が示されていない限り、画面上の数字は例示です。出典 • Shannon (1948)、コミュニケーションの数学理論: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951)、印刷英語の予測とエントロピー: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et al。 (2003)、神経確率的言語モデル: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho & Bengio (2014)、整列と翻訳を共同学習することによるニューラル機械翻訳: https://arxiv.org/abs/1409.0473 • Vaswani et al。 (2017)、必要なのは注意だけです: https://arxiv.org/abs/1706.03762 • Brown et al。 (2020)、Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 • Meta (2024)、Meta Llama 3 の紹介: https://ai.meta.com/blog/meta-llama-3/ • OpenAI ヘルプ、トークンとは何か、およびそのカウント方法: https://help.openai.com/en/articles/4936856 • Geva et al. (2021)、Transformer Feed-Forward Layers Are Key-Value Memories: https://arxiv.org/abs/2012.14913 • Ouyang et al。 (2022)、人間のフィードバックによる指示に従う言語モデルのトレーニング: https://arxiv.org/abs/2203.02155 • OpenAI (2025)、言語モデルが幻覚を起こす理由: https://openai.com/index/why- language-models-hallucinate/ • Olsson et al。 (2022)、In-context Learning and Induction Heads: https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero は、日常のテクノロジーの背後にあるシステムを基礎から説明しています。 #AI #LLM #AIWorks の仕組み
免責事項:info@kdj.com
提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。
このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。
2026年11月17日 他の動画も公開されています