質問を入力してから AI がそれに答えるまでの間に実際には何が起こるのでしょうか?このビデオでは、GPT、Claude、Gemini、およびほとんどの最新言語モデルの背後にあるアーキテクチャである Transformer を開き、「猫はミルクを飲みます。」という 1 つの簡単な文を各ステップを通して説明します。テキストがどのようにトークンとトークン ID になるか、埋め込みと位置エンコーディングがどのようにベクトルに変換するか、セルフ アテンションがクエリ、キー、値をどのように使用するか、マルチヘッド アテンションが存在する理由、フィードフォワード ネットワーク、残差接続、レイヤー正規化が行うこと、因果マスキングによってモデルが次のトークンを予測する方法、トレーニングと推論がどのように機能するか、GPU で大規模な言語モデルを実行する場合に KV キャッシュが重要である理由がわかります。ブラックボックスや不必要な専門用語はありません。一文、一連の図、そして舞台裏の数学です。示されているトークン ID、ベクトル、およびパーセンテージは例示的なものです。タイムスタンプ 0:00 はじめに: AI に質問すると何が起こるか 1:01 Transformers の前: RNN と 2017 年の論文 2:14 トークン化: テキストからトークン ID へ 3:27 埋め込み: ベクトルとしての単語 4:43 位置エンコーディングと RoPE 5:54 自己注意: クエリ、キー、および値 8:52 スケーリングされたドット積注意、ステップバイステップ9:35 マルチヘッド アテンション 11:11 フィードフォワード ネットワーク 12:16 残留接続と層正規化 13:20 完全な Transformer ブロック 14:08 エンコーダー、デコーダー、BERT、GPT、および T5 15:22 因果マスキング 16:27 Transformer のトレーニング方法 17:46 推論: テキストの生成方法 18:53 KV キャッシュ20:15 完全な旅 21:07 トランスフォーマーが AI を変えた理由
免責事項:info@kdj.com
提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。
このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。
2026年11月22日 他の動画も公開されています