輸入問題和人工智慧回答問題之間到底發生了什麼事?影片開啟了 Transformer,即 GPT、Claude、Gemini 和大多數現代語言模型背後的架構,並遵循一個簡單的句子「貓喝牛奶。」貫穿每一步。您將了解文字如何成為標記和標記 ID、嵌入和位置編碼如何將它們轉換為向量、自註意力如何使用查詢、鍵和值、為什麼存在多頭注意力、前饋網絡、殘差連接和層標準化的作用、因果屏蔽如何讓模型預測下一個標記、訓練和推理如何工作,以及為什麼 KV 緩存對於在 GPU 上運行大型語言模型很重要。沒有黑盒子,也沒有不必要的行話:一句話、一系列圖表和幕後的數學。顯示的令牌 ID、向量和百分比僅供說明。時間戳 0:00 簡介:當你向 AI 提問時會發生什麼 1:01 變形金剛之前:RNN 和 2017 年論文 2:14 標記化:將文本轉化為標記 ID 3:27 嵌入:將單詞作為向量 4:43 位置編碼和 RoPE 5:54 注意力集中 5:54 追蹤:將單字作為向量 4:43 位置編碼和 RoPE 5:54 專注11:11 前饋網路 12:16 殘差連接與層歸一化 13:20 完整的 Transformer 模組 14:08 編碼器、解碼器以及 BERT、GPT 和 T5 15:22 因果屏蔽 16:27 Transformer 是如何訓練的 17:46 推理: 21:07 為什麼變形金剛改變了人工智慧
免責聲明:info@kdj.com
所提供的資訊並非交易建議。 kDJ.com對任何基於本文提供的資訊進行的投資不承擔任何責任。加密貨幣波動性較大,建議您充分研究後謹慎投資!
如果您認為本網站使用的內容侵犯了您的版權,請立即聯絡我們(info@kdj.com),我們將及時刪除。