第 23 集引出了注意力並證明了它是排列等變的:以相同的方式對輸入的行和輸出的行進行洗牌,沒有其他變化。這對集合來說是一個特徵,對於句子來說則是災難,因為“the cat sat”和“sat the cat”變成了同一個向量包。這一集首先展示了在一個四標記、四維玩具上的數字失敗:排列輸入的注意力輸出正是排列輸出,精確到最後一個小數。然後它說明了位置代碼必須做什麼,並透過該領域已經回答的三種方式進行工作:添加到輸入中的學習表(2018)、2017 年的正弦代碼和旋轉嵌入(2021),以及 ALiBi 和學習的相對偏差。正弦代碼得到了充分的處理。計算並顯示了位置 0 到 7 的 d 等於 8 表,波長從 2 pi 到大約 10,000 倍 2 pi 的幾何擴展被解釋為連續的二進制計數器,並導出了證明正弦和余弦合理性的定理:對於每個頻率對,向前移動 k 個位置是僅取決於 × k 的兩個偏移 2 的固定點旋轉嵌入是在複平面中導出的,其中相同的想法直接落在註意力分數上。該玩具使用位置代碼重新運行,排列後的輸出不再是排列後的副本。最後一張投影片將定理與經驗比較區分開來,包括長度概括的誠實狀態。 📚 繼續:→「自動編碼器和壓縮的瓶頸」-下一個架構根本與序列無關:一個被迫穿過狹窄中間的網絡,以及狹窄讓它學習什麼。 🎓 最適合:使用過深度學習架構並希望了解其實際計算內容的程式設計師、科學家和數學家,以及想要先了解理論再使用工具的學生。假定您熟悉向量、矩陣和單變量微積分;機率、矩陣演算和最佳化都是從頭開始建立的。 — QED Realized — 對需要真正講課才能落地的想法進行清晰的解釋。 🔔 訂閱,這樣您就不會錯過下一課程:https://www.youtube.com/@QEDRealized ❤️ 在 Patreon 上支持我:https://www.patreon.com/QEDRealized 這些課程是免費的,並且保持免費。 Patreon 是您可以直接支持我並幫助資助更多專案的方式——每一項承諾都讓我更接近全職工作。 #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath — 標籤(用於搜尋) — 位置編碼解釋,為什麼 Transformer 需要位置編碼,注意排列等方差證明,正弦位置編碼推導,sin cos 位置編碼旋轉到矩陣屬性,位置編碼點積取決於偏移量,幾何波長 2 pi 到 2 pi,二進制計數器類比位置編碼,學習的絕對位置嵌入無法推斷,旋轉位置嵌入繩索推導複數,繩索相對位置屬性,不在場線性偏差注意,每個偏移的相對位置偏差,長度泛化變壓器經驗,有和沒有位置編碼的四個令牌注意玩具,變壓器位置編碼歷史2017 2018 2021,深度課程注意玩具,變壓器23 集的定理,重述 2:34 四個標記,每個數字 3:57 四個要求,以及三個無法滿足要求的候選者 5:11 最簡單的注入及其極限 6:24 定義和每個數字 7:48 為什麼頻率是幾何階梯 8:59 為什麼導出正弦和余弦 10:39 僅偏移點數量將輪換放在分數本身上 15:08 按偏移量偏壓分數 16:21 認知狀態和五個日期 18:00 回顧 19:18 感謝觀看
免責聲明:info@kdj.com
所提供的資訊並非交易建議。 kDJ.com對任何基於本文提供的資訊進行的投資不承擔任何責任。加密貨幣波動性較大,建議您充分研究後謹慎投資!
如果您認為本網站使用的內容侵犯了您的版權,請立即聯絡我們(info@kdj.com),我們將及時刪除。