第 23 集引出了注意力并证明了它是排列等变的:以相同的方式对输入的行和输出的行进行洗牌,没有其他变化。这对于集合来说是一个特征,对于句子来说则是灾难,因为“the cat sat”和“sat the cat”变成了同一个向量包。这一集首先展示了在一个四标记、四维玩具上的数字失败:排列输入的注意力输出正是排列输出,精确到最后一个小数。然后它说明了位置代码必须做什么,并通过该领域已经回答的三种方式进行工作:添加到输入中的学习表(2018)、2017 年的正弦代码和旋转嵌入(2021),以及 ALiBi 和学习的相对偏差。正弦代码得到了充分的处理。计算并显示了位置 0 到 7 的 d 等于 8 表,波长从 2 pi 到大约 10,000 倍 2 pi 的几何扩展被解释为连续的二进制计数器,并导出了证明正弦和余弦合理性的定理:对于每个频率对,向前移动 k 个位置是仅取决于 k 的固定 2 × 2 旋转,因此相对偏移是线性可恢复的,并且两个代码的点积仅取决于 their separation.旋转嵌入是在复平面中导出的,其中相同的想法直接落在注意力分数上。该玩具使用位置代码重新运行,并且排列后的输出不再是排列后的副本。最后一张幻灯片将定理与经验比较区分开来,包括长度概括的诚实状态。 📚 继续:→“自动编码器和压缩的瓶颈”——下一个架构根本与序列无关:一个被迫穿过狭窄中间的网络,以及狭窄让它学习什么。 🎓 最适合:使用过深度学习框架并希望了解其实际计算内容的程序员、科学家和数学家,以及想要先了解理论再使用工具的学生。假定您熟悉向量、矩阵和单变量微积分;概率、矩阵演算和优化都是从头开始构建的。 — QED Realized — 对需要真正讲座才能落地的想法进行清晰的解释。 🔔 订阅,这样您就不会错过下一课程:https://www.youtube.com/@QEDRealized ❤️ 在 Patreon 上支持我:https://www.patreon.com/QEDRealized 这些课程是免费的,并且保持免费。 Patreon 是您可以直接支持我并帮助资助更多项目的方式——每一项承诺都让我更接近全职工作。 #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath — 标签(用于搜索) — 位置编码解释,为什么 Transformer 需要位置编码,注意排列等方差证明,正弦位置编码推导,sin cos 位置编码旋转矩阵属性,位置编码点积取决于偏移量,几何波长 2 pi 到 10000 2 pi,二进制计数器类比位置编码,学习的绝对位置嵌入无法推断,旋转位置嵌入绳索推导复数,绳索相对位置属性,不在场线性偏差注意,每个偏移的相对位置偏差,长度泛化变压器经验,有和没有位置编码的四个令牌注意玩具,变压器位置编码历史2017 2018 2021,深度学习课程第25集,位置编码数学导出⏱章节0:00今天构建什么1:08 第 23 集的定理,重述 2:34 四个标记,每个数字 3:57 四个要求,以及三个无法满足要求的候选者 5:11 最简单的注入及其极限 6:24 定义和每个数字 7:48 为什么频率是几何阶梯 8:59 为什么导出正弦和余弦 10:39 仅偏移点积,导出并绘制 11:58 相同的四个标记,现在处于位置 13:26 将轮换放在分数本身上 15:08 按偏移量偏置分数 16:21 认知状态和五个日期 18:00 回顾 19:18 感谢观看
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。