AI 数学 02 为什么一枚均匀的硬币给出一位信息,而八张同样可能的卡片中的一张给出三位信息?按照选择、二叉树和对数来了解概率如何成为信息的度量。在《AI 数学》的第 2 集中,Emma、Aoi 和 Norm 解释了自我信息(令人惊讶)、为什么该单位使用底数为 2,以及为什么对数可以让连续步骤的信息相加。然后,我们使用一个小型语言模型示例来区分训练期间对观察到的标记进行评分与生成期间选择下一个标记。 00:00 惊喜的衡量标准 00:57 一个平衡的选择,一位 01:59 为什么是对数? 05:28 模型很重要 06:21 对人工智能预测进行评分 09:21 一个结果,然后是平均值 中心定义是 I = −log2(p),以比特为单位。在这里,惊喜是指定概率模型下的数学量,而不是情感、重要性或真相的度量。语言模型概率只是说明性示例,而不是特定人工智能系统的测量结果。系列:人工智能数学 01 — 贝叶斯规则:更新信念 02 — 信息、惊喜和比特(本集) 03 — 熵:测量不确定性(下一个) 04 — 交叉熵和预测损失 05 — 概率校准 06 — 梯度下降和学习 未来的主题和顺序是临时的。参考文献和进一步阅读:Claude E. Shannon,通信数学理论 (1948):https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x 斯坦福大学 EE276,信息论讲义: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 拥抱脸部变形金刚,困惑:https://huggingface.co/docs/transformers/perplexity 拥抱脸部变形金刚,生成策略:https://huggingface.co/docs/transformers/ Generation_strategies 原始图表和动画:好奇心,清晰。虚构的插图主持人和合成角色声音。如果解释有帮助,请喜欢视频并订阅。您会用比特来衡量什么日常预测?在评论中告诉我们。 #InformationTheory #MathematicsForAI #Bits 系列播放列表:https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 上一集:https://youtu.be/kS9gsyHW0yk
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。