有没有想过#AI 和#LLM 中的标记、标记器和语义向量(嵌入)到底是什么?在这个#tutorial中,我们打破了大型语言模型如何表示人类语言的核心数学和几何基础 - 同时完全坦率地对待沿途的每一个简化。对于神经网络来说,人类的拼写非常混乱:微小的单字母调整会创建完全不相关的单词,而相同的概念在同义词和语言中看起来完全不同。让我们追踪现代人工智能如何将原始文本转换为几何图形,并在浏览器和 Python 中对其进行实时测试。我们将介绍: - 为什么原始人类单词和字典 ID 对神经网络来说具有零语义 - 分词器如何在训练前将文本压缩为子词分词和整数分词器 ID - 语义向量空间 - 一些数学 - 动手演示 目录 (TOC):00:00 - 简介 00:22 - 为什么人类语言对于神经网络来说很棘手 02:38 - 分词器和分词器如何工作05:17 - 嵌入向量和关系几何 08:01 - 超越 2D:为什么有数百或数千个维度? 09:58 - 点积、投影和余弦相似度 12:55 - 高维中的几乎正交向量 15:14 - 嵌入矩阵查找 16:16 - 实践:OpenAI Tokenizer 17:09 - 实践:Python 中的 Word2Vec 语义向量 19:11 - 具有多种含义的单词 21:03 - 完成旅程总结 22:05 - 四种简化 #ArtificialIntelligence #LLM #Embeddings #Vectors #Tokenization #MachineLearning #DeepLearning #Python #Word2Vec #NLP #GenerativeAI
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。