bitcoin
bitcoin

$61605.656648 USD

-3.04%

ethereum
ethereum

$1741.712974 USD

-3.34%

tether
tether

$0.999452 USD

0.06%

bnb
bnb

$569.840001 USD

-3.10%

usd-coin
usd-coin

$1.000291 USD

0.05%

xrp
xrp

$0.962638 USD

-1.69%

solana
solana

$72.392737 USD

-3.10%

tron
tron

$0.309467 USD

-1.00%

hyperliquid
hyperliquid

$65.780663 USD

-3.44%

zcash
zcash

$850.819478 USD

-9.16%

monero
monero

$479.362672 USD

-4.57%

dogecoin
dogecoin

$0.057347 USD

-3.31%

unus-sed-leo
unus-sed-leo

$9.228306 USD

-1.21%

chainlink
chainlink

$8.839656 USD

-3.37%

cardano
cardano

$0.149404 USD

-2.68%

加密货币视频

人工智能实际上是如何工作的(只是猜测下一个单词)

2026/11/01 22:00 Stack Zero

人工智能实际上是如何运作的? ChatGPT、Claude 或 Gemini 等聊天机器人的每个答案都是由大型语言模型猜测下一个单词,一次写入一个标记。该视觉解释器遵循整个机器的一个提示。故事始于 1948 年,当时克劳德·香农 (Claude Shannon) 通过翻阅一本书并逐字猜测来造出一个句子。它几乎成功了,然后崩溃了。今天的目标是一样的,但机器可以回顾它读过的所有内容。我们遵循“第一个在月球上行走的人是……”从标记到向量,通过注意力和 96 层,到概率列表和被选中的一个单词。然后我们研究训练,为什么模型在错误时听起来很自信,以及预测可以走多远。在该视频中: • 什么是大型语言模型 (LLM),以及什么是“参数” • 标记:如何将文本切成碎片并转换为数字 • 向量和词嵌入(Bengio,2003) • 注意力:查询、键和值,直观解释(Vaswani 等人,2017) • Softmax、概率和温度:如何选择下一个标记 • 训练、微调和人工反馈 • 为什么选择人工智能幻觉、上下文窗口和知识截止章节 下一个单词预测模型如何实际生成文本。查看概率语言模型和注意力背后的逻辑。大多数人认为人工智能模型像人类一样思考,但它们实际上是统计引擎。本影片详细介绍了下一个单词预测模型如何根据训练数据计算下一个标记的概率的机制。我们探索克劳德·香农 (Claude Shannon) 的原始实验以及它们如何演变成为现代系统提供动力的架构。除了简单的概率之外,我们还研究了词向量和注意力机制,以展示机器如何处理上下文。您将了解为什么这些系统有时会产生无意义的输出,以及它们如何将语言映射到数学空间。对于任何使用或研究大型语言模型的人来说,理解这些核心原则都是至关重要的。堆栈零。复杂的系统。清晰的解释。真正的影响。订阅现代软件背后的技术的每周细分。 0:00 1948 年的猜测单词实验 0:40 今天的聊天机器人:仍在猜测下一个单词 1:41 什么是大型语言模型 2:02 令牌和预测循环 2:41 为什么香农的句子会崩溃 2:56 香农的人类猜测游戏 (1951) 3:32 单词计数:n-gram 3:57 单词向量 (2003) 4:19 注意力到来 (2014) 4:41 变形金刚:“注意力就是你所需要的”(2017) 5:07 模型内部:一个提示,一步一步 5:15 第 1 步:令牌 5:38 第 2 步:向量 6:01 第 3 步:注意力(查询、键、值) 6:49 注意力头 7:04 96 层和前馈网络7:33 第 4 步:概率和 softmax 7:48 第 5 步:选择下一个标记(贪婪、采样、温度) 8:14 循环:一次一个标记 8:33 训练:规模化的香农博弈 9:16 从预测器到助手 9:34 一个循环,许多产品 9:45 为什么人工智能会产生幻觉 10:18 上下文窗口、截止值和来源 10:37 回顾:整机10:59 预测能走多远?除非显示来源,否则屏幕上的数字仅供参考。资料来源 • Shannon (1948),《沟通的数学理论》:https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951),《印刷英语的预测和熵》: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio 等人。 (2003),神经概率语言模型:https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho 和 Bengio (2014),联合学习对齐和翻译的神经机器翻译:https://arxiv.org/abs/1409.0473 • Vaswani 等人。 (2017),注意力就是你所需要的:https://arxiv.org/abs/1706.03762 • Brown 等人。 (2020),语言模型是少样本学习者 (GPT-3):https://arxiv.org/abs/2005.14165 • Meta (2024),Meta Llama 3 简介:https://ai.meta.com/blog/meta-llama-3/ • OpenAI 帮助,什么是代币以及如何计算代币: https://help.openai.com/en/articles/4936856 • Geva 等人。 (2021),变压器前馈层是键值存储器:https://arxiv.org/abs/2012.14913 (2022),训练语言模型遵循人类反馈的指令:https://arxiv.org/abs/2203.02155 • OpenAI (2025),为什么语言模型会产生幻觉:https://openai.com/index/why-language-models-hallucinate/ • Olsson 等人。 (2022),上下文学习和归纳头:https://transformer-circuts.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero 从头开始​​解释了日常技术背后的系统。 #AI #LLM #HowAIWorks
视频来源:Youtube

免责声明:info@kdj.com

所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!

如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。

2026年11月20日 发表的其他视频