为什么Qwen 3.8 27B这么慢？一项默认设置。

#Qwen #LocalLLM #AIEngineering Simon Willison 在一台适合笔记本电脑的 17 GB 型号上运行了一个提示。绘制一个圆的 SVG。花了**二十一分钟**和**22,276 个内部推理标记**，产生了 3,223 个完成作品的标记 - 结果是一个带有同心引导线、刻度线和环境运动的“几何圆研究”。不是一个圆圈。该模型确实非常出色。问题出在一行配置上。 Qwen 发布 **Qwen 3.8 27B**，并将 `reasoning_effort` 设置为 **xhigh**，这是其自己的文档为“需要彻底分析的复杂任务”保留的级别 - 应用于每个提示、每个量化构建中。威利森对这一选择的评价只有一个词：搞笑。这种细分通过默认成本和何时值得支付来进行： - 算术：22,276 个推理令牌与 LM Studio 的 8,192 个令牌默认上下文窗口相对应，模型在回答任何问题之前就耗尽了该窗口 - 与推理关闭相同的提示 - 137 秒内 3,715 个令牌，21 分钟减少到略多于 2 - 以及这种速度的成本：在推理时，绘图具有正确的框架，两侧有腿，翅膀有翅膀车把。关闭后，框架断裂，脚踩不到踏板 - 它真正强大：JSON 边界框干净地返回并落在鸟儿上，没有解析体操 - **几乎** 与推理关闭一起工作的一次性构建 - 界面稳定，框渲染在错误的位置，这是你意外交付的故障模式 - 针对 Datasette 代码库驱动真正的编码代理，并在无提示的情况下编写和测试 Python 脚本 - 吞吐量上限：本地每秒 15-30 个令牌，而托管模型为 74 和 184 个令牌，以及为什么密集模型受内存带宽限制 - 多令牌预测，已在文件内，使用一个服务标志测量大约**72%** 值得保留的规则：**推理工作是您为每个作业设置的预算，而不是您单独留下的设置。** 在提取、分类和边界框时运行较低或关闭，其中答案具有一个正确的形状，并且思考不会为您带来任何好处。把它花在一次性构建上，任何错误都很难被发现。需要注意的是，它来自 Willison，而不是来自此渠道：Qwen 发布的基准是自我报告的。目前还没有独立的数字存在。 ### 章节 ```文本 0:00 一张图需要 21 分钟 0:36 默认成本和捕获量 1:06 三个记录级别，其中一个已发货 1:43 它吃掉了上下文窗口 2:13 要求一圈，得到一项研究 2:48 推理：二十一分钟变成两分钟 3:21 关闭它的成本是多少 3:51 哪里很好：愿景 4:23 一个提示，一个工作工具 4:52 没有它，同一个工具就会崩溃 5:18 驾驶真正的编码代理 5:49 真正的限制是速度 6:22 为什么密集模型在这里很慢 6:50 72%，来自服务标志 7:21 基准是自我报告的 7:50 按任务设置 8:19 谁应该运行它 8:46 今年实际发生了什么``` ### 主要来源 - Simon Willison — Qwen 3.8 27B 非常出色，但它默认会过度思考：https://simonwillison.net/2026/Aug/16/qwen-38-27b/ - Qwen3.8-27B 模型卡（供应商）：https://huggingface.co/Qwen/Qwen3.8-27B 该视频中的每个数字都来自这两页。该渠道没有对任何内容进行基准测试，描述也是如此。