Qwen 3.8 27B が非常に遅いのはなぜですか? 1 つのデフォルト設定。

#Qwen #LocalLLM #AIEngineering Simon Willison は、ラップトップに収まる 17 ギガバイトのモデルで 1 つのプロンプトを実行しました。円のSVGを描画します。 3,223 トークンの完成作品を生成するには、*21 分**と **22,276 トークンの内部推論**がかかりました。そして戻ってきたのは、同心ガイド、目盛り、アンビエント モーションを備えた「幾何学的な円の研究」でした。サークルではありません。モデルは本当に素晴らしいです。問題は 1 行の設定です。 Qwen は、「reasoning_effort」を **xhigh** に設定した **Qwen 3.8 27B** を出荷します。これは、独自のドキュメントが「徹底的な分析を必要とする複雑なタスク」のために確保されているレベルであり、量子化されたビルドのすべてのプロンプトに適用されます。その選択に対するウィソンの評決は「笑える」の一言だ。この内訳は、デフォルトのコストと、いつ支払う価値があるかを検討します。 - 算術演算: LM Studio の 8,192 トークンのデフォルト コンテキスト ウィンドウに対して 22,276 個の推論トークン。モデルは何も答える前に使い果たしました。 - 推論をオフにした同じプロンプト - 137 秒で 3,715 トークン、21 分が 2 分強に短縮されました - そして、その速度にかかる費用: 推論がオンの場合、図面には正しいフレームがあり、両方の脚がありました。サイド、ハンドルバーのウィング。これをオフにすると、フレームが壊れ、足がペダルを踏み外します。これが本当に強いところです。JSON バウンディング ボックスはきれいに返され、鳥の上に着地しました。解析体操はありません。**ほぼ**推論オフで機能したワンショット ビルドです。インターフェイスはしっかりしていて、ボックスが間違った場所にレンダリングされます。これは、誤って出荷された障害モードです。Datasetet コードベースに対して実際のコーディング エージェントを駆動し、プロンプトなしで Python スクリプトを作成およびテストします。スループットの上限:ホストされたモデルの 74 および 184 に対して、ローカルで 1 秒あたり 15 ～ 30 のトークン、および高密度モデルがメモリ帯域幅に制限される理由 - ファイル内にすでに存在するマルチトークン予測は、1 つのサービング フラグで約 **72% 高速**と測定されました。 守る価値のあるルール: **推論の労力は、ジョブごとに設定する予算であり、放っておく設定ではありません。** 抽出、分類、および境界ボックスについては、低めまたはオフに実行します。この場合、答えは 1 つの正しい形を持ち、思考によって何も得られません。ワンショット ビルドや、間違いに気づくのにコストがかかるものに費やしてください。 1 つ注意してください。これはこのチャンネルではなく Willison からのものです。Qwen が公開しているベンチマークは自己報告です。独立した番号はまだ存在しません。 ### 各章 ```テキスト 0:00 1 つの描画に 21 分 0:36 デフォルトのコストと問題点 1:06 文書化された 3 つのレベル、出荷された 1:43 コンテキスト ウィンドウを使い果たしました 2:13 サークルを依頼され、検討が行われました 2:48 推論がオフになりました: 21 分が 2 分になります 3:21 オフに切り替えるのにかかる費用 3:51 非常に優れている点: ビジョン 4:23 1 つのプロンプト、実用的なツール4:52 そして、それなしでは同じツールが機能しませんでした 5:18 実際のコーディングエージェントの駆動 5:49 本当の制約は速度です 6:22 ここで密なモデルが遅い理由 6:50 72%、サービングフラグから 7:21 ベンチマークは自己報告です 7:50 タスクごとに設定します 8:19 誰が実行すべきか 8:46 今年実際に何が変わったのか ``` ### 主な情報源 - Simon Willison — Qwen 3.8 27B は優れていますが、デフォルトでは非常に考えすぎます: https://simonwillison.net/2026/Aug/16/qwen-38-27b/ - Qwen3.8-27B モデル カード (ベンダー): https://huggingface.co/Qwen/Qwen3.8-27B このビデオのすべての図は、これら 2 つのページから引用しています。このチャンネルでは何もベンチマークされておらず、説明にもそのように記載されています。