Claude コードは同じ修正で Pi の 2 倍のコストがかかる

同じモデル、同じバグ、同じ修正: カリフォルニア大学バークレー校とアリーナの調査では、Claude Code のコストは、小さなオープンソース コーディング エージェントである Pi のコストの約 2 倍であることがわかりました。 HarnessTax の調査では、SWE-bench Lite の実際の G​​itHub バグに対して 3 つのコーディング エージェント ハーネス (Claude Code、Codex CLI、Pi) を介して 7 つのモデルを実行しました。 2x はこれら 7 つのモデルの平均であり、トークン ボリュームの価格は 2026 年 9 月 1 日の API 定価であり、誰に請求された費用でもありません。目に見える最大の違いはセットアップです。 Claude Code の最初の呼び出しでは、Pi の 1,972 トークンと 4 つのツールに対して、デフォルトで 27,011 のトークンと 23 のツールが送信され、そのセットアップは毎ターン再送信されます (著者らは、トークンのキャッシュと出力も重要であることに注意しています)。 Claude Fable 5 の場合、ほぼ同じ成功率で試行あたり 1.33 ドルと 0.67 ドルを意味しましたが、Sonnet 4.6 と Haiku 4.5 では明らかな差は見られず、依然としてモデルの選択のほうがハーネスの選択よりはるかにコストがかかります。数値について - 研究: HarnessTax (2026-09-16)、メリッサ Z. パン、シュオ ヤン、ネガール アラブザデ、イオン ストイカ、マテイ ザハリア (カリフォルニア大学バークレー校)、ウェイリン チャン (アリーナ) による。 - セットアップ: クロード コード 2.1.224、コーデックス 0.146.0、Pi 0.85.1。 30 個の SWE-bench Lite タスクと 30 個の Terminal-Bench 2.0 タスク、それぞれ 3 回の試行、100 ターンの上限、高労力。 - 価格設定: すべてのハーネスに同じリストがあり、キャッシュされたトークンの価格はほぼ確実にキャッシュ レートに基づいています (私たちの推論)。 Pi はサブスクリプション キーを使用しましたが、Claude Code と Codex のキー タイプは記載されていません。 - SWE-bench Lite での Claude Code 対 Pi: Fable 5 2.00x、Opus 4.8 2.06x、Kimi K3 1.72x、GPT-5.6 Sol 3.50x、GPT-5.6 Luna 5.09x。 Sonnet 4.6 (0.99x) と Haiku 4.5 (1.14x) には明確な差は見られませんでしたが、この調査ではその理由は明らかにされていません。対コーデックス: 1.6x。 Terminal-Bench 対 Pi: 約 1.5 倍。 - 成功率は平均約 2% 以内でした (ターミナルベンチでは約 5%)。クロード・コード対Pi、Fable 5のスコアは97.8%対96.7%、Opus 4.8のスコアは86.7%対82.2%で、著者によれば両方のギャップは「明確ではない」という。 - 最初の呼び出しの数値 (27,011 対 1,972 トークン) は 7 つのモデルの平均であり、タスク プロンプトとキャッシュ トークンが含まれます。コーデックスの平均数は 11,308 でした。内容と痕跡は、2026 年 9 月 28 日時点では非公開です。 - この調査からのものではありません: Systima (~33k 対 ~7k、Claude Code 対 OpenCode、2026 年 7 月) および Portkey (~27k 対 ~2.6k、簡単なタスク、2026 年 4 月)。バージョン、モデル、メトリクスが異なります。 - 関連論文 (arXiv 2609.20804、他の著者): 著者独自の軽量ハーネスの 4 つのモデル。SWE-Bench Verified および Terminal-Bench 2.1 でテスト。これは、Claude Code と Pi ではなく、bash のみと事前定義されたツールを比較します。 - 計画: 2026 年 4 月以降、Claude サブスクリプションは Pi などのサードパーティ製ハーネスをカバーしません。 VentureBeat は、エージェント SDK クレジット (Pro $20、最大 5x $100、最大 20x $200) を報告します。開始日は未確認です。 - 対象外: Opus 5.5 または 2026 年 9 月 22 日以降の価格 (テスト済みのクロード コードは Opus 5.5 を実行できません)。私たちは研究を再実行しませんでした。 2026 年 9 月 28 日の時点で、独立した再放送や人為的な反応は見つかりませんでした。タイムスタンプ 0:00 - 同じ修正、2 つの請求書 0:25 - 代理店の請求書が不思議に感じる理由 0:56 - ハーネスとは何か (ハーネス税) 1:40 - バークレーとアリーナがどのようにテストしたか 2:18 - 結果: 円周率 2 倍、同じ成功 3:12 - 追加トークンの行き先 4:14 - ひねり: すべてのモデルが支払うわけではない 5:15 - 落とし穴6:02 - 実際に誰が支払うのか 6:41 - 判決のリンクとリソース - HarnessTax の調査: https://harnesstax.github.io/ - アリーナの投稿: https://arena.ai/blog/coding-agents-harness-tax - データ、コスト比率: https://harnesstax.github.io/data/charts/system-harness-effect-swe.f233b4a6e8.json - データ、最初の呼び出し: https://harnesstax.github.io/data/charts/system-agent-context-swe.06f521bdb1.json - データ、トークン、ターン: https://harnesstax.github.io/data/charts/system-cumulative-accrual-swe.2b6a6206a5.json - データ、モデル別コスト: https://harnesstax.github.io/data/charts/system-frontier-swe.8fd44a1e0f.json - データ、ターミナルベンチ: https://harnesstax.github.io/data/charts/system-harness-effect-tb.4d5a1affd4.json - Pi、Mario Zechner 著: https://mariozechner.at/posts/2025-11-30-pi-coding-agent/ - クロード コードの仕組み: https://code.claude.com/docs/en/how-claude-code-works - クロード コードのコスト: https://code.claude.com/docs/en/costs - クロード API の価格: https://platform.claude.com/docs/en/about-claude/pricing - クロード コードの変更ログ: https://github.com/anthropics/claude-code/blob/main/CHANGELOG.md - BleepingComputer: https://www.bleepingcomputer.com/news/artificial-intelligence/anthropic-is-cutting-claude-codes-current-weekly-limits-by-17-percent/ - TechCrunch: https://techcrunch.com/2026/04/04/anthropic-says-claude-code-subscribers-will-need-to-pay-extra-for-openclaw-support/ - VentureBeat: https://venturebeat.com/technology/anthropic-reinstates-openclaw-and-third-party-agent-usage-on-claude-subscriptions-with-a-catch - Simon Willison: https://simonwillison.net/2026/Sep/22/opus-and-sol-and-luna/ - 関連文書: https://arxiv.org/abs/2609.20804 - Systima: https://systima.ai/blog/claude-code-vs-opencode-token-overhead - ポートキー: https://portkey.ai/blog/the-harness-tax/ タグ #ClaudeCode #HarnessTax #CodingAgents #AIAgents