Claude Code kostet für den gleichen Fix doppelt so viel wie Pi

Gleiches Modell, gleiche Fehler, gleiche Korrekturen: Eine Studie der UC Berkeley und Arena ergab, dass Claude Code etwa doppelt so viel kostet wie Pi, ein winziger Open-Source-Coding-Agent. In der HarnessTax-Studie wurden sieben Modelle durch drei Coding-Agent-Harnesses (Claude Code, Codex CLI und Pi) auf echten GitHub-Bugs von SWE-bench Lite laufen gelassen. Das 2-fache ist der Durchschnitt dieser 7 Modelle, wobei das Token-Volumen einem API-Listenpreis vom 01.09.2026 entspricht und nicht den in Rechnung gestellten Ausgaben von irgendjemandem. Der größte sichtbare Unterschied liegt im Setup. Der erste Aufruf von Claude Code beförderte standardmäßig 27.011 Token mit 23 Tools, im Vergleich zu Pis 1.972 Token und 4 Tools, und dieses Setup wird jede Runde erneut gesendet (die Autoren weisen darauf hin, dass Caching- und Ausgabe-Token ebenfalls wichtig sind). Für Claude Fable 5 bedeutete das 1,33 $ gegenüber 0,67 $ pro Versuch bei ungefähr der gleichen Erfolgsquote, aber Sonnet 4.6 und Haiku 4.5 zeigten keinen klaren Abstand, und die Wahl des Modells kostete immer noch viel mehr als die Wahl des Gurtzeugs. ÜBER DIE ZAHLEN – Studie: HarnessTax (16.09.2026) von Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Ion Stoica, Matei Zaharia (UC Berkeley) und Wei-Lin Chiang (Arena). - Setup: Claude Code 2.1.224, Codex 0.146.0, Pi 0.85.1. 30 SWE-Bench Lite- und 30 Terminal-Bench 2.0-Aufgaben, jeweils 3 Versuche, 100-Turn-Cap, hoher Aufwand. - Preise: Die gleiche Liste für jedes Geschirr, wobei zwischengespeicherte Token mit ziemlicher Sicherheit zu den Cache-Tarifen berechnet werden (unsere Schlussfolgerung). Pi verwendete Abonnementschlüssel und der Schlüsseltyp für Claude Code und Codex ist nicht angegeben. - Claude Code vs. Pi auf SWE-Bench Lite: Fable 5 2,00x, Opus 4,8 2,06x, Kimi K3 1,72x, GPT-5.6 Sol 3,50x, GPT-5.6 Luna 5,09x. Sonnet 4.6 (0,99x) und Haiku 4.5 (1,14x) zeigten keine klare Lücke, und die Studie sagt nicht, warum. Gegen Codex: 1,6x. Terminal-Bench vs. Pi: ca. 1,5x. - Der Erfolg bewegte sich im Durchschnitt innerhalb von etwa 2 % (etwa 5 % auf der Terminal-Bench). Claude Code vs. Pi, Fable 5 erzielten 97,8 % vs. 96,7 % und Opus 4.8 86,7 % vs. 82,2 %, beide Lücken laut den Autoren „nicht klar“. - Die Zahl beim ersten Aufruf (27.011 vs. 1.972 Token) ist der Mittelwert über 7 Modelle und umfasst die Aufgabenaufforderung und Cache-Token. Der Codex lag im Durchschnitt bei 11.308. Inhalte und Spuren waren zum 28.09.2026 unveröffentlicht. – Nicht aus dieser Studie: Systima (~33.000 vs. ~7.000, Claude Code vs. OpenCode, Juli 2026) und Portkey (~27.000 vs. ~2,6.000, triviale Aufgabe, April 2026). Verschiedene Versionen, Modelle und Metriken. - Begleitpapier (arXiv 2609.20804, andere Autoren): vier Modelle auf dem eigenen Leichtbaugurt des Autors, getestet auf SWE-Bench Verified und Terminal-Bench 2.1. Es vergleicht nur Bash mit vordefinierten Tools, nicht Claude Code mit Pi. - Pläne: Seit April 2026 decken Claude-Abonnements keine Drittanbieter-Kabelbäume wie Pi ab. VentureBeat meldet Agent SDK-Credits (Pro 20 $, max. 5 x 100 $, max. 20 x 200 $); Das Startdatum ist unbestätigt. - Nicht abgedeckt: Opus 5.5 oder Preise nach dem 22.09.2026 (der getestete Claude Code kann Opus 5.5 nicht ausführen). Wir haben die Studie nicht erneut durchgeführt; Mit Stand vom 28.09.2026 haben wir keine unabhängige Wiederholung oder Anthropic-Reaktion gefunden. ZEITSTEMPEL 0:00 – Gleicher Fix, zwei Rechnungen 0:25 – Warum sich Agentenrechnungen mysteriös anfühlen 0:56 – Was ein Geschirr ist (die Geschirrsteuer) 1:40 – Wie Berkeley und Arena es getestet haben 2:18 – Die Ergebnisse: 2x Pi, gleicher Erfolg 3:12 – Wohin die zusätzlichen Token gehen 4:14 – Der Clou: Nicht jedes Modell zahlt 5:15 – Der Haken 6:02 – Wer zahlt sich tatsächlich aus 6:41 – Urteil LINKS & RESSOURCEN – HarnessTax-Studie: https://harnesstax.github.io/ – Arena-Beitrag: https://arena.ai/blog/coding-agents-harness-tax – Daten, Kostenverhältnisse: https://harnesstax.github.io/data/charts/system-harness-effect-swe.f233b4a6e8.json – Daten, erster Anruf: https://harnesstax.github.io/data/charts/system-agent-context-swe.06f521bdb1.json – Daten, Token und Umsätze: https://harnesstax.github.io/data/charts/system-cumulative-accrual-swe.2b6a6206a5.json – Daten, Kosten nach Modell: https://harnesstax.github.io/data/charts/system-frontier-swe.8fd44a1e0f.json – Daten, Terminal-Bench: https://harnesstax.github.io/data/charts/system-harness-effect-tb.4d5a1affd4.json – Pi, von Mario Zechner: https://mariozechner.at/posts/2025-11-30-pi-coding-agent/ - Wie Claude Code funktioniert: https://code.claude.com/docs/en/how-claude-code-works - Claude Code Kosten: https://code.claude.com/docs/en/costs - Claude API Preise: https://platform.claude.com/docs/en/about-claude/pricing - Claude Code Changelog: https://github.com/anthropics/claude-code/blob/main/CHANGELOG.md – BleepingComputer: https://www.bleepingcomputer.com/news/artificial-intelligence/anthropic-is-cutting-claude-codes-current-weekly-limits-by-17-percent/ – TechCrunch: https://techcrunch.com/2026/04/04/anthropic-says-claude-code-subscribers-will-need-to-pay-extra-for-openclaw-support/ – VentureBeat: https://venturebeat.com/technology/anthropic-reinstates-openclaw-and-third-party-agent-usage-on-claude-subscriptions-with-a-catch – Simon Willison: https://simonwillison.net/2026/Sep/22/opus-and-sol-and-luna/ – Begleitpapier: https://arxiv.org/abs/2609.20804 – Systima: https://systima.ai/blog/claude-code-vs-opencode-token-overhead – Portschlüssel: https://portkey.ai/blog/the-harness-tax/ TAGS #ClaudeCode #HarnessTax #CodingAgents #AIAgents