Le code Claude coûte 2 fois plus que Pi pour le même correctif

Même modèle, mêmes bugs, mêmes correctifs : une étude de l'UC Berkeley et Arena a révélé que Claude Code coûtait environ 2 fois ce que coûtait Pi, un petit agent de codage open source. L'étude HarnessTax a exécuté 7 modèles via trois harnais d'agents de codage (Claude Code, Codex CLI et Pi) sur de vrais bugs GitHub de SWE-bench Lite. Le 2x est la moyenne sur ces 7 modèles, avec un volume de jetons fixé au prix catalogue de l'API du 01/09/2026, et non aux dépenses facturées par quiconque. La plus grande différence visible est la configuration. Le premier appel de Claude Code contenait 27 011 jetons avec 23 outils par défaut, contre 1 972 jetons et 4 outils pour Pi, et cette configuration est renvoyée à chaque tour (les auteurs notent que la mise en cache et les jetons de sortie sont également importants). Pour Claude Fable 5, cela signifiait 1,33 $ contre 0,67 $ par tentative, avec à peu près le même taux de réussite, mais Sonnet 4.6 et Haiku 4.5 n'ont montré aucun écart clair, et le choix du modèle coûte toujours beaucoup plus cher que le choix du harnais. À PROPOS DES CHIFFRES - Étude : HarnessTax (2026-09-16) par Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Ion Stoica, Matei Zaharia (UC Berkeley) et Wei-Lin Chiang (Arena). - Configuration : Claude Code 2.1.224, Codex 0.146.0, Pi 0.85.1. 30 tâches SWE-bench Lite et 30 tâches Terminal-Bench 2.0, 3 tentatives chacune, capuchon 100 tours, effort élevé. - Tarification : la même liste pour chaque harnais, avec des jetons mis en cache presque certainement tarifés aux tarifs du cache (notre inférence). Pi a utilisé des clés d'abonnement et le type de clé pour Claude Code et Codex n'est pas indiqué. - Claude Code vs Pi sur SWE-bench Lite : Fable 5 2.00x, Opus 4.8 2.06x, Kimi K3 1.72x, GPT-5.6 Sol 3.50x, GPT-5.6 Luna 5.09x. Sonnet 4,6 (0,99x) et Haiku 4,5 (1,14x) n'ont montré aucun écart clair, et l'étude ne précise pas pourquoi. Contre Codex : 1,6x. Terminal-Bench vs Pi : environ 1,5x. - Le succès s'est déplacé d'environ 2% en moyenne (environ 5% sur Terminal-Bench). Claude Code vs Pi, Fable 5 a obtenu 97,8% contre 96,7% et Opus 4.8 86,7% contre 82,2%, les deux écarts "pas clairs" selon les auteurs. - Le chiffre du premier appel (27 011 contre 1 972 jetons) est la moyenne sur 7 modèles et inclut l'invite de tâche et les jetons de cache. Le Codex en comptait en moyenne 11 308. Le contenu et les traces n'étaient pas publiés au 2026-09-28. - Pas de cette étude : Systima (~33k contre ~7k, Claude Code vs OpenCode, juillet 2026) et Portkey (~27k contre ~2,6k, tâche triviale, avril 2026). Différentes versions, modèles et métriques. - Article complémentaire (arXiv 2609.20804, autres auteurs) : quatre modèles sur le harnais léger des auteurs, testés sur SWE-Bench Verified et Terminal-Bench 2.1. Il compare bash uniquement avec des outils prédéfinis, pas Claude Code avec Pi. - Forfaits : depuis avril 2026, les abonnements Claude ne couvrent plus les harnais tiers comme Pi. VentureBeat rapporte les crédits du SDK d'agent (Pro 20 $, Max 5x 100 $, Max 20x 200 $) ; la date de début n’est pas confirmée. - Non couvert : Opus 5.5 ou prix après le 22/09/2026 (le Claude Code testé ne peut pas exécuter l'Opus 5.5). Nous n'avons pas réexécuté l'étude ; au 28/09/2026, nous n'avons trouvé aucune rediffusion indépendante ou réponse anthropique. TIMESTAMPS 0:00 - Même solution, deux factures 0:25 - Pourquoi les factures des agents semblent mystérieuses 0:56 - Qu'est-ce qu'un harnais (la taxe sur le harnais) 1:40 - Comment Berkeley et Arena l'ont testé 2:18 - Les résultats : 2x Pi, même succès 3:12 - Où vont les jetons supplémentaires 4:14 - Le twist : tous les modèles ne paient pas 5:15 - Le piège 6:02 - Qui paie réellement it 6:41 - LIENS ET RESSOURCES Verdict - Étude HarnessTax : https://harnesstax.github.io/ - Post Arena : https://arena.ai/blog/coding-agents-harness-tax - Données, ratios de coûts : https://harnesstax.github.io/data/charts/system-harness-effect-swe.f233b4a6e8.json - Données, premier appel : https://harnesstax.github.io/data/charts/system-agent-context-swe.06f521bdb1.json - Données, jetons et tours : https://harnesstax.github.io/data/charts/system-cumulative-accrual-swe.2b6a6206a5.json - Données, coût par modèle : https://harnesstax.github.io/data/charts/system-frontier-swe.8fd44a1e0f.json - Données, Terminal-Bench : https://harnesstax.github.io/data/charts/system-harness-effect-tb.4d5a1affd4.json - Pi, par Mario Zechner : https://mariozechner.at/posts/2025-11-30-pi-coding-agent/ - Comment fonctionne Claude Code : https://code.claude.com/docs/en/how-claude-code-works - Coûts de Claude Code : https://code.claude.com/docs/en/costs - Tarification de l'API Claude : https://platform.claude.com/docs/en/about-claude/pricing - Journal des modifications de Claude Code : https://github.com/anthropics/claude-code/blob/main/CHANGELOG.md - BleepingComputer : https://www.bleepingcomputer.com/news/artificial-intelligence/anthropic-is-cutting-claude-codes-current-weekly-limits-by-17-percent/ - TechCrunch : https://techcrunch.com/2026/04/04/anthropic-says-claude-code-subscribers-will-need-to-pay-extra-for-openclaw-support/ - VentureBeat : https://venturebeat.com/technology/anthropic-reinstates-openclaw-and-third-party-agent-usage-on-claude-subscriptions-with-a-catch - Simon Willison : https://simonwillison.net/2026/Sep/22/opus-and-sol-and-luna/ - Document d'accompagnement : https://arxiv.org/abs/2609.20804 - Systima : https://systima.ai/blog/claude-code-vs-opencode-token-overhead - Portoloin : https://portkey.ai/blog/the-harness-tax/ TAGS #ClaudeCode #HarnessTax #CodingAgents #AIAgents