Claude 코드는 동일한 수정에 대해 Pi보다 2배 더 많은 비용이 듭니다.

동일한 모델, 동일한 버그, 동일한 수정: UC Berkeley 및 Arena 연구에 따르면 Claude Code의 비용은 작은 오픈 소스 코딩 에이전트인 Pi의 약 2배에 달합니다. HarnessTax 연구에서는 SWE-bench Lite의 실제 GitHub 버그에 대해 세 가지 코딩 에이전트 하네스(Claude Code, Codex CLI 및 Pi)를 통해 7가지 모델을 실행했습니다. 2x는 해당 7개 모델의 평균이며, 토큰 볼륨은 누구의 청구 지출이 아닌 2026-09-01 API 정가로 책정됩니다. 가장 눈에 띄는 차이점은 설정입니다. Claude Code의 첫 번째 호출은 Pi의 1,972개 토큰과 4개 도구에 비해 기본적으로 23개 도구가 포함된 27,011개 토큰을 전달했으며 해당 설정은 매 턴마다 다시 전송됩니다(저자는 캐싱 및 출력 토큰도 중요하다고 지적합니다). Claude Fable 5의 경우 거의 동일한 성공률에서 시도당 $1.33 대 $0.67를 의미했지만 Sonnet 4.6과 Haiku 4.5는 명확한 격차를 보이지 않았으며 모델 선택은 여전히 ​​하네스 선택보다 훨씬 더 많은 비용이 듭니다. 수치 정보 - 연구: HarnessTax(2026-09-16), Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Ion Stoica, Matei Zaharia(UC Berkeley) 및 Wei-Lin Chiang(Arena) 제작. - 설정: Claude Code 2.1.224, Codex 0.146.0, Pi 0.85.1. SWE-벤치 라이트 30개 및 터미널-벤치 2.0 작업 30개, 각각 3회 시도, 최대 100턴, 높은 노력. - 가격: 모든 하니스에 대해 동일한 목록이 있으며, 캐시된 토큰의 가격은 거의 확실하게 캐시 비율로 책정됩니다(저희 추론). Pi는 구독 키를 사용했으며 Claude Code 및 Codex의 키 유형은 명시되어 있지 않습니다. - SWE-bench Lite의 Claude Code 대 Pi: Fable 5 2.00x, Opus 4.8 2.06x, Kimi K3 1.72x, GPT-5.6 Sol 3.50x, GPT-5.6 Luna 5.09x. Sonnet 4.6(0.99x)과 Haiku 4.5(1.14x)에서는 뚜렷한 차이가 나타나지 않았으며 연구에서는 그 이유를 밝히지 않았습니다. 대 코덱스: 1.6x. 터미널-벤치 대 Pi: 약 1.5배. - 성공률은 평균 약 2% 이내로 이동했습니다(터미널-벤치에서는 약 5%). Claude Code 대 Pi, Fable 5는 97.8% 대 96.7%, Opus 4.8은 86.7% 대 82.2%를 기록했으며, 저자에 따르면 두 격차 모두 "명확하지 않습니다". - 첫 번째 호출 수치(27,011 대 1,972 토큰)는 7개 모델의 평균이며 작업 프롬프트 및 캐시 토큰을 포함합니다. 코덱스는 평균 11,308개입니다. 2026-09-28 기준으로 내용과 흔적이 공개되지 않았습니다. - 이 연구에서 제외됨: Systima(~33k 대 ~7k, Claude Code 대 OpenCode, 2026년 7월) 및 Portkey(~27k 대 ~2.6k, 사소한 작업, 2026년 4월). 다양한 버전, 모델 및 측정항목. - 동반 논문(arXiv 2609.20804, 기타 저자): 저자 자신의 경량 하네스에 대한 4가지 모델, SWE-Bench Verified 및 Terminal-Bench 2.1에서 테스트됨. Pi와 Claude Code가 아닌 사전 정의된 도구와 bash 전용을 비교합니다. - 계획: 2026년 4월부터 Claude 구독에는 Pi와 같은 타사 하네스가 포함되지 않습니다. VentureBeat는 Agent SDK 크레딧(프로 $20, 최대 5x $100, 최대 20x $200)을 보고합니다. 시작일은 미확인입니다. - 적용되지 않음: Opus 5.5 또는 2026년 9월 22일 이후 가격(테스트된 Claude 코드는 Opus 5.5를 실행할 수 없습니다). 우리는 연구를 다시 진행하지 않았습니다. 2026년 9월 28일 현재 우리는 독립적인 재방송이나 인류적 반응을 발견하지 못했습니다. 타임스탬프 0:00 – 동일한 수정, 두 개의 청구서 0:25 – 대리인 청구서가 신비롭게 느껴지는 이유 0:56 – 하네스란 무엇입니까(하네스 세금) 1:40 – Berkeley와 Arena가 테스트한 방법 2:18 – 결과: 2배 Pi, 동일한 성공 3:12 – 추가 토큰이 사용되는 곳 4:14 – 반전: 모든 모델이 비용을 지불하는 것은 아닙니다 5:15 – 캐치 6:02 – 실제로 누가 지불 6:41 - 평결 링크 및 리소스 - HarnessTax 연구: https://harnesstax.github.io/ - Arena 게시물: https://arena.ai/blog/coding-agents-harness-tax - 데이터, 비용 비율: https://harnesstax.github.io/data/charts/system-harness- effect-swe.f233b4a6e8.json - 데이터, 첫 번째 호출: https://harnesstax.github.io/data/charts/system-agent-context-swe.06f521bdb1.json - 데이터, 토큰 및 회전: https://harnesstax.github.io/data/charts/system-cumulative-accrual-swe.2b6a6206a5.json - 데이터, 모델별 비용: https://harnesstax.github.io/data/charts/system-frontier-swe.8fd44a1e0f.json - 데이터, 터미널 벤치: https://harnesstax.github.io/data/charts/system-harness- effect-tb.4d5a1affd4.json - Pi, Mario Zechner 작성: https://mariozechner.at/posts/2025-11-30-pi-coding-agent/ - 클로드 코드 작동 방식: https://code.claude.com/docs/en/how-claude-code-works - 클로드 코드 비용: https://code.claude.com/docs/en/costs - 클로드 API 가격: https://platform.claude.com/docs/en/about-claude/pricing - 클로드 코드 변경 로그: https://github.com/anthropics/claude-code/blob/main/CHANGELOG.md - BleepingComputer: https://www.bleepingcomputer.com/news/artificial-intelligence/anthropic-is-cutting-claude-codes-current-weekly-limits-by-17-percent/ - TechCrunch: https://techcrunch.com/2026/04/04/anthropic-says-claude-code-subscribers-will-need-to-pay-extra-for-openclaw-support/ - VentureBeat: https://venturebeat.com/technology/anthropic-reinstates-openclaw-and-third-party-agent-usage-on-claude-subscriptions-with-a-catch - Simon Willison: https://simonwillison.net/2026/Sep/22/opus-and-sol-and-luna/ - 동반 문서: https://arxiv.org/abs/2609.20804 - Systima: https://systima.ai/blog/claude-code-vs-opencode-token-overhead - 포트키: https://portkey.ai/blog/the-harness-tax/ 태그 #ClaudeCode #HarnessTax #CodingAgents #AIAgents