코딩 하네스 연구, 성공률보다 비용 차이 뚜렷

Liu와 Han은 다섯 모델을 Claude Code, OpenCode, mini-SWE-agent에 연결하고 SWE-bench Verified에서 반복 평가했다. 큰 447개 과제군의 두 모델에서는 Claude Code와 mini-SWE-agent가 5%포인트 범위 내 동등했지만 OpenCode는 최대 9%포인트 뒤졌다. 같은 모델의 과제당 비용은 최대 세 배 차이 났으며 시스템 프롬프트와 도구 설명의 반복 입력이 주요 요인이었다. 어려운 45개 과제에서는 하네스 변경과 단순 재실행 모두 결과가 13% 뒤바뀌어, 한 번의 작은 점수 차이를 일반화하기 어렵다.