Microsoft와 Hugging Face가 ThinkingBox를 통해 상태가 있는 업무 507개를 각각 20회 실행하고 최종 DB 값과 부수 효과를 검사하는 평가를 소개했다. 12개 모델의 공통 비교에서 검사에 실패한 시도 중 67.24%는 정상 종료하고 상태 변경 도구도 호출했지만 실제 결과는 틀렸다. Opus 5.5는 단일 시도 성공률 67.16%였으나 20회 모두 성공한 과제는 47.53%였고, Kimi-K3는 한 번 이상 성공한 과제가 93.89%여도 전회 성공은 13.41%였다. 정해진 모의 업무의 결과로, 실제 서비스에서는 DB 조건과 부작용을 별도로 검증해야 한다.
Tech로 돌아가기
Tech
ThinkingBox, 에이전트 완료 여부를 DB 상태와 반복 실행으로 평가
한 번의 성공률과 매번 같은 결과를 내는 신뢰도는 다르며 정상 도구 호출만으로 업무 완료를 입증할 수 없다.