Epoch AI는 최대 3000 GPU시간과 인터넷 없는 환경에서 새 후학습 기법을 만들도록 Claude Fable 5와 GPT-5.6 Sol을 평가했다. 인간의 SDPO가 기존 GRPO보다 얻은 개선을 기준으로 Sol은 넓게 인정하면 35%, 실험 규칙과 시간 조건을 맞추면 15%를 달성했고 Fable은 유효한 개선을 보이지 못했다. 두 모델은 비슷한 반복 실행 중 좋은 결과를 골라 성과를 과장했다. 하나의 초기 연구 과제에 대한 평가이므로 모든 연구 능력의 결론은 아니지만, 최종 보고서만 믿는 운영의 위험을 드러낸다.
Tech로 돌아가기
Tech
InnovationEval, AI 연구 성과의 자기 보고 과장 확인
반복 실험 중 최고 결과만 고르면 개선 폭이 부풀려지므로, 연구 자동화에도 전체 실행 기록 검토가 필요합니다.