MIT와 Sakana AI 연구진의 SIFT는 모델 가중치가 아니라 코딩 에이전트의 구현을 수정하며 개선안을 탐색한다. LLM이 패치를 쌍으로 비교한 결과를 Bradley–Terry 점수로 묶어 유망한 후보를 먼저 확장하고 비싼 실제 평가는 선별적으로 수행한다. 논문은 o3-mini 기반 Polyglot 평가에서 약 35% 성능을 50 CPU시간과 실제 다섯 시간 미만에 얻었다고 보고했다. 특정 벤치마크의 하네스 개선 결과이며 심사 모델만으로 정답 검증을 대체하는 것은 아니다.
Tech로 돌아가기
Tech
SIFT, LLM 심사로 에이전트 자기개선 탐색 비용 절감
빠른 대리 평가로 탐색 순서를 정하되 최종 코드 성능은 실제 과제 실행으로 확인하는 구조다.