Sakana AI의 MLR은 본문과 부록을 나눠 분석한 뒤 논문 검토를 작성한다. 원논문의 합성 모순 시험에서 네 번 검토했을 때 핵심 주장과 직접 연결된 모순 탐지율은 73.43%지만 전체 범주의 평균은 40.95%였다. 실제 철회 논문에서는 철회 사유와 정확히 일치한 지적이 16.11%에 그쳤다. 단일 수치만으로 심사 자동화를 확정하기보다 오류 유형과 평가 방식의 차이를 보고 연구자의 교차 확인에 활용해야 한다.
Tech로 돌아가기
Tech
Sakana 논문 검토 AI, 모순 탐지 성과와 한계 공개
핵심 주장 모순의 탐지율을 모든 오류의 발견율로 확대하면 안 되며 인간 심사의 보조 수단으로 봐야 합니다.