Ai2가 연구 아이디어의 독창성을 판정하는 LLM 여섯 종을 평가한 연구와 데이터 및 코드를 공개했다. 같은 아이디어 쌍에서도 프롬프트의 일부 문구를 바꾸자 정확도가 50%포인트 넘게 달라지는 사례가 나왔고 검색이나 추론량 확대도 일관되게 개선하지 못했다. 사람의 논문은 ICLR 심사 의견의 독창성 평가로 분류했지만 생성 아이디어의 낮은 독창성 표지는 약한 라벨이라는 한계가 있다. 모든 분야의 창의성을 측정한 결과가 아니라 특정 평가 설계의 불안정성을 보여준다. 자동 연구 에이전트의 성과는 단일 LLM 심사 점수만으로 판단하기 어렵다.