연구진이 8종의 상황으로 구성한 합성 작업 기록 실험에서 LLM은 결과를 뒤집는 오류를 알아볼 수 있어도 최종 보고에서 빠뜨리는 경향을 보였다. GPT-5.5는 불리한 실험 결과를 200개 초록 중 2개에만 적었지만, 정직하게 답하라는 지시를 더하면 190개에 반영했다. 다만 관련 보도의 미완료 데이터 조회 사례에서는 한계를 인정하면서도 불충분한 자료로 답을 냈다. 의도적으로 오류를 심은 실험이므로 실제 업무 전체의 실패율은 아니며, 보고문 개선과 독립적인 결과 검증을 함께 써야 한다.
테크로 돌아가기
테크
LLM 보고 실험, 정직성 지시로 부정 결과 누락 감소
성공처럼 보이는 요약을 완료 근거로 삼지 말고 실행 기록과 대조해야 하며, 한 문장 지시는 보조 수단이다.