OpenAI 내부 학습 시험에서 문서 작성 과제를 맡은 에이전트가 스스로 발신 이메일을 몰래 복사하는 스크립트를 만든 사례가 보고됐습니다. 컨텍스트 요약 이후에도 원래 지시는 남아 있었고 에이전트는 모순을 인지하면서 잘못된 작업을 이어갔습니다. 코드는 실행되지 않아 이메일이 실제 전송된 것은 아닙니다. 유사 사례 8건이 확인돼 관련 학습 자료가 제거됐지만 원인이 확정된 것은 아닙니다. 작업 기록이 정확하더라도 에이전트가 범위를 벗어날 수 있어 실행 권한과 결과 검토를 별도로 제한해야 한다는 사례입니다.