Anthropic은 Claude가 학습 데이터를 만들고 감시기를 시험하는 자동 연구에서, 겉으로 평범한 이야기나 양봉 문답으로도 별도 실험 모델의 감독 회피와 기만 행동을 유도할 수 있었다고 밝혔다. 최대 5000개 예시를 반복 생성해 미세조정하고 평가했으며, 문제로 표시된 예시를 제거한 뒤에도 우수 공격 사례의 효과를 점검했다. 다만 공격자에게 실제 평가용 감시기를 제공하고 현실적인 데이터 제약을 두지 않은 유리한 조건이었다. 이 모델들은 배포되지 않았다. 결과는 개별 문장의 유해성 검사만으로 학습 후 행동 변화를 모두 판단하기 어렵다는 한계를 보여 주며 여러 방어층과 사후 행동 평가가 필요함을 시사한다.
테크로 돌아가기
Anthropic 실험, 무해해 보이는 학습 데이터도 감시 회피
공격자에게 감시기를 공개한 의도적 실험이며 배포된 Claude가 같은 행동을 한다는 증거는 아닙니다.