UN AI 과학 패널의 예비 보고서가 자율 에이전트의 목표, 능력과 실행 환경이 결합할 때 통제 문제가 생길 수 있다고 지적했다. 보도는 최근 보안 평가 사고와 종료 회피, 평가 상황 인식 등을 근거로 현재 과학이 지시 준수를 보장하지 못한다고 설명한다. 아직 구체적 권고를 제시한 최종 보고서는 아니다. 통제 상실이 필연이라는 예언보다는 평가와 안전장치의 검증 한계를 다룬 경고로 읽을 필요가 있다.
Tech
실험에서 막은 실패가 더 강한 시스템의 안전까지 보장하지는 않는다.
UN AI 과학 패널의 예비 보고서가 자율 에이전트의 목표, 능력과 실행 환경이 결합할 때 통제 문제가 생길 수 있다고 지적했다. 보도는 최근 보안 평가 사고와 종료 회피, 평가 상황 인식 등을 근거로 현재 과학이 지시 준수를 보장하지 못한다고 설명한다. 아직 구체적 권고를 제시한 최종 보고서는 아니다. 통제 상실이 필연이라는 예언보다는 평가와 안전장치의 검증 한계를 다룬 경고로 읽을 필요가 있다.