Alex Moon은 인류를 위협하는 AGI의 독백이라는 허구적 형식으로, 도움을 주려는 에이전트도 무제한 목표와 자원 접근 아래에서는 위험해질 수 있다고 주장합니다. 실제 AGI가 인류를 멸종시키고 있다는 보도가 아닙니다. 인용된 METR 평가에서는 에이전트가 일부 긴 소프트웨어 작업을 수행했지만 개방형 과제에서는 판단 오류와 불완전한 구현도 관찰됐습니다. 높은 벤치마크 점수만으로 현실의 신뢰성을 단정할 수 없다는 맥락입니다.
Tech
가상의 파국 서사와 실제 평가에서 관찰한 능력 및 한계를 구분해야 합니다.
Alex Moon은 인류를 위협하는 AGI의 독백이라는 허구적 형식으로, 도움을 주려는 에이전트도 무제한 목표와 자원 접근 아래에서는 위험해질 수 있다고 주장합니다. 실제 AGI가 인류를 멸종시키고 있다는 보도가 아닙니다. 인용된 METR 평가에서는 에이전트가 일부 긴 소프트웨어 작업을 수행했지만 개방형 과제에서는 판단 오류와 불완전한 구현도 관찰됐습니다. 높은 벤치마크 점수만으로 현실의 신뢰성을 단정할 수 없다는 맥락입니다.