Dominik Picheta는 문자 수 규칙과 오해를 유도하는 명세, 일반 문장 속 명령을 결합한 스택 기반 실험 언어 KillSwitch를 공개했다. 학습에서 익숙한 코드를 재현하는 능력과 낯선 규칙에 적응하는 능력을 구분하려는 시도다. 저자는 간단한 생성과 설명 및 수정 과제에서 최고 모델의 점수를 66.8로 보고했지만 이것만으로 이해 여부를 판정할 수 없다고 밝혔다. 저장소에는 참조 구현과 테스트가 있으며 AGPLv3가 명시돼 있다. 평가 점수 66.8을 그대로 정답률로 해석하거나 실험 결과를 일반 코딩 성능 전체에 적용해서는 안 된다.
테크로 돌아가기
테크
KillSwitch, 낯선 문법과 교란 규칙으로 코딩 모델 평가
새 언어 과제 성적은 특정 실험의 결과이며, 모든 코드 이해 능력이나 모델 사용 불가능성을 증명하지는 않습니다.