Collinear AI는 실제 오픈소스 저장소의 취약점을 찾아 고치는 CWE-bench v2 과제 100개를 공개했다. 91개 약점 분류를 다루며 수정 뒤 기존 기능이 유지되는지도 프로그램으로 검사한다. 공개 평가에서 선두 모델의 pass@1은 67.8%, pass@4는 81.0%로 네 번 시도해도 모두 해결하지 못했다. Harbor 환경과 검증기가 제공되지만 데이터 접근 조건 동의가 필요하다. 벤치마크 점수는 특정 과제에서의 성공률이지 실제 서비스 보안을 자동으로 보증하는 값은 아니다.
Tech 목록으로
CWE-bench v2, 보안 수정 평가 100개 과제 공개
결정적 검증과 기존 기능 보존을 함께 요구하지만 높은 점수도 모든 취약점의 해결을 보장하지는 않습니다.