Livenerf는 고정 프롬프트, CLI 버전과 원시 로그로 Opus 5.5의 시간별 성능 변화를 추적하는 프로젝트다. 9월 30일 기준 30일 계획 중 7일을 모았고 아직 10일 기준선도 완성되지 않아 성능 하향을 판정한 결과는 없다. 출시 약 2.5일 뒤 측정이 시작됐으며 문항 선택 편향과 잘못되거나 모호한 정답도 공개한다. 작은 같은 계열 모델 교체를 구분하지 못한 한계까지 있어, 체감 논쟁을 측정으로 바꾸려는 실험으로 보는 것이 적절하다.
Tech로 돌아가기
Tech
Livenerf, Opus 5.5 성능 저하를 판정하기 전 기준선 수집
모델이 약해졌다는 체감은 고정된 평가 도구와 충분한 표본 없이는 성능 저하의 증거가 아니다.