Nish Tahir는 Qwen3-1.7B의 출력을 다섯 선택지 토큰으로 제한해 한 번의 순전파로 답을 고르는 실험을 공개했다. CommonsenseQA 1221개에서 정확도는 59.38%, 미세 조정 뒤 62.41%였지만 높은 신뢰도 구간은 평균 확률 98.55%에 실제 정답률 70.09%로 과신했다. 온도 스케일링으로 이 차이를 완화했으며 공개 저장소에서도 실험 구성을 확인했다. 이는 선택지 밖 응답을 막는 기능과 정답 확률의 보정이 서로 다른 문제임을 보여주며 다른 데이터로 일반화하려면 별도 평가가 필요하다.
Tech로 돌아가기
Tech
Qwen 선택형 모델 실험, 높은 토큰 확률도 오답 가능
정해진 답만 출력하게 하는 제약은 정확성을 보장하지 않으므로 실제 정답률에 맞춘 확률 보정이 필요합니다.