평가 | 테크
테크 소식과 맥락, 출처를 정리합니다.
최신 글
RSS코딩 하네스 연구, 성공률보다 비용 차이 뚜렷
같은 설정을 다시 실행한 변동까지 비교해야 작은 성능 차이를 해석할 수 있습니다.
AI 13종의 인간관 비교, 답변 38개 중 32개 유사
작은 비공식 질문 실험의 수렴은 인간에 대한 주장이나 모델의 고유 신념을 입증하지 않습니다.
Qwen 선택형 모델 실험, 높은 토큰 확률도 오답 가능
정해진 답만 출력하게 하는 제약은 정확성을 보장하지 않으므로 실제 정답률에 맞춘 확률 보정이 필요합니다.
중국 AI 857개 모델 분석, 안전 결과 공개는 31개
공개 자료 부재는 내부 시험 부재와 다르므로 모델 도입 때 이름별 평가 근거와 공개 시점을 확인해야 합니다.
CUA-Lite가 컴퓨터 사용 에이전트 학습 환경을 하나로 묶었습니다
CI에서 GUI 에이전트를 대량 평가하기 쉬워졌지만 재현성과 라이선스를 확인한 뒤 도입해야 합니다.