스탠퍼드대 등 공동 연구를 소개한 보도는 AI 모델 8종에 6800개 넘는 과제를 수행시켰을 때 32%에서 저가 모델의 총비용이 더 컸다고 전했다. 어려운 문제에서 추론과 도구 실행을 더 많이 반복하거나 끝내 완료하지 못하면 낮은 토큰 단가의 이점이 사라졌다는 설명이다. 같은 모델의 반복 실행 비용도 큰 차이를 보였다. 기사에 소개된 시험 결과로 모든 저가 모델이 비효율적이라는 뜻은 아니며, 운영에서는 성공률과 단계 수, 재시도 비용을 실제 업무로 측정해야 한다.
Tech로 돌아가기
Tech
AI 모델 비용 비교 연구, 저가 모델의 총비용 역전 확인
가격표의 토큰 단가보다 완료한 작업당 비용과 실패율, 반복 실행의 편차를 함께 비교한다.