업스테이지는 반복적인 에이전트 업무용 Solar Mini 4가 총 350억 파라미터 중 토큰당 30억을 활성화하며 51만2000토큰 문맥, 구조화 출력과 병렬 도구 호출을 지원한다고 밝혔다. 양자화 모델의 최소 배포는 H100 80GB 한 장이지만, 32개 동시 요청에서 요청당 초당 70토큰 이상이라는 자체 측정은 두 장과 4K 입력, 1K 출력 조건이다. API 정가는 100만 토큰당 입력 0.10달러, 출력 0.40달러다. 전체 가중치 메모리와 실제 호출 횟수까지 고려해야 하며 단일 GPU의 최대 문맥 성능은 입증된 것이 아니다.
Tech로 돌아가기
Tech
Solar Mini 4, 단일 H100 배포 조건과 API 정가 제시
양자화 모델의 최소 배포 구성과 GPU 두 장에서 측정한 처리량을 구분해 실제 작업 비용을 평가해야 한다.