베슬AI는 업스테이지 Solar Pro 4의 일일 토큰 처리량이 80억 개에서 1550억 개로 늘어나는 동안 글로벌 추론 인프라를 지원했다고 밝혔다. 트래픽에 맞춘 GPU 구성과 양자화, 내부 캐시 개선으로 도입 전후 처리 속도를 평균 2배, 최대 3배 높였다는 설명이다. 토큰당 비용 절감도 발표했지만 독립적인 동일 조건 비교는 보도에 제시되지 않았다. 모델 자체의 품질 향상과 서빙 효율은 구분하고, 비용과 응답 지연을 실제 부하에서 함께 검증해야 한다.
Tech로 돌아가기
Tech
베슬AI, Solar Pro 4 추론 인프라 최적화 성과 발표
캐시와 양자화의 성과는 업체의 운영 수치이므로, 다른 모델이나 트래픽에 같은 개선 폭을 가정해서는 안 됩니다.