망고부스트는 API 키로 모델을 이용하는 서버리스 플랫폼 Mango Inference를 공개했다. 모델 선택과 키 관리, 요청량, 지연, 토큰 및 결제 확인 기능을 통합하며 전용 추론 서비스는 향후 제공할 계획이다. 회사는 저장장치에서 GPU까지 최적화하는 자체 인프라가 효율을 높인다고 설명했다. 공개 기사에는 독립 비교시험이나 구체적인 요금표가 없어 저비용 효과를 확정할 수 없으며 도입 전 실제 부하 조건의 검증이 필요하다.
Tech로 돌아가기
Tech
망고부스트, API 기반 서버리스 추론 서비스 출시
인프라 구성 부담을 줄이는 서비스지만 비용과 처리량 우위는 실제 모델과 트래픽으로 검증해야 합니다.