리벨리온이 자사 NPU의 적용 범위를 SK텔레콤의 통화 한 줄 요약, 스트리밍 음성합성, 고객센터 후처리 및 검색, 피싱 문자 탐지로 확대했다고 밝혔다. 회사가 제시한 처리량은 하루 약 1400만 건과 40억 토큰 이상이다. SKT는 여러 서비스가 NPU 자원을 공유하고 작업 특성에 따라 GPU와 배치한다고 설명했다. 처리량은 양사 발표 수치이며 개별 작업의 지연이나 비용을 독립 비교한 결과는 아니다.
Tech
실제 서비스별 추론 수요에 맞춘 GPU와 NPU의 자원 배치가 관건이다.
리벨리온이 자사 NPU의 적용 범위를 SK텔레콤의 통화 한 줄 요약, 스트리밍 음성합성, 고객센터 후처리 및 검색, 피싱 문자 탐지로 확대했다고 밝혔다. 회사가 제시한 처리량은 하루 약 1400만 건과 40억 토큰 이상이다. SKT는 여러 서비스가 NPU 자원을 공유하고 작업 특성에 따라 GPU와 배치한다고 설명했다. 처리량은 양사 발표 수치이며 개별 작업의 지연이나 비용을 독립 비교한 결과는 아니다.