Architect가 LLM 추론 요청을 공급자 간 실시간 경매에 부치는 Liquid Inference를 출시했다. 구매자가 가격 상한과 첫 토큰 지연, 처리량, 허용 지역 및 데이터 보관 조건을 지정하면 이를 충족하는 최저가 제안으로 요청을 보낸다. OpenAI와 Anthropic 호환 클라이언트를 지원하며 생성 전에 최대 가격을 잠그고 실제 사용량으로 정산한다고 설명한다. 비용 절감은 공급자 경쟁과 선택 조건에 따라 달라지며 모든 작업에서 최저 비용을 보장한 독립 검증은 아니다.
Tech로 돌아가기
Tech
Liquid Inference, 요청마다 조건을 맞춰 추론 경매
추론 라우팅의 비교 기준은 토큰 단가에 지연시간과 데이터 처리 조건까지 포함해야 한다.