llm-d 1.0이 공개돼 Kubernetes에서 vLLM과 SGLang 위의 분산 추론을 운영하는 기능을 강화했다. 안정된 v1 설정 API, 다중 사용자 공정성과 우선순위, 고가용 라우팅과 무중단 업그레이드를 제공하며 여러 차례 돌아오는 에이전트 요청의 캐시 재사용을 돕는다. 프리필과 디코드 분리 및 KV 캐시 오프로딩 자체는 이전부터 있던 기법이다. IBM과 Red Hat의 특정 3,000개 에이전트 실험은 외부 서비스 대비 비용 절감을 보고했지만 보편적인 절감 보장은 아니다. 실제 트래픽과 장애 및 업데이트 조건까지 평가해야 한다.