CMU 연구진의 Quail은 SQL 안의 AI 필터와 조인을 함께 계획해 연산 순서와 KV 캐시 재사용을 최적화한다. 자체 시험에서 Qwen3 4B FP8과 H100 한 장으로 규모 0.1의 29개 질의를 비교했을 때 vLLM 기준보다 27개가 빨랐고 기하평균 속도 향상은 1.84배였다. 반면 서로 다른 행의 같은 접두사를 재사용하지 못해 느린 질의도 있었다. 공개 저장소의 현재 기능은 필터와 조인 중심이며 모든 SQL 연산이나 모든 모델에서 같은 개선을 보장하지 않는다.
Tech로 돌아가기
Tech
Quail, SQL 계획과 LLM 추론을 묶어 중복 계산 줄여
캐시 재사용 구조에 따라 유불리가 갈리므로 자체 데이터와 질의로 비용과 실행 시간을 비교한다.