Ollama 등 로컬 추론 도구에서 지나치게 큰 문맥 창이 KV 캐시 메모리를 차지하는 문제와 조절법이 소개됐다. 입력과 출력 토큰 수를 여러 대화에서 확인한 뒤 num_ctx를 실제 사용량에 여유를 더한 값으로 낮추고, 긴 대화의 앞부분이 유지되는지 시험하는 방식이다. 추론 모델의 생각 토큰과 동시 요청 수도 고려해야 한다. Q8 캐시 양자화는 캐시 공간을 줄이는 추가 선택지지만 전체 모델 메모리를 절반으로 만드는 것은 아니며, 더 낮은 정밀도는 답변 품질 비교가 필요하다.