Simon Willison은 LLM CLI의 디버그 플러그인 llm-echo를 0.5로 갱신하며 모의 토큰 사용량 계산에 도구 호출, 시스템 프롬프트와 추론 토큰을 반영했다. 이 플러그인은 언어 모델을 실행하지 않고 전달된 프롬프트와 첨부 및 이전 대화 정보를 돌려주는 가짜 모델이다. 공개 예제에서는 thinking 옵션으로 모의 추론 출력과 사용량 표시를 함께 확인한다. 따라서 요청 구성과 계수 경로를 재현하는 테스트에 유용하지만 실제 제공업체의 토큰화나 비용을 검증하는 성능 지표로 써서는 안 된다.
테크로 돌아가기
테크
llm-echo 0.5, 도구와 추론 토큰의 모의 사용량 반영
유료 모델을 호출하지 않고 CLI의 입력과 사용량 처리를 점검할 수 있지만 실제 청구량을 재는 도구는 아니다.