Anthropic은 Claude API의 반복 입력 캐싱, 오래된 지침 제거, 모델별 추론 노력 조정을 함께 권했습니다. 캐시를 유지하려면 고정 지침과 도구 순서를 앞에 두고 매 요청의 시각이나 ID는 뒤로 분리해야 합니다. 고객지원 실험에서는 불필요한 검증과 충돌 지침을 정리해 평균 비용이 14.6% 줄고 정확도가 5.3% 개선됐습니다. 특정 실험의 결과이므로 실제 평가 데이터로 재시도, 지연, 도구 호출과 성공률을 포함한 작업당 비용을 비교해야 합니다.
Tech로 돌아가기
Tech
Anthropic, 캐싱과 지침 정리로 API 비용 절감법 공개
토큰 단가보다 성공한 작업당 비용을 측정하고 모델 교체 때 누적 지침과 추론 수준을 재평가해야 합니다.