OpenAI가 GPT-6의 프롬프트 캐싱을 개선해 반복되는 지침과 도구 정의, 대화 맥락을 재사용하도록 했다. 적격한 공통 접두부를 30분 안에 다시 쓰면 캐시 할인을 받을 수 있고, 적중률 대시보드와 미스 진단 및 사전 준비 기능도 제공한다. 개발자는 도구 정의를 안정적으로 유지하고 허용 도구만 바꾸는 방식 등을 검토할 수 있다. 비용 절감 폭은 실제 캐시 적중률과 입력 구성에 달려 있다.
Tech
최대 90% 할인은 전체 사용료가 아니라 캐시된 입력 토큰에 적용됩니다.
OpenAI가 GPT-6의 프롬프트 캐싱을 개선해 반복되는 지침과 도구 정의, 대화 맥락을 재사용하도록 했다. 적격한 공통 접두부를 30분 안에 다시 쓰면 캐시 할인을 받을 수 있고, 적중률 대시보드와 미스 진단 및 사전 준비 기능도 제공한다. 개발자는 도구 정의를 안정적으로 유지하고 허용 도구만 바꾸는 방식 등을 검토할 수 있다. 비용 절감 폭은 실제 캐시 적중률과 입력 구성에 달려 있다.