명령줄 토큰 계산 도구 ttok 1.0이 기본값을 GPT-4용에서 GPT-5 및 GPT-6 계열을 겨냥한 토크나이저로 바꿨다. 앞선 0.4에는 지원 모델 목록을 확인하는 옵션과 테스트 관련 수정이 추가됐다. 작성자는 GPT-6의 동일 인코딩 사용을 OpenAI가 확인한 것은 아니며, 31개 시험 입력에서 토큰 수가 같았다는 관찰에 근거한다고 설명한다. 기존 집계와 비교하거나 예산을 추산할 때 기본값 변화와 검증 범위를 구분해야 한다.
Tech
토큰 수 비교는 모델과 인코딩을 고정해야 하며, 표본 일치가 전체 호환성 보장은 아니다.
명령줄 토큰 계산 도구 ttok 1.0이 기본값을 GPT-4용에서 GPT-5 및 GPT-6 계열을 겨냥한 토크나이저로 바꿨다. 앞선 0.4에는 지원 모델 목록을 확인하는 옵션과 테스트 관련 수정이 추가됐다. 작성자는 GPT-6의 동일 인코딩 사용을 OpenAI가 확인한 것은 아니며, 31개 시험 입력에서 토큰 수가 같았다는 관찰에 근거한다고 설명한다. 기존 집계와 비교하거나 예산을 추산할 때 기본값 변화와 검증 범위를 구분해야 한다.