래블업은 GLM-5.2를 NVFP4로 실행할 때 사용하는 한국어 드래프트 모델 GLM-5.2-NVFP4-DFlash-ko를 공개했다. 작은 모델이 여러 토큰을 제안하고 큰 모델이 검증하는 투기적 디코딩에 한국어 질의와 에이전트 데이터를 적용한 것이다. 회사 평가의 평균 수락 길이는 에이전트 작업 2.71, 한국어 질의 2.77이었다. 이는 검증당 받아들인 토큰 수로 전체 처리 속도와 같지 않다. 별도로 개발 중인 110억 매개변수 온디바이스 모델은 이번 공개물과 구별해야 한다.
Tech로 돌아가기
Tech
래블업, 한국어 GLM 추론 가속용 DFlash 보조 모델 공개
큰 모델이 후보 토큰을 검증하는 방식으로, 수락 길이 수치를 곧바로 응답 속도의 배수로 읽어서는 안 됩니다.