XDA 필자는 llama.cpp에서 Gemma 4 12B와 일치하는 MTP 초안 모델을 함께 사용해 평균 생성 속도가 초당 75.3토큰에서 178.7토큰으로 높아졌다고 보고했습니다. RTX 4070 Ti Super와 같은 양자화 및 문맥 설정에서 JSON과 코드, 산문 작업을 비교한 개인 시험입니다. 작은 모델이 여러 토큰을 제안하고 큰 모델이 검증하는 방식으로, 짝이 맞는 파일과 지원되는 실행 환경이 필요합니다. 이 기능은 이미 배포된 것으로 신규 모델 출시가 아니며 성능 이득은 작업과 하드웨어 및 조밀 모델 여부에 따라 달라집니다.
테크로 돌아가기
Gemma 4 로컬 추론 사례, 맞는 초안 모델로 속도 개선
RTX 4070 Ti Super의 세 작업에서 나온 수치로 모든 하드웨어와 모델에 같은 향상을 보장하지 않습니다.