GLM-5.3 744B 모델을 2비트로 양자화해 고성능 워크스테이션에서 실행한 사례가 공개됐다. 모델 파일만 약 238.6GB이고 96GB GPU 두 개와 시스템 RAM을 함께 사용했다. 작성자가 측정한 생성 속도는 초당 11.3토큰이었지만 3만2984토큰 입력의 첫 응답까지 약 394초가 걸렸다. 추론 강도를 낮추자 간단한 게임 구현은 완료했으나 고강도 설정은 예산을 소진했다. 약 6만5000달러 장비의 단일 사례이므로 일반 PC의 비용 효율이나 원본 모델과 같은 품질을 입증하지는 않는다.
Tech로 돌아가기
Tech
744B 모델의 로컬 실행 사례, 관건은 메모리와 대기시간
로컬 실행 가능성과 저렴한 실사용은 다르며 양자화 품질과 첫 응답 지연까지 확인해야 합니다.