로컬 추론 사용기는 MoE 모델의 일부 전문가를 시스템 RAM에 두는 구성으로 구형 GPU에서도 큰 모델을 실행한 사례를 소개했다. 작성자는 12GB RTX 3080 Ti와 RAM 32GB에서 Qwen3.6-35B-A3B를 초당 약 24토큰, 8GB GTX 1080과 RAM 32GB에서 Gemma-4-26B-A4B를 약 14토큰으로 측정했다고 밝혔다. 이는 개인 장비의 결과이며 전체 가중치 저장 공간은 여전히 필요하다. 장비와 모델 배치가 달라지면 속도도 달라져 같은 성능을 일반화할 수 없다.
Tech로 돌아가기
Tech
구형 GPU의 MoE 실행 사례, RAM 분산으로 모델 확대
전체 가중치를 담을 합산 메모리가 필요하며 적은 활성 매개변수만으로 실행 속도를 보장할 수 없다.