Janas는 MoE 모델의 필요한 전문가 가중치를 SSD에서 읽어 RAM보다 큰 언어모델을 실행하는 프로젝트다. 개발자는 메모리 32GB와 고속 NVMe를 갖춘 노트북에서 48.4GB Qwen3-Next 모델을 초당 약 24토큰으로 실행했다고 보고했다. 같은 문서의 llama.cpp 비교는 약 2.8토큰이지만 프롬프트와 구성 조건이 달라 일반적인 우위로 단정하기 어렵다. 초기 API와 드라이버 제약이 있고 저장장치 속도 및 메모리 압박에 크게 의존한다.
Tech로 돌아가기
Tech
Janas, SSD 전문가 스트리밍으로 대형 MoE 실행
노트북 한 대의 초기 벤치마크이므로 메모리보다 큰 모델을 실행하는 가능성과 범용 속도 보장은 구분해야 한다.
출처
- prabanta-dev/janas: 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU. , GitHub
- Janas - SSD를 활용해 RAM보다 큰 MoE 언어 모델을 실행하는 추론 엔진