Strata는 Qwen3.8-Flash-Next의 1250억 매개변수를 GPU와 RAM, CPU, SSD에 분산해 로컬에서 실행하는 오픈소스 도구다. 공개 README의 RTX 5070 12GB와 RAM 64GB 구성은 Q2_0에서 생성 94토큰/초, 32K 입력 처리 2650토큰/초를 보고한다. 기본 VRAM은 12GB 이상이며 RAM이 부족하면 모델 선택과 속도가 제한된다. 설계 문서는 자주 쓰는 전문가를 GPU에 두고 나머지를 CPU가 병렬 처리한다고 설명한다. OpenAI와 Anthropic 호환 API를 제공하지만 수치는 제작자 측 조건별 측정으로, 모든 GPU에서 같은 성능을 보장하지 않는다.
Tech로 돌아가기
Tech
Strata, 125B Qwen을 소비자 PC에서 분산 실행
제작자 실측과 GPU별 예상치를 구분하고 양자화 크기와 여유 RAM에 맞춰 성능을 판단해야 한다.