POCKET Darwin 180B가 대형 혼합 전문가 모델의 가중치를 SSD에서 읽어 소비자급 장비로 실행하는 구성을 공개했다. 공식 모델 카드의 배포 파일은 약 111.3GB이며, 8GB GPU와 32GB RAM을 갖춘 노트북에서 초당 4.17토큰을 보고했다. 별도의 CPU 환경에서는 초당 18~21토큰 대신 약 78.8GB의 최대 RAM을 사용했다. 양자화 전후 정확도 일치는 2000문항 비교에 한정되므로, 적은 GPU 메모리가 작은 저장공간이나 모든 작업의 같은 성능을 뜻하지는 않는다.
Tech로 돌아가기
Tech
POCKET Darwin 180B, 소비자급 장비 추론 구성 공개
로컬 실행 가능성은 넓어졌지만 저장공간, 처리 속도와 메모리 비용을 같은 장비 조건에서 비교해야 한다.