Edge0는 145B와 120B 모델 가중치, 추론 프레임워크와 배포 도구를 공개했습니다. 145B는 토큰당 약 10.12B 매개변수를 활성화하며 업체 평가에서 DeepSWE 64.6점, Terminal-Bench 2.1 약 86.5점을 제시했습니다. 발표문은 노트북 최대 메모리 29GB와 초당 80토큰 이상을 주장하지만 저장소는 GPU 메모리와 별도 시스템 RAM을 나눠 기재하고 하드웨어별 속도도 다르게 제시합니다. 로컬 실행은 클라우드 토큰 요금을 줄일 수 있으나 총 메모리와 저장 공간, 전력 및 자체 평가의 한계를 확인해야 합니다.
Tech 목록으로
Edge0, 145B와 120B 로컬 모델 및 추론 도구 공개
공개 발표의 메모리와 속도를 모든 PC에 적용하지 말고 실제 GPU와 시스템 메모리 조건을 확인해야 합니다.