벤처 투자자 사미르 싱은 로컬 AI 모델이 개인 기기의 유휴 연산 자원을 활용해 클라우드 공급 제약과 중앙화된 서비스 의존을 완화할 수 있다고 주장했다. 혼합전문가 모델은 계산에 참여하는 매개변수를 줄일 수 있지만 전체 가중치와 문맥 캐시를 담을 메모리까지 같은 비율로 줄이지는 않는다. 소비자 기기에서 병렬 작업을 늘리는 전망은 흥미롭지만, 모델 품질과 전력, 기기 유지비를 포함한 실제 조건을 확인해야 하며 모든 클라우드 작업을 즉시 대체한다는 뜻은 아니다.
Tech로 돌아가기
Tech
로컬 AI 확산론, 클라우드 의존을 줄일 가능성과 조건 제시
활성 매개변수가 적어도 전체 가중치 메모리는 필요하므로 로컬 실행의 품질과 비용을 따로 검증해야 합니다.