Nvidia가 무료 오픈소스 베타로 공개한 Personal AI Router는 같은 네트워크의 PC 가운데 여유 있는 장치로 Ollama와 LM Studio의 개별 추론 요청을 보내 로컬 AI와 멀티에이전트 처리량을 높입니다. GeForce RTX 20 시리즈 이후와 RTX Pro, DGX Spark, Apple M4 이후를 지원하고 Windows, macOS, Linux에서 GUI와 CLI를 제공합니다. 여러 GPU 메모리를 합쳐 큰 모델 하나를 분할 실행하는 기술은 아니므로 모델별 메모리 한도는 그대로입니다.
Tech로 돌아가기
Tech
Nvidia PAIR가 여러 PC의 유휴 GPU에 AI 추론을 분산합니다
남는 장비를 로컬 에이전트 병렬 처리에 쓸 수 있지만 단일 대형 모델의 메모리 한계를 해결하지는 않습니다.
출처
- 엔비디아, 유휴 PC GPU로 AI 추론 분산하는 'PAIR' 공개 — ZDNet Korea