IBM은 8B와 30B Granite Switch 4.1에 범용 판단, 안전 분류와 음성 인식 구성요소를 묶었다. 활성화 LoRA는 기본 모델의 KV 캐시를 재사용해 대화 뒤 여러 분류를 수행할 때 중복 연산을 줄이는 방식이다. 한 엔드포인트에서 전사, 요약과 사용자 정의 플래그 판정을 연결하는 예제도 제공한다. 메모리 및 속도 이득은 구성과 작업에 따라 달라지며 맞춤 어댑터 학습 SDK 등 일부 도구는 향후 계획이다.
테크로 돌아가기
테크
Granite Switch 4.1, 대화와 판단 및 음성을 한 서버로
여러 작업을 각각 큰 모델로 띄우기 전에 공유 캐시와 전문 어댑터 구성을 검토할 수 있다.