Multiverse Computing 연구진이 모델 블록 제거를 제약이 있는 이진 최적화 문제로 표현한 방법을 설명했다. 작은 보정 데이터로 블록 간 상호작용을 근사하고 후보 조합의 손실을 저렴하게 비교해 압축 구성을 찾는다. 특정 Llama 모델의 높은 압축률에서 기존 방법보다 성능이 좋았다는 자체 결과다. 물리학의 Ising 모형을 활용하지만 양자 하드웨어가 필수라는 뜻은 아니며 압축 후 품질과 실제 추론 속도는 모델별 검증이 필요하다.
Tech
개별 층의 중요도 순위만으로는 여러 층을 함께 제거할 때의 영향을 놓칠 수 있다.
Multiverse Computing 연구진이 모델 블록 제거를 제약이 있는 이진 최적화 문제로 표현한 방법을 설명했다. 작은 보정 데이터로 블록 간 상호작용을 근사하고 후보 조합의 손실을 저렴하게 비교해 압축 구성을 찾는다. 특정 Llama 모델의 높은 압축률에서 기존 방법보다 성능이 좋았다는 자체 결과다. 물리학의 Ising 모형을 활용하지만 양자 하드웨어가 필수라는 뜻은 아니며 압축 후 품질과 실제 추론 속도는 모델별 검증이 필요하다.