오픈소스 gpu-unlock은 NVIDIA 정식 드라이버보다 먼저 로드되는 리눅스 커널 모듈로 일부 GA102, GA103, GA104, GA106 GPU의 FP32 누적 FP16 및 BF16 텐서 연산 제한을 완화한다. 프로젝트의 RTX 3090 Ti 측정에서는 BF16 처리량이 약 87.5에서 157.4 TFLOPS로 늘었다. 별도 RTX 3090 사용자 시험에서는 긴 프롬프트 처리 속도가 약 14% 개선됐지만 메모리 대역폭에 묶인 토큰 생성은 거의 바뀌지 않았다. 결과는 카드, 전력 설정과 작업에 따라 달라지며 모든 GPU의 두 배 성능이나 장기 안정성을 입증한 것은 아니다.
테크로 돌아가기
테크
gpu-unlock, 일부 Ampere GPU의 텐서 연산 제한 완화
리눅스 초기 부팅 모듈로 처리량을 높이지만 모든 LLM 단계가 빨라지지는 않는다.
출처
- Zagitta/gpu-unlock: Unlock FP/BF16 instruction issue rate on Nvidia 3000's cards to their professional equivalents , GitHub
- Compatibility report: stock EVGA RTX 3090 (GA102, 10de:2204) — works on Ubuntu 24.04 / kernel 7.0.0-38 / driver 610.57.04-open; ~2x FP16/BF16 per-MHz under a 350 W cap; warm reboot re-unlocks (selectors read 0)