DGX Spark로 nanochat을 학습한 실험에서는 GPU 사용률이 높아도 비효율적인 attention 경로 때문에 처리 성능이 낮을 수 있었다. 20스텝 비교에서 네이티브 FP8은 스텝당 3.149초였지만 Transformer Engine FP8은 3.967초였고 NVFP4도 더 빠르지 않았다. 이는 짧은 구현별 시험이지 모든 장기 학습의 우열은 아니다. 정밀도 이름이나 장비 사양만 보고 선택하기보다 커널 경로, 메모리 사용량과 실제 처리량을 작은 실행으로 먼저 점검해야 한다.
Tech로 돌아가기
Tech
DGX Spark 학습 사례, 낮은 정밀도가 항상 빠르지는 않았다
GPU 사용률보다 커널과 메모리, 실제 스텝 시간을 함께 측정해야 최적화의 효과를 판단할 수 있습니다.