Q Labs의 Dust는 토큰별 활성값에 작은 변화를 주고 손실 변화를 관찰해 가중치 갱신을 추정하는 학습 방법이다. 가중치를 직접 교란하는 EGGROLL과 달리 한 번의 순전파에서 다수의 가상 표본을 평가한다. 연구진은 큰 표본 수에서 역전파와 비슷하거나 더 나은 손실을 얻었다고 보고했지만 계산량을 크게 늘린 실험이다. EGGROLL 대비 수천 배 효율 주장은 외삽 비교이며 역전파보다 빠르다는 뜻이 아니다. 연구진도 당장 실용적인 대체 방법으로 보지는 않는다.
Tech로 돌아가기
Tech
Dust, 역전파 없이 활성값 교란으로 Transformer 학습 실험
새로운 학습 가능성을 보인 결과와 현재의 계산 비용 경쟁력을 구별해야 한다.