Grassmann 모델, 어텐션 없는 작은 언어 모델 실험

2025년 논문이 토큰 쌍을 기하학적 부분공간으로 바꾸는 Causal Grassmann 계층을 제안했다. WikiText-2의 1,300만1,800만 파라미터 모델은 비슷한 크기의 Transformer와 퍼플렉시티 차이가 약 1015% 이내였다. SNLI 비교는 어텐션을 쓰는 DistilBERT 위의 분류 헤드 실험이다. 고정된 랭크와 윈도에서는 계산량이 길이에 선형이지만 현재 구현은 최적화된 GPU 어텐션보다 느린 구간이 있어 대형 모델의 일반적 대체를 입증한 결과는 아니다.