Alex Wang은 키와 값을 저장하는 연상 메모리에서 출발해 트랜스포머의 어텐션과 피드포워드 층을 설명했다. 선형 기억은 키 사이 간섭으로 용량이 제한되지만 비선형 활성화와 softmax를 쓰면 구분 능력이 커진다는 실험을 제시한다. 관련 2021년 연구도 피드포워드 층의 키가 텍스트 패턴에 반응하고 값이 출력 단어 분포와 연결되는 구조를 분석했다. 다만 이런 단순 기억 실험과 층 해석은 학습된 전체 모델의 사실 저장량을 직접 측정하거나 정확한 회상을 보장하지 않는다.