예일대 등이 참여한 연구는 신경망의 연속 벡터를 내용과 역할을 결합한 상징 구조로 근사해도 동작이 대체로 유지되는 결과를 제시했다. 목록 처리 모델과 언어 모델의 산술, 논리, 코드 및 언어 과제를 분석했고, 내부 표현의 수식 관계를 바꾸자 문장 해석도 의도한 방향으로 달라졌다. 10월 소개 보도의 원논문은 8월 30일 공개된 사전논문이며, 특정 실험에서 구조의 기능적 역할을 뒷받침한다. 모든 추론 과정을 해명했거나 실제 환경에서 모델 행동을 완전히 제어하게 됐다는 뜻은 아니다.