공개 Fly Language Model은 고정된 12억 매개변수 LFM2.5에 초파리 신경 연결망을 붙이고 약 27만 8천 개 읽기 계층 매개변수만 학습한 실험입니다. 유지된 뉴런 16만 6,700개와 약 2,558만 연결을 사용하지만 같은 규모의 매개변수를 쓰고 초파리 그래프를 뺀 대조군이 조금 더 나았습니다. MIT 라이선스로 로컬 실행할 수 있으나 동물의 인지 능력을 재현했다거나 연결망이 언어 성능을 높였다는 증거는 아닙니다.
Tech로 돌아가기
Tech
초파리 연결망 LLM, 대조군보다 나은 효과 못 보여
생물학적 배선을 넣었다는 사실과 언어 성능 개선은 별개이며 대조군 결과를 함께 읽어야 합니다.