메타와 워싱턴대 연구는 토큰 모델의 예측 정보를 바이트 모델로 옮기는 두 증류 방식을 비교했다. 약 10억 매개변수 실험에서 바이트 모델은 적은 연산 구간에서는 불리했지만 충분히 학습하면 비교 토큰 모델을 넘어섰고 일부 성능을 더 적은 데이터로 달성했다. Llama와 Gemma 대비 최대 우위 수치는 확장 법칙의 외삽 예측이다. 9월 공개된 연구의 재소개로, 더 긴 입력 길이와 실제 추론 비용 및 대규모 재현은 별도로 검토해야 한다.
테크
작은 어휘와 적은 학습 데이터가 곧 낮은 추론 비용이나 대형 모델 우위를 뜻하지는 않습니다.
메타와 워싱턴대 연구는 토큰 모델의 예측 정보를 바이트 모델로 옮기는 두 증류 방식을 비교했다. 약 10억 매개변수 실험에서 바이트 모델은 적은 연산 구간에서는 불리했지만 충분히 학습하면 비교 토큰 모델을 넘어섰고 일부 성능을 더 적은 데이터로 달성했다. Llama와 Gemma 대비 최대 우위 수치는 확장 법칙의 외삽 예측이다. 9월 공개된 연구의 재소개로, 더 긴 입력 길이와 실제 추론 비용 및 대규모 재현은 별도로 검토해야 한다.