카카오, MoE 학습률 탐색과 BBT 경량화 연구 공개

카카오는 COLM 2026에서 대규모 MoE 모델의 학습률 탐색과 바이트 기반 BBT 경량화 연구를 공개했다. 회사는 작은 모델의 설정을 확장해 전체 학습 비용 약 1%로 최적 학습률을 예측하고 Kanana 사전학습에 적용했다고 밝혔다. 별도 BBT 비교 실험에서는 파라미터를 20.240.4% 줄이면서 평가 성능을 2.76.6% 높였다고 보고했다. 두 수치는 다른 실험의 결과이며 전체 서비스 비용이 같은 비율로 줄거나 모든 언어와 모델에서 개선된다는 뜻은 아니다.