Tencent의 Hy4 Preview는 텍스트 전용 MoE 모델로 총 770B 파라미터 중 49B를 활성화하고 100만토큰 컨텍스트를 지원합니다. Hugging Face 가중치 크기는 1.56TB로, 전작 Hy3의 295B 총 파라미터와 25만6000토큰 컨텍스트에서 크게 늘었습니다. 채팅 템플릿은 기본 high 추론과 no_think 두 모드만 제공해 직접 호스팅에는 매우 큰 저장 및 연산 자원이 필요하지만 장문맥 오픈 웨이트 선택지가 추가됐습니다.
한줄 결론: 1M 컨텍스트를 공개 가중치로 제공하지만 규모가 커 실제 자체 운영은 대형 인프라가 있는 팀에 한정됩니다.