텐센트 혼위안 팀은 11월 20일 Hy4 모델 가중치를 공개하고 시스템 카드도 함께 발표했다. 공식 설명에 따르면 Hy4는 텍스트, 이미지, 동영상 이해를 지원한다. 언어 백본의 전체 매개변수 수는 7700억 개이고, 토큰마다 활성화되는 매개변수는 490억 개다. 공식 사양에 기재된 컨텍스트 길이는 104만8576토큰이다. 공개 자료에는 모델 구조와 활용 분야, 여러 평가 결과가 담겼다. 다만 평가 대부분이 개발사 측에서 수행된 만큼 실제 성능을 판단하려면 독립적인 재현 결과도 살펴볼 필요가 있다.
핵심 내용
- 희소 활성화 MoE 구조: Hy4는 총 78개 레이어로 구성된다. 첫 레이어는 밀집 FFN을 사용하고 나머지 77개는 MoE 구조다. 각 MoE 레이어에는 라우팅 전문가 256개와 공유 전문가 1개가 있으며, 토큰마다 라우팅 전문가 8개와 공유 전문가를 활성화한다.
- 긴 컨텍스트와 희소 어텐션: Gated DeepSeek Sparse Attention을 적용하고 IndexCache를 통해 레이어 사이에서 희소 인덱스를 재사용한다. 공식 최대 컨텍스트는 104만8576토큰이다. 그러나 이 수치만으로 긴 문맥 작업의 품질을 보장할 수는 없다. 입력 내용과 추론 설정, 서비스 환경에 따라 실제 결과는 달라질 수 있다.
- 비전 기능과 추측 디코딩: 비전 인코더는 이미지의 동적 해상도를 지원한다. 이미지와 동영상 프레임의 특징을 어댑터가 시각 토큰으로 바꿔 텍스트와 함께 처리한다. 추측 디코딩을 위해 33억 개 매개변수의 DFly2도 탑재했으며, KV 캐시와 희소 인덱스를 재사용한다. 텐센트는 추가 비용이 낮은 설계라고 설명하지만 실제 처리량은 배포 환경에 좌우된다.
- 다양한 활용 분야 제시: 컴퓨터 조작, 프런트엔드·게임 개발, 금융·사무 업무, 과학 연구, 장기 작업을 활용 사례로 들었다. 텍스트와 멀티모달 벤치마크 결과도 공개했지만, 사내 평가에서 나온 순위를 여러 기관이나 실제 환경에 그대로 일반화하기는 어렵다.
평가 결과를 읽는 법
공개 표에서 Hy4 Base는 지식, 추론, 멀티모달 분야의 일부 테스트에서 높은 점수를 기록했다. 하지만 벤치마크마다 과제 유형과 표본 규모, 채점 방식이 달라 한 가지 점수로 모델 전체의 성능을 요약하기는 어렵다. 텐센트는 베이스 모델이 중간 학습 과정에서 합성 지시 데이터를 상당량 접했고, 소수 샷 평가에서 기대한 답변 형식을 따르지 못하는 경우가 있어 점수가 영향을 받을 수 있다고 밝혔다. 표에서 가장 높은 점수가 통계적 유의성을 뜻하지 않는다는 점도 명시했다. 금융 분야 결과 역시 특정 업무 환경과 전문가 평가에 기반한 자료로 해석해야 한다.
공개의 의미
가중치 공개로 연구자와 개발자는 Hy4를 살펴보고 배포하거나 추가 조정할 수 있으며, 긴 컨텍스트·멀티모달·희소 활성화 설계를 실제 환경에서 시험할 수 있게 됐다. 반면 전체 매개변수가 7700억 개에 달하는 만큼 운영에는 상당한 연산 자원과 엔지니어링이 필요하다. 토큰당 활성화 매개변수가 490억 개라고 해서 저장이나 추론 비용이 작다는 뜻은 아니다. 실제 요구 자원은 가중치 정밀도, 하드웨어, 추론 소프트웨어 등에 따라 달라진다. 앞으로는 독립적인 재현성, 긴 문맥 처리의 안정성, 동영상 이해 품질, 추론 비용, 라이선스 조건을 확인할 필요가 있다.
출처: Web Search
댓글
로그인 상태 확인 중…
댓글 불러오는 중…