앤트 바이링, Agent 효율성 겨냥한 혼합 추론 모델 Ling-3.0-Flash 공개

도입

앤트 바이링은 7월 24일 차세대 네이티브 혼합 추론 모델 Ling-3.0-Flash를 발표했다. 이번 모델의 핵심은 단순한 파라미터 확장이 아니라, 더 적은 활성 계산으로 높은 추론 성능을 내는 데 있다. 총 파라미터는 124B이지만 단일 계산에서 활성화되는 파라미터는 5.1B로 제한된다. 이는 모델 성능뿐 아니라 지연 시간, 비용, 실제 배포 가능성을 함께 고려한 접근이다.

핵심 내용

• 큰 용량과 낮은 활성 계산의 결합: Ling-3.0-Flash는 전체 모델 용량은 유지하면서 추론 시 실제 계산에 참여하는 파라미터를 줄이는 구조를 택했다. 공개된 설명에 따르면 기본 추론, 지시 따르기, 긴 텍스트 처리 등에서 더 큰 규모의 업계 선도 모델과 견주거나 이를 넘어서는 성능을 목표로 한다.
• Agent 실사용 시나리오 강화: 모델은 10000개가 넘는 실제 상호작용 훈련 환경을 확장했으며, 복잡한 작업 분해, 자기 수정, 장기 계획 능력을 중점적으로 개선했다. 코드 작성, 여러 출처를 활용한 조사, 긴 업무 흐름 수행처럼 Agent가 중간에 방향을 잃기 쉬운 상황을 겨냥한다.
• 혼합 어텐션 아키텍처: Ling-3.0-Flash는 사전학습 단계부터 혼합 어텐션 구조를 사용한다. KDA 선형 어텐션 레이어와 MLA 레이어를 5:1 비율로 교차 적층해 긴 문맥 처리 효율과 모델 능력 사이의 균형을 추구한다.
• KDA로 긴 문서 기억 강화: 이전 세대의 Lightning Attention은 KDA, 즉 Kimi Delta Attention으로 업그레이드됐다. Delta Rule의 상태 업데이트에 세밀한 대각 게이팅을 도입해 긴 문서나 코드베이스를 처리할 때 핵심 정보를 더 정확하게 유지하도록 설계됐다.
• 전문가 활성화 비율 축소: Token당 전문가 활성화 비율은 이전 세대의 1/32에서 1/64로 낮아졌다. 이는 혼합형 모델의 전체 용량을 활용하면서도 실제 추론 비용을 줄이려는 효율화 전략이다.
• 운영 아키텍처까지 개선: 바이링은 장기 대화와 다중 턴 상호작용에서 반복 계산을 줄이기 위해 클러스터 수준의 계층형 캐시를 도입했다. 원문에 따르면 긴 입력에서 첫 토큰 응답 지연을 60%에서 80% 이상 낮출 수 있다. 또한 다중 Agent 협업 구조를 통해 역할 분담과 상호 검증을 수행하고 단일 모델 판단 오류를 줄이는 방향도 제시했다.

의미와 영향

Ling-3.0-Flash는 대형 모델 경쟁이 단순한 크기 싸움에서 효율적 추론과 실제 배포성 경쟁으로 이동하고 있음을 보여준다. 기업용 Agent에서는 단발성 벤치마크보다 긴 업무를 안정적으로 끝까지 수행하는 능력이 더 중요할 수 있다. 지연 시간, 비용, 긴 문맥 안정성은 실제 서비스 투입 여부를 결정하는 핵심 요소다.

향후 관전 포인트는 예정된 오픈소스 공개와 제3자 검증이다. 설명대로 공개된다면 개발자들은 Agent 워크플로, 긴 문맥 추론, 낮은 활성 계산 구조를 실험할 수 있는 선택지를 얻게 된다. 다만 현재 정보는 주로 업체 제공 자료에 기반하므로, 독립 평가와 실제 업무 부하에서의 재현성 확인이 필요하다.

출처: 量子位