Thinking Machines Lab이 에이전트 코딩 역량을 로컬 기기에서 활용하도록 설계한 오픈 웨이트 모델 Inkling 2 Mini를 공개했다. 회사에 따르면 가중치 용량은 약 20GB이며 일부 노트북과 데스크톱 AI 기기에서 실행할 수 있다. 연구진은 인터넷 연결을 끊은 MacBook Pro에서 플레이 가능한 비행 시뮬레이터를 만든 시연도 소개했다. 이는 로컬 실행의 한 사례이지, 모든 노트북에서 같은 속도와 사용 경험을 보장한다는 뜻은 아니다.
핵심 내용
- 중간 계층을 반복해 추론에 계산을 더한다. Inkling 2 Mini는 순환형 트랜스포머로, 각 토큰을 처리할 때 모델의 중간 계층을 세 차례 실행한다. 회사는 이 방식이 추론을 모두 텍스트로 출력하지 않고도 추가 계산을 수행하게 하며, 작업을 마치는 데 필요한 출력 토큰 수를 줄일 수 있다고 설명한다.
- 전체 매개변수와 토큰당 계산 규모는 다르다. 전체 매개변수는 264억 개이며 혼합 전문가 구조를 사용한다. 토큰당 활성 매개변수는 약 34억 개, 반복 처리를 반영한 가중치 활성화 규모는 약 54억 개라고 회사는 밝혔다. 대부분의 가중치는 NVFP4 형식으로 학습·배포하고 마지막 네 개 계층에는 MXFP8을 적용해, 가중치 용량을 약 20GB로 유지한다.
- 주요 강점은 코딩과 도구 활용이다. Thinking Machines가 공개한 결과에서 모델은 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%를 기록했다. 회사는 비슷한 규모의 오픈 웨이트 모델들과 비교해 검색 및 도구 활용 평가 여러 항목에서도 앞섰다고 밝혔다. 다만 모델마다 평가 설정이 다르므로, 이 수치는 회사가 발표한 결과로 봐야 하며 완전히 동일한 조건의 순위로 단정해서는 안 된다.
- 반복 계산에는 한계와 감독 문제가 함께 따른다. 회사는 연구용 가변 반복 버전도 공개했다. 실험에서 반복 횟수를 늘리면 일부 장문맥 및 연쇄 추론 과제는 개선됐지만, 지식 중심 평가에서는 효과가 제한적이었다. 반복이 늘면서 사고 과정 텍스트는 짧아졌지만 읽을 수 있는 수준을 유지했다고 회사는 보고했다. 에이전트 사보타주 테스트에서도 반복 증가에 따른 악화 추세는 관찰되지 않았다고 밝혔다. 다만 이는 소개된 실험의 결과이며 모든 배포 환경에 그대로 적용된다고 볼 수는 없다.
의미와 영향
이번 공개의 의미는 매개변수 규모 자체보다 반복 계산, 저정밀도 가중치, 혼합 전문가 구조를 결합해 제한된 기기 메모리에서 더 복잡한 작업을 처리하려는 시도에 있다. 오픈 웨이트와 로컬 추론은 개발자가 모델을 시험하고 맞춤화할 여지를 제공한다. 순환형 구조는 모델 크기를 키우는 것만이 아닌 역량 향상 경로를 보여준다는 점에서도 주목할 만하다.
그러나 ‘노트북에서 실행 가능’한지는 메모리, 소프트웨어, 추론 설정에 달려 있다. 가중치가 20GB라고 해서 실행에 필요한 전체 메모리도 20GB라는 뜻은 아니다. 현재 성능 주장은 주로 회사가 공개한 벤치마크에 근거하므로 독립적인 재검증이 필요하다. 반복 계산은 여러 단계의 작업에 도움을 줄 수 있지만, 부족한 사실 지식을 보완하는 검색을 대신하지 않으며 모델 행동의 감독 문제를 단독으로 해결하지도 않는다.
출처: Web Search
댓글
로그인 상태 확인 중…
댓글 불러오는 중…