NCP-ArchPreview, 다음 토큰에서 다음 개념 예측으로 나아가는 언어 모델

들어가며

대규모 언어 모델의 표준 학습 방식은 다음 토큰을 예측하는 것이다. 이 목표는 자연스러운 텍스트를 한 토큰씩 생성하는 데 효과적이지만, 여러 토큰에 걸쳐 나타나는 의미 단위나 더 넓은 문맥 구조를 직접 예측하도록 요구하지는 않는다. NCP-ArchPreview 기술 보고서는 이 한계를 보완하기 위해 다음 토큰 예측에 다음 개념 예측을 결합하는 방식을 제안한다.

구조와 학습 방식

NCP는 여러 토큰을 포괄하는 이산 개념을 예측하는 학습 목표다. NCP-ArchPreview는 모델의 은닉 상태에서 개념 표현을 구성한 뒤, 곱 양자화를 사용해 이산 개념 어휘를 만든다. 전용 Concept Module은 이 어휘에서 미래의 개념을 예측하고, 그 결과를 토큰 수준의 생성 과정으로 되돌려 이후 생성을 유도한다.

이 구조의 핵심은 개념 예측이 기존 자동회귀 생성을 대체하지 않는다는 점이다. 텍스트는 여전히 토큰 단위로 생성되며, 다음 토큰 예측은 국소적인 문법과 표현의 연속성을 담당한다. 동시에 다음 개념 예측은 여러 토큰을 가로지르는 의미 구조를 학습하도록 압력을 준다. 두 목표는 종단 간으로 함께 최적화된다.

이러한 설계는 잠재 표현을 더 명시적으로 구성할 가능성을 보여주지만, 해결해야 할 문제도 있다. 개념 어휘가 실제로 유용한 의미 단위를 포착하지 못하면 양자화가 정보 손실로 이어질 수 있다. 개념 예측이 부정확할 때는 토큰 생성이 잘못된 방향으로 유도될 가능성도 있다. 제공된 자료만으로는 다양한 도메인과 긴 문맥에서의 안정성을 판단하기 어렵다.

보고서가 제시한 결과

• NCP-ArchPreview는 89억 개 파라미터 규모로 확장됐으며 Dolma-3의 5.73조 토큰으로 학습됐다.
• 전체 학습 토큰의 51.3%만 소비한 시점에 OLMo-3-7B의 최종 사전학습 손실에 도달했다고 보고됐다.
• 전체 사전학습 이후 다운스트림 매크로 평균에서 OLMo-3-7B보다 2.45포인트 높았고, GSM8K에서는 5.99포인트의 향상을 보였다.
• 통제 실험은 성능 향상이 잠재 공간 아키텍처와 NCP 목표 모두에서 비롯됐음을 분리해 분석했다.
• 파라미터 수를 맞춘 89억 개 모델과 비교했을 때, 표준 계산량의 85%로 기준 모델의 학습 손실에 근접했다고 한다.

이 결과는 NCP-ArchPreview가 단순히 보조 손실을 추가한 실험이 아니라, 잠재 공간 예측을 대규모로 검증하려는 시도임을 보여준다. 다만 현재 제공된 정보는 초록 수준이므로, 모든 작업과 데이터 조건에서 일관된 우위를 보인다고 확대 해석해서는 안 된다.

의미와 전망

NCP-ArchPreview는 언어 모델이 모든 텍스트를 토큰별로만 처리하는 대신, 서로 다른 추상화 수준의 예측 목표를 함께 사용할 수 있는지 탐색한다. 효과가 여러 모델 규모와 데이터셋에서 재현된다면, 토큰 생성과 연속적인 은닉 표현 사이에 의미를 가진 이산 중간 표현을 둘 수 있다. 이는 모델이 표면적인 토큰 연결뿐 아니라 더 넓은 의미 구조를 학습하는 데 도움을 줄 가능성이 있다.

그러나 개념 어휘의 구축과 유지, Concept Module의 추가 비용, 추론 중 개념 피드백의 신뢰성은 실용적인 과제다. 이산화가 희귀 지식이나 세밀한 문법 표현에 미치는 영향도 별도로 평가해야 한다. 따라서 이번 보고서는 다음 토큰 예측의 종말을 선언한 결과라기보다, 잠재 공간 언어 모델과 다음 개념 예측이 확장 가능한 연구 방향인지 시험한 대규모 사례로 보는 편이 타당하다.

출처: Hugging Face Daily Papers