대규모 언어 모델

난징대학교 연구팀이 학습 가치가 높은 추론 경로에 감독 신호와 최적화 자원을 집중하는 점진적 수축 프레임워크를 제안했습니다. 교사 모델의 불확실성 분석과 학습자 인식형 온라인 라우팅을 결합해 추론 후학습 비용을 줄이는 방식입니다.

전문가별 토큰 수를 균등하게 맞춰도 각 전문가가 배정된 입력을 충분히 학습했다는 보장은 없습니다. DRMoET는 손실이 큰 라우팅 결과를 학습에서 더 중요하게 다뤄, 희소 계산을 유지하면서 잘못된 라우팅에 대한 내성을 높입니다.

새 연구는 모델 응답의 첫 토큰이 이후의 추론 행동을 유도할 수 있음을 보여준다. 특정 시작 구문을 고정하면 수학과 코딩에서 기반 모델의 성능이 강화학습 모델에 가까워질 수 있다.

Queen은 강하지만 설명하지 못하는 체스 전문가 인코더와 자연어를 생성하는 지시 튜닝 언어 모델을 결합한다. 논문은 7회의 반복 증류를 통해 모델의 체스 레이팅이 1782에서 2697 Elo로 상승했다고 보고한다.

Dust는 가중치가 아니라 활성값을 perturb하고 손실 변화로 업데이트 방향을 추정한다. Transformer 언어 모델 사전 학습에서 역전파에 가까운 결과를 보였지만, 아직 계산 비용은 높다.

새 연구는 많은 사전학습 Transformer가 긴 참조 사슬을 처리할 능력이 없는 것이 아니라, 계산을 너무 일찍 중단할 수 있음을 보여준다. 초기 한 층에 rank-8 LoRA를 추가하면 동결된 중간 층이 더 긴 사슬을 전달할 수 있다.

Meta 연구진이 순환 계산, MoE 희소성, 모델 규모, 데이터를 함께 모델링하는 Loop Scaling Laws를 제안했습니다. 순환과 희소성을 결합해 효율적인 모델 설계 공간을 분석한 연구입니다.

베이징대학교 연구진은 후속 학습을 거친 모델이 무관한 프롬프트에 내놓는 단어 하나만으로도 다른 모델에 능력의 일부를 전달할 수 있음을 보였다. 연구진은 이 미세한 변화에 ‘행동의 그림자’라는 이름을 붙였다.

Negative Self-Distillation은 특권 정보가 반영된 정답 추론을 그대로 모방시키지 않고, 모델이 스스로 만든 결함 있는 추론에서 멀어지도록 학습하는 방법입니다. 외부 라벨 없이 탐색과 자기수정을 보존하는 것이 목표입니다.

Cohere Labs는 추론 모델이 영어로 되돌아가지 않고 프롬프트의 언어로 사고하도록 만드는 학습 방식을 분석했다. 3.35B 규모의 Tiny Aya L2-Thinker는 60개 언어에서 93% 이상의 언어 내 추론 비율을 보고했다.

NCP-ArchPreview는 기존의 다음 토큰 예측에 여러 토큰을 아우르는 이산적 다음 개념 예측을 추가한다. 자동회귀 생성을 유지하면서 더 높은 수준의 의미 구조를 잠재 공간에서 학습하려는 접근이다.

1.7B부터 70B 규모의 지시 튜닝 모델을 분석한 연구는 모델이 수학·코드 문제의 구조적 불가능성을 생성 전에 인식할 수 있음을 보여준다. 문제의 핵심은 인식 능력의 부재보다, 그 신호를 거부 행동으로 연결하지 못하는 라우팅 실패에 가깝다.

Qwen3.8-Flash-Next는 토큰당 약 60억 개의 파라미터만 활성화하는 1250억 파라미터 희소 MoE 모델입니다. 관련 논문은 모델 성능뿐 아니라 학습·추론 비용과 최적화 안정성을 함께 평가합니다.

SPOT은 온폴리시 증류에서 어느 위치를 추가로 탐색하고 어떤 후보를 학습 목표로 삼을지 함께 결정한다. 교사 모델의 국소 확률만 따르지 않고, 검증기가 평가한 후속 생성 결과로 증류 타깃을 보정한다.

이 논문은 모델의 여러 생성 결과에서 내부 일관성을 찾아 의사 해답을 만들고, 그 합의와 어긋나는 출력을 학습하는 U-OPSD를 제안한다. 정답 라벨이나 더 큰 교사 모델 없이도 수학 추론 벤치마크에서 기반 모델을 꾸준히 개선했다는 점이 핵심이다.

이 기술 보고서는 언어모델의 해석 가능성을 학습 이후에 덧붙이는 방식이 아니라, 학습 과정의 제약으로 함께 최적화해야 한다고 주장한다. Steerling-8B는 생성 결과를 입력 토큰, 인간이 이해할 수 있는 개념, 학습 데이터와 연결하려는 사례다.

Skaling law는 모델 용량과 학습 데이터가 손실에 미치는 영향을 독립적으로 보지 않고, 하나의 상호작용 지수로 결합해 기존 스케일링 법칙의 한계를 보완하려는 제안입니다.

바이트댄스가 최대 10조 파라미터 규모의 AI 모델을 훈련 중인 것으로 알려졌다. 이는 중국 빅테크가 미국 최상위 연구소와의 격차를 좁히는 수준을 넘어 정면 경쟁에 나섰음을 보여준다.

GradCuit은 Transformer 중간층에 최적화 가능한 연속 잠재 상태를 삽입해, 생성 결과의 피드백을 내부 추론 상태로 직접 전달하는 방법입니다. 모델 파라미터를 고정한 채 추론 정확도와 안정성을 높이는 데 초점을 둡니다.

Weak-to-Strong On-Policy Distillation은 더 강한 교사 모델 없이도 강한 LLM을 개선하려는 증류 프레임워크입니다. 작은 모델들의 logit 차이를 이용해 능력 방향을 만들고 이를 학생 모델 학습에 사용합니다.

Multi-Head Attention Residuals(MHAR)는 Transformer가 깊이 방향의 과거 상태를 읽는 방식을 더 세분화한 제안입니다. 하나의 공유 라우팅 분포 대신 특징 하위공간별 head가 각자 softmax를 갖도록 설계했습니다.