대규모 언어 모델

이 논문은 오프폴리시 응답을 그대로 모방하지 않고, 각 토큰이 올바른지 판단하도록 학습하는 TOPL을 제안한다. 요약과 번역에서 분포 변화에 더 강한 성능을 보였다.

Hugging Face Daily Papers에 소개된 논문은 MoE 기반 루프형 Transformer 모델군인 Loopie를 제안한다. 저자들은 동일한 사전학습 계산 예산에서 일반 Transformer 기준 모델을 뛰어넘고, 후처리 학습을 통해 강한 추론 능력을 얻었다고 설명한다.

DeepLoop는 동일한 Transformer 블록을 반복 사용하는 구조에서 기존 잔차 스케일링 규칙이 그대로 맞지 않을 수 있음을 지적합니다. 논문은 명목상 층 수가 아니라 파라미터 방문 횟수와 정렬성을 반영한 스케일링을 제안합니다.

GigaWorld-Policy-0.5는 World Action Models의 추론 비용 문제를 줄이기 위해, 학습에는 미래 시각 동역학을 활용하고 배포 시에는 행동만 디코딩한다. 혼합 학습, Mixture-of-Transformers, AutoResearch가 핵심 요소다.

arXiv 논문은 사용자가 LLM의 원래 답변에서 잘못된 추론 단계를 직접 수정하고, 수정된 CoT를 정제된 프롬프트로 바꿔 이후 추론을 유도하는 Deep Interaction을 제안한다.

이 arXiv 논문은 Transformer 피드포워드 블록의 설계를 깊이가 증가할 때 얼마나 많은 그래디언트 랭크가 살아남는지로 해석한다. 잔차 연결, 정규화 위치, 폭 확장은 단순한 크기 안정화 장치가 아니라 랭크 붕괴를 조절하는 요소로 설명된다.

DeltaMerge-LowRes는 저자원 언어에서 새 태스크를 수행할 때 필요한 고비용 공동 파인튜닝을 줄이려는 접근이다. 언어 delta와 태스크 delta를 따로 학습한 뒤, 추론 시점에 결합한다.