대규모 언어 모델

GigaWorld-Policy-0.5는 World Action Models의 추론 비용 문제를 줄이기 위해, 학습에는 미래 시각 동역학을 활용하고 배포 시에는 행동만 디코딩한다. 혼합 학습, Mixture-of-Transformers, AutoResearch가 핵심 요소다.

arXiv 논문은 사용자가 LLM의 원래 답변에서 잘못된 추론 단계를 직접 수정하고, 수정된 CoT를 정제된 프롬프트로 바꿔 이후 추론을 유도하는 Deep Interaction을 제안한다.

이 arXiv 논문은 Transformer 피드포워드 블록의 설계를 깊이가 증가할 때 얼마나 많은 그래디언트 랭크가 살아남는지로 해석한다. 잔차 연결, 정규화 위치, 폭 확장은 단순한 크기 안정화 장치가 아니라 랭크 붕괴를 조절하는 요소로 설명된다.

DeltaMerge-LowRes는 저자원 언어에서 새 태스크를 수행할 때 필요한 고비용 공동 파인튜닝을 줄이려는 접근이다. 언어 delta와 태스크 delta를 따로 학습한 뒤, 추론 시점에 결합한다.