Transformer 깊이를 ‘랭크 보존’ 관점에서 다시 보기
이 arXiv 논문은 Transformer 피드포워드 블록의 설계를 깊이가 증가할 때 얼마나 많은 그래디언트 랭크가 살아남는지로 해석한다. 잔차 연결, 정규화 위치, 폭 확장은 단순한 크기 안정화 장치가 아니라 랭크 붕괴를 조절하는 요소로 설명된다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 100개의 아티클
이 arXiv 논문은 Transformer 피드포워드 블록의 설계를 깊이가 증가할 때 얼마나 많은 그래디언트 랭크가 살아남는지로 해석한다. 잔차 연결, 정규화 위치, 폭 확장은 단순한 크기 안정화 장치가 아니라 랭크 붕괴를 조절하는 요소로 설명된다.
더 보기새 arXiv 논문은 학습 중 발견한 고성능 회로 설정을 ‘등대’로 저장하고, 이후 강화학습 에피소드의 재시작 지점으로 활용하는 Lighthouse RL을 제안한다. 핵심 목표는 비용이 큰 아날로그 회로 크기 최적화에서 불필요한 탐색을 줄이는 것이다.
더 보기arXiv 논문은 AI 기반 시스템의 침투 테스트가 서버나 권한 침해 여부에만 머물러서는 안 된다고 주장한다. 공격자가 프롬프트, 검색 콘텐츠, 센서 입력, 도구 호출 등을 통해 AI의 행동을 바꾸고 운영 목표를 위반하게 만들 수 있기 때문이다.
더 보기arXiv 논문 M⁴World는 주변 시점 비디오와 동기화된 LiDAR를 생성하면서 객체 단위 조작을 지원하는 주행 월드 모델을 제안합니다. 핵심은 제어 가능성, 장시간 안정성, 희귀 주행 상황 맞춤 생성입니다.
더 보기새 arXiv 논문은 고정 벤치마크에서의 일회성 성능 향상만으로 Agent 최적화 방법을 판단하기 어렵다고 지적한다. 새 작업이 추가되는 지속학습 환경에서는 방법별 차이가 뚜렷하게 드러났다.
더 보기새 arXiv 논문은 수직 운동을 하는 도립진자 안정화 문제에서 리아푸노프 특성 지수를 물리 기반 밀집 보상으로 사용하는 방법을 제안한다. 보고에 따르면 에이전트는 Kapitza 진자의 진동 안정화뿐 아니라 축의 흔들림을 감쇠시켜 엄밀한 직립 상태까지 도달했다.
더 보기arXiv 논문은 자율 커머스 환경에서 인간, AI 에이전트, 브랜드 간 관계를 설명하기 위해 DVM-HALL 모델과 NHAS 지표를 제안한다. 핵심은 감정적 선호뿐 아니라 신뢰, 위임, 실행 검증 가능성, 온체인 위험까지 충성도 모델에 포함하는 것이다.
더 보기arXiv에 공개된 TRACE는 긴 도구 호출 경로에서 각 행동의 기여도를 추정하는 강화학습 방법이다. 동결된 참조 모델을 활용해 최종 정답 신호를 턴별 보상으로 바꾼다.
더 보기ABAW11 다중 작업 학습 챌린지를 다룬 arXiv 논문은 표정 분류, 얼굴 행동 단위 검출, 정서가-각성도 추정에 동일한 융합 구조를 강제하는 것이 최선이 아닐 수 있다고 분석한다.
더 보기새 arXiv 논문은 경험적 베이즈 변분 오토인코더를 확장해 종양 부피의 시간 변화, 탈락까지의 시간, 유전체 공변량을 하나의 확률적 틀에서 다룬다. 신경망 기반 유연성과 반기전적 약물계량 모델의 해석 가능성을 결합한 접근이다.
더 보기새 arXiv 논문은 언어 모델링의 Screening 메커니즘을 시각 인식으로 확장한 VisionScreen을 제안한다. 모든 이미지 패치에 상대적 attention 가중치를 주는 대신, 관련성이 낮은 패치를 명시적으로 배제하려는 접근이다.
더 보기새 arXiv 논문은 춤을 단순한 연속 모션 신호가 아니라 해석 가능한 ‘원자 동작’의 시퀀스로 모델링하는 방법을 제안한다. 음악 기반 동작 계획과 부드러운 모션 생성을 분리해 구조와 제어성을 높이는 방식이다.
더 보기arXiv 논문은 측면 기반 감성 분석을 위해 반사실 예시를 생성하고 검증하는 CAVE-ABSA 프레임워크를 제안한다. 핵심은 문장 전체의 감정을 바꾸는 것이 아니라 목표 측면의 감정만 바꾸는 것이다.
더 보기arXiv 논문 CF-Net은 비정형 영상에서 ambivalence/hesitancy, 즉 양가감정과 망설임을 인식하기 위한 멀티모달 모델을 제안한다. 핵심은 표준적인 감정 표현보다 시각·음성·텍스트 사이의 미묘한 불일치를 보는 것이다.
더 보기DeltaMerge-LowRes는 저자원 언어에서 새 태스크를 수행할 때 필요한 고비용 공동 파인튜닝을 줄이려는 접근이다. 언어 delta와 태스크 delta를 따로 학습한 뒤, 추론 시점에 결합한다.
더 보기새 논문은 메탄 플룸 제품의 마스크, IME, 플룸 길이, 배출률, 불확실성 사이의 일관성을 진단하는 PlumeQuant를 제안한다. 연구진은 공개된 스칼라 지표만으로는 플룸 경계를 유일하게 결정할 수 없다고 분석했다.
더 보기새 arXiv 논문이 다면체에서의 Dikin walk 혼합 시간 이론을 한 단계 개선했다. 스케일 조정된 Lee–Sidford metric을 사용해 warm start 조건의 지수 샘플링에서 d^2.25 반복 경계를 증명했다.
더 보기arXiv 논문은 심리학의 피크-엔드 법칙에서 영감을 받은 비디오 미학 평가 프레임워크 Peak-End-Net을 제안했다. 이 모델은 모든 프레임을 똑같이 보지 않고, 인상적인 순간과 마지막 장면의 영향을 강조한다.
더 보기arXiv에 공개된 새 논문은 지속적인 개인 건강 관리를 위한 오픈소스 에이전트 아키텍처 HealthClaw를 제안한다. 매번의 질문을 독립적으로 처리하는 대신, 사용자의 습관·선호·측정값·위험 변화에 맞춰 사적 장기 기억을 갱신한다.
더 보기arXiv에 공개된 새 연구는 다중모달 심장 PET/MRI 데이터를 처리하기 위한 2단계 무지도 클러스터링 전략을 제안했다. 이 방법은 자동 텍스트 보고서와 불스아이 맵을 생성해 심장 영상 전문의의 관찰과 비교적 잘 맞는 결과를 보였다.
더 보기새 arXiv 논문 SIVA-RL은 이미지 개입의 종류가 아니라 실제 보상 변화에 따라 시각 정렬 신호를 배정한다. 목표는 비전-언어 모델이 답을 맞히는 데서 그치지 않고 이미지 증거에 근거해 추론하도록 만드는 것이다.
더 보기