RealCompanion이 묻는 장기 대화 AI의 사람 이해 능력
RealCompanion은 AI가 과거 발언을 검색할 수 있는지만이 아니라, 언제 기억이 필요한지 판단하고 이를 현재 대화에 적절히 활용하는지를 평가하는 장기 대화 벤치마크다. 연구 결과는 기억이 필요한 경우가 생각보다 적고, 그 시점을 판별하는 일은 여전히 어렵다는 점을 보여준다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독RealCompanion은 AI가 과거 발언을 검색할 수 있는지만이 아니라, 언제 기억이 필요한지 판단하고 이를 현재 대화에 적절히 활용하는지를 평가하는 장기 대화 벤치마크다. 연구 결과는 기억이 필요한 경우가 생각보다 적고, 그 시점을 판별하는 일은 여전히 어렵다는 점을 보여준다.
더 보기VeriHarness는 테스트 시점에 정답이나 채점 기준이 없어도 장기 작업 에이전트의 결과를 검증하고 개선하는 프레임워크입니다. 여러 실행 결과의 불일치와 합의를 분석하고 환경 증거를 활용해 최종 산출물을 수정합니다.
더 보기SciUtopia는 연구 주제 선택, 협업, 투고, 심사, 재투고, 연구비, 연구자 이탈을 하나의 폐쇄형 루프로 연결하는 LLM 에이전트 시뮬레이션입니다. 투고 기회 확대는 성과를 늘릴 수 있지만 심사 부담과 연구자 지속성에도 영향을 줄 수 있음을 보여줍니다.
더 보기Queen은 강하지만 설명하지 못하는 체스 전문가 인코더와 자연어를 생성하는 지시 튜닝 언어 모델을 결합한다. 논문은 7회의 반복 증류를 통해 모델의 체스 레이팅이 1782에서 2697 Elo로 상승했다고 보고한다.
더 보기WEFT는 범용 에이전트의 도구 사용 능력을 높이기 위해 실행 환경만 확장하지 않고, 작업·에이전트 하네스·평가기를 하나의 시스템으로 함께 다룹니다. 실행 기반 자기진화와 장기 워크플로 학습을 안정화하는 기법을 결합했습니다.
더 보기장문 의료 답변의 사실성을 분석한 연구는 검색 후 검증하는 시스템이 폐쇄형 벤치마크에서는 높은 점수를 받아도 임상 오픈엔드 답변에서는 크게 실패할 수 있음을 보여준다. 연구진은 문제를 검색된 증거의 품질과 검증 모델의 추론 오류로 나눠 분석했다.
더 보기CacheBack은 수신 에이전트의 정보 요구를 바탕으로 발신 에이전트의 KV 캐시를 선별하는 수신자 조건부 잠재 통신 방식이다. FanOutQA 실험에서는 전송 상태를 줄이면서 정확도와 처리 지연을 개선한 결과가 보고됐다.
더 보기JEPA-TTT는 학습 환경과 다른 동역학이 나타났을 때 사전 학습된 JEPA 세계 모델을 테스트 중에도 계속 조정하는 방법입니다. 시각 인코더와 보상 헤드는 고정하고 잠재 동역학 예측기만 자기지도 방식으로 업데이트합니다.
더 보기장기 비디오 생성에서는 과거를 많이 저장하는 것보다 앞으로 필요한 정보를 골라내는 일이 중요합니다. FrameMorrow는 미래의 정보 수요를 예측하고 이를 이용해 유용한 과거 프레임을 선택합니다.
더 보기ProWAM은 세계 행동 모델에 순서가 있는 희소 시각 하위 목표를 추가해 전체 미래 영상을 생성하지 않고도 로봇에 단계별 행동 지침을 제공한다. 여러 시뮬레이션 벤치마크에서 분포 밖 환경에 대한 강건성이 개선된 결과가 보고됐다.
더 보기SimuVerity는 AI 에이전트가 생성한 Simulink 모델이 단순히 컴파일되는지를 넘어 실제 공학 요구사항을 충족하는지 평가하는 벤치마크입니다. 101개 과제를 실험한 결과, 가장 높은 시스템의 종합 점수도 42.86에 그쳤습니다.
더 보기비디오 월드 모델은 장기 시간 일관성을 위해 KV 캐시를 계속 저장하지만, 낮은 비트 양자화는 화면 깜빡임을 유발할 수 있습니다. QuantWM은 단순한 수치 오차가 아니라 어텐션의 동작을 보존하는 방식으로 이 문제를 다룹니다.
더 보기한 연구가 세 가지 효율적 추론 훈련 방식이 사고연쇄의 충실성과 모니터링 가능성에 미치는 영향을 분석했습니다. 충실성은 대체로 낮아졌지만, 입력 개입을 감지하는 능력은 비교적 안정적이었습니다.
더 보기EyeRobot 2.0은 두 개의 시점을 3D 응시점으로 돌리고 이미지 중심에 더 많은 시각 토큰을 배정한다. 단일 스테레오 카메라로 정밀한 양손 조작을 구현하려는 접근이다.
더 보기연구진은 MCP로 연결된 에이전트의 신뢰 공백을 악용하면 공격자가 한 에이전트에서 다른 에이전트로 악성 지시를 전달할 수 있다고 지적했다. 간접 프롬프트 인젝션과 프로토콜 간 권한 검증 부재, SSRF가 결합된 문제다.
더 보기Dust는 가중치가 아니라 활성값을 perturb하고 손실 변화로 업데이트 방향을 추정한다. Transformer 언어 모델 사전 학습에서 역전파에 가까운 결과를 보였지만, 아직 계산 비용은 높다.
더 보기Vals.ai 연구팀은 AI 에이전트를 활용해 자성 물질을 설계하고 탐색했으며, 새 후보 물질과 1999년에 이미 합성된 물질을 하나씩 찾아냈다. 두 물질 모두 순자화가 0이면서 반도체 밴드갭과 스핀 선택성을 가질 가능성이 있지만, 실제 소자 적용까지는 추가 검증이 필요하다.
더 보기오픈AI가 EU AI법의 투명성 요건을 충족하기 위해 유럽연합 내 ChatGPT와 Codex 생성 텍스트에 보이지 않는 워터마크를 도입한다. 탐지에 도움을 줄 수 있지만 편집, 짧은 글, 수학 답변, 번역문에서는 식별력이 낮아질 수 있다.
더 보기미국 유타주에서 Nolla Health의 AI가 얼굴 사진으로 여드름의 중증도를 분석하고 초기 처방을 발행하는 서비스가 시작됐다. 의사의 사전 검토를 단계적으로 줄이는 방식이어서 의료 AI의 책임과 안전 기준이 시험대에 오른다.
더 보기미국 AI 스타트업 리플렉션 AI가 첫 프런티어급 오픈웨이트 모델 ‘빔’을 공개했다. 중국 주요 오픈 모델과 비슷한 성능을 더 적은 추론 컴퓨팅으로 구현한다고 주장하며, 기업과 주권 국가를 위한 ‘AI 팩토리’ 사업을 추진한다.
더 보기Fold2Reason은 단백질의 3차원 구조를 검증 가능한 추론 감독 신호로 바꾸고, 생물학 밖의 과제에도 능력이 전이되는지 실험했다. 보고된 결과에 따르면 공간·그래프·과학·일반 추론 벤치마크 전반에서 개선이 나타났다.
더 보기