DiffResearch, 확산 언어 모델로 딥 리서치를 약 6배 가속

배경

딥 리서치는 한 번의 답변 생성으로 끝나지 않습니다. 에이전트는 질문을 여러 하위 과제로 나누고, 자료를 검색하고, 근거를 비교한 뒤, 필요하면 계획을 수정하고 인용이 포함된 보고서를 작성해야 합니다. 이런 단계가 반복되면 최종 품질뿐 아니라 전체 응답 시간이 실제 사용성을 좌우하게 됩니다.

DiffResearch는 연구 에이전트의 구조를 완전히 바꾸기보다 언어 모델 백본을 교체해 이 병목을 줄일 수 있는지 살펴본 프레임워크입니다. 연구진은 개방형 멀티에이전트 딥 리서치 시스템의 각 단계에 확산 언어 모델(dLLM)을 배치하고, 비슷한 규모의 자기회귀(AR) 모델과 결과를 비교했습니다.

핵심 내용

• 비교 조건을 통제했습니다. 에이전트 스캐폴드, 검색 코드, 프롬프트, 평가 방식을 동일하게 유지하고 모델 백본만 바꿨습니다. 따라서 성능 차이를 디코딩 방식의 영향으로 해석하기 쉬운 구성입니다.
• 종단 간 지연이 약 6배 줄었습니다. 100개 Deep Research Bench 과제에서 확산 모델 구성은 전체 처리 속도에서 약 6배의 개선을 보였습니다. 요약에 따르면 주요 이득은 계획 수립과 긴 보고서 작성에서 발생했으며, 두 단계에서는 자릿수 수준의 감소가 관찰됐습니다.
• dFast는 생성 중에 다음 검색을 준비합니다. 일반적인 흐름에서는 출력이 완성된 뒤 검색 하위 질의를 추출합니다. dFast는 중간 디노이징 상태를 읽어 생성이 끝나기 전에 질의를 뽑아냅니다. 분해 단계만 놓고 보면 중앙값 기준 1.99배 빨라졌습니다.
• 보고서 품질은 유지됐습니다. 확산 모델 구성은 RACE 평가에서 자기회귀 구성과 비슷한 품질을 보였고, 세 가지 설정을 비교했을 때 dFast가 가장 높은 종합 점수를 기록했습니다.
• Apache-2.0으로 공개됐습니다. DiffResearch는 개방형 라이선스로 제공되어 구현을 검토하고 실험을 재현하거나 확장할 수 있습니다.

의미와 한계

이번 결과가 주목받는 이유는 확산 언어 모델을 단일 텍스트 생성이 아니라 장기적인 에이전트 작업 안에서 평가했기 때문입니다. 딥 리서치의 비용은 최종 답변 작성에만 있지 않습니다. 계획을 만들고 긴 문서를 쓰는 과정도 반복되므로, 이 두 부분을 함께 줄이면 검색형 AI 도구의 상호작용성이 개선될 수 있습니다.

dFast는 시스템 설계 측면에서 특히 흥미롭습니다. 완성된 텍스트를 기다린 뒤 다음 행동을 결정하는 직렬 파이프라인 대신, 아직 생성 중인 상태에서 다음 검색에 필요한 정보를 꺼내려 하기 때문입니다. 생성과 도구 호출의 일부를 겹치면 검색 호출이 많은 워크플로에서 대기 시간을 더 줄일 가능성이 있습니다.

다만 결과의 적용 범위는 신중하게 봐야 합니다. 현재 자료는 특정 모델 비교와 벤치마크, 고정된 에이전트 파이프라인을 바탕으로 합니다. 실제 서비스의 지연 시간은 검색 서버, 도구 호출 스케줄링, 병렬화 전략, 모델 자체의 능력에도 영향을 받습니다. 앞으로는 더 강력한 확산 모델에서도 속도와 품질의 균형이 유지되는지, 중간 디노이징 상태가 복잡한 동적 계획에도 유용한지가 중요한 검증 과제가 될 것입니다.

Hugging Face Daily Papers