아티클 목록으로

자유 생성 대신 선택하는 AI 에이전트, System 1 Agents

약 3분 소요

도구 호출을 생성하지 않고 선택하게 하기

임상 AI 에이전트는 요청에 따라 데이터베이스나 분석 도구를 선택하고, 각 도구에 필요한 인자값을 정확히 전달해야 합니다. 클라우드 대형언어모델(LLM)에 환자 데이터를 보내면 개인정보 보호 문제가 생길 수 있고, 로컬 모델을 사용하더라도 도구 호출에 잘못된 값을 만들어 넣는 환각이 발생할 수 있습니다. 논문 ‘System 1 agents: a method for local, reliable and fast agentic AI’는 도구 호출을 자유 텍스트로 작성시키는 대신, 구조화된 후보 중에서 고르게 하는 방식을 제안합니다.

스키마를 객관식 질문으로

결정론적 컴파일러는 도구의 스키마와 사용자 요청을 결합해 여러 객관식 질문을 만듭니다. 선택지는 요청 내용과 도구 정의를 바탕으로 구성되며, 한 번의 판단 모델이 사용할 도구와 인자값을 선택합니다. 모델이 임의의 인자 텍스트를 만들어 내는 대신 이미 제시된 값을 고르게 해, 도구 호출에 포함되는 허위 내용을 줄이는 것이 설계 목표입니다.

정답이 후보에 없을 때를 위한 빠져나갈 선택지도 있습니다. 도구 선택에는 ‘해당 없음’, 각 인자 질문에는 ‘지정되지 않음’이 제공됩니다. 필수 인자가 빠졌다면 값을 비워 두고 스키마에서 만든 고정 문구로 사용자에게 묻습니다. 선택 인자라면 도구의 기본값을 유지하고, 적합한 도구가 없다면 호출을 거부합니다. 무조건 후보 하나를 고르게 하지 않는다는 점은 선택 기반 설계에서 중요한 안전장치입니다.

평가 결과와 해석

연구진은 157개 생의학 도구에 대한 요청 1,952건으로 방법을 평가했습니다. 가장 좋은 System 1 에이전트는 올바른 도구를 선택하거나 적절히 거부한 비율이 97.0%였습니다. 비교한 18개 로컬 LLM 에이전트 설정 중 최고 결과는 95.2%였습니다. 요청에 명시된 인자값 6,056개 가운데 System 1이 올바르게 입력한 비율도 97.0%였습니다. 논문은 System 1 호출에서 지어낸 내용이 발견되지 않았다고 보고했으며, LLM 호출에서는 5.5~19.7%에 그런 내용이 있었다고 밝혔습니다.

이 결과는 논문이 설정한 테스트 과제에 대한 것이며, 실제 임상 현장에서의 성능을 보장하지는 않습니다. 다양한 요청에서 후보가 항상 적절하게 구성되는지, 모든 도구 스키마가 같은 방식으로 처리되는지도 이 수치만으로는 알 수 없습니다. 판단의 질은 요청과 도구 정의의 표현, 후보 구성 방식에 영향을 받습니다.

의미와 남은 과제

이 연구의 핵심은 로컬 실행 자체뿐 아니라 도구 사용을 자유로운 텍스트 생성에서 점검 가능한 선택 과정으로 좁힌 데 있습니다. 민감한 환경에서는 그럴듯하지만 근거 없는 값을 전달하는 것보다, 필수 정보를 묻거나 적합한 도구가 없을 때 거부하는 편이 더 다루기 쉬울 수 있습니다. System 1 Agents는 도구 호출 값의 날조라는 특정 실패 가능성을 줄이는 유망한 설계지만, 임상 적용 가능성을 판단하려면 더 넓고 실제 업무에 가까운 환경에서 검증해야 합니다. 프레임워크는 오픈소스 소프트웨어로 공개됐습니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물