네트워크 장애 대응 에이전트에 ‘살아 있는 지도’를 제공한 Huawei GTS

들어가며

네트워크 장애 대응 에이전트는 단일 명령어의 결과나 짧은 로그를 해석하는 데는 강점을 보일 수 있다. 그러나 실제 환경에서는 여러 장비와 경로, 방화벽, ECMP가 동시에 얽힌다. 에이전트는 각 명령의 의미를 이해하는 동시에, 그 정보가 네트워크 구조의 어느 위치에 해당하는지도 계속 기억해야 한다.

Huawei GTS 연구팀은 이 문제를 ‘토폴로지 기억상실’이라고 설명한다. 텍스트만 사용하는 에이전트는 장애와 관련된 방화벽을 찾아도, 해당 장비가 어떤 경로의 몇 번째 지점에 있는지 놓칠 수 있다. 조사 단계가 늘어날수록 관찰한 사실은 많아지지만 전체 구조는 오히려 흐려지는 현상이다. NetCanvas는 이 공간 정보를 외부 작업 기억으로 유지하는 것을 목표로 한다.

NetCanvas의 접근법

NetCanvas는 시작부터 완성된 정적 네트워크 그림을 제공하지 않는다. 에이전트가 조사를 진행하는 동안 토폴로지를 함께 갱신한다.

• 점진적 확장: CLI 조사로 발견한 장비, 링크, 경로 증거를 현재 그래프에 차례로 추가한다.
• 필요한 범위만 보기: 전체 화면과 국소 화면을 전환하고, 현재 확인 중인 노드나 경로를 강조할 수 있다.
• 가설을 시각적으로 기록: 선의 색상과 형태를 활용해 연결 상태나 추론 가설을 표시한다.
• 엔지니어의 인지 방식 반영: 네트워크 엔지니어가 익숙하게 이해할 수 있는 배치 역시 모델이 그래프를 활용하는 데 중요하다고 본다.

이 구조에서 언어 모델은 다음에 무엇을 조사할지 판단하고, 캔버스는 계속 변하는 네트워크의 공간적 상태를 기록한다. 긴 로그를 모두 텍스트 컨텍스트에 넣어야 하는 부담을 줄이는 방식이다.

공개된 평가 결과

제공된 자료에 따르면 통신 운영 벤치마크 CTBench에서 전체 작업 성공률은 30.3%에서 54.5%로 상승했다. 물리적 연결 정보를 사전에 활용한 조건에서는 63.6%에 도달했다. 특히 이중 방화벽과 ECMP처럼 경로 관계가 중요한 하위 과제에서는 성공률이 약 10%에서 약 90%로 높아졌다고 보고됐다.

과제별 비교에서 성능이 낮아진 문제는 없었으며, 16개 과제가 새롭게 해결되고 50개 과제는 동일한 결과를 유지했다고 팀은 설명했다. 평균 탐색 단계도 159단계에서 113단계로 줄었다. 성공한 과제 하나를 해결하는 데 필요한 토큰 시행 비용은 26~45% 감소한 것으로 집계됐다.

다만 이 수치는 프로젝트팀이 공개한 벤치마크 결과다. 여러 제조사의 장비, 대규모 상용망, 처음 접하는 장애 조건에서도 같은 효과가 유지되는지는 추가 검증이 필요하다.

의미와 영향

핵심은 에이전트에게 단순히 그림을 보여주는 데 있지 않다. 숙련된 네트워크 엔지니어는 트래픽 흐름과 분기, 장비 위치를 머릿속에서 계속 업데이트한다. 이를 에이전트가 읽고 수정할 수 있는 지속적인 시스템 상태로 옮기는 것이 중요하다.

이 접근은 전문 에이전트의 설계 방향에도 시사점을 준다. 성능은 기반 모델의 규모뿐 아니라 도구 사용 방식, 상태 표현, 인터페이스를 포함한 주변 시스템에 의해 좌우될 수 있다. 데이터베이스나 산업 절차처럼 구조적 관계가 중요한 분야에서도 외부 작업 기억이 활용될 여지가 있다. NetCanvas의 실제 가치는 토폴로지 데이터의 정확성, 도구 권한, 현실적인 장애 유형을 얼마나 폭넓게 다루는지에 달려 있다.

프로젝트: caimanjing/netcanvas

벤치마크: CTBench

출처: 量子位