LLM 기반 침입 탐지를 위한 트래픽 인식 랜덤 스무딩

도입

대규모 언어 모델은 보안 로그 해석과 네트워크 트래픽 분류에 점점 더 많이 검토되고 있다. 하지만 침입 탐지 시스템에 LLM을 넣는 순간, 단순한 분류 정확도보다 더 중요한 질문이 생긴다. 공격자가 트래픽의 일부 특징을 현실적으로 바꿀 수 있을 때도 모델의 판단을 신뢰할 수 있는가?

arXiv 논문 “Traffic-Aware Randomized Smoothing for LLM-Based Network Intrusion Detection”은 이 문제를 경험적 공격 실험이 아니라 인증 가능한 강건성의 관점에서 다룬다. 저자가 제안한 Traffic-Aware Randomized Smoothing, 즉 TA-RS는 네트워크 트래픽의 구조와 공격자의 실제 조작 가능 범위를 반영해 랜덤 스무딩을 조정한다.

핵심 내용

• 현실적인 공격자 능력에 맞춘 설계: 일반적인 랜덤 스무딩은 입력 특징 전반에 노이즈를 가하는 경우가 많다. TA-RS는 원격 공격자가 직접 바꿀 수 있는 directly controllable, 즉 DC 부분공간에만 가우시안 노이즈를 주입한다.
• 학습 단계가 결정적: 논문은 클린 데이터로 학습한 LLM-IDS에 표준 랜덤 스무딩을 바로 적용하면 성능이 약하다고 지적한다. 4개의 모델·데이터셋 조합 중 3개에서 인증 정확도는 14%에서 33%에 그쳤고, 무작위 수준 이하 또는 그에 가까웠다. 나머지 하나도 57%로, 노이즈 증강 결과보다 43%포인트 낮았다.
• 노이즈 증강 미세조정의 효과: sigma=0.25 조건에서 노이즈 증강 미세조정은 3개 벤치마크 데이터셋 중 2개에서 인증 정확도를 68%에서 100%까지 회복시켰다. CIC-IDS-2018과 HIKARI-2021에서는 논문이 설정한 L_inf 등가 임계값에서 55%에서 100%의 인증 정확도를 달성했다.
• 우위의 원인은 복합적: 공정하게 학습된 등방성 랜덤 스무딩 기준선과 비교하면, CIC-IDS-2018에서 TA-RS의 잔여 이점은 4~19%포인트로 데이터셋에 따라 달랐다. 반면 최대 72%포인트의 큰 격차는 DC 정렬만이 아니라 학습과 인증 분포의 불일치에서 주로 비롯된다고 설명한다.
• 한계도 확인: RT-IoT2022에서는 기본 미세조정 설정에서 방법이 실패했지만, 노이즈 증강을 늘리자 LLaMA3-8B와 Qwen3-8B가 각각 76%와 69%의 인증 정확도까지 회복했다.

의미와 영향

이 연구의 의미는 LLM 기반 IDS의 안정성을 “몇 가지 공격 샘플을 막았는가”가 아니라 “공격자가 실제로 조작할 수 있는 범위 안에서 무엇을 보장할 수 있는가”로 재정의한 데 있다. 네트워크 보안에서는 공격자가 모든 특징을 마음대로 바꿀 수 없다. 일부 통계, 타이밍, 프로토콜 관련 특징은 제약을 받는다.

따라서 조작 불가능한 특징까지 노이즈로 흔드는 평가는 현실과 어긋날 수 있다. 논문에 따르면 등방성 테스트 시점 노이즈는 공격자가 활용할 수 없는 특징을 교란해 기권률을 최대 68%까지 높일 수 있다.

실무 관점에서 메시지는 분명하다. LLM-IDS의 인증 방어는 사후에 붙이는 평가 장치가 아니라, 학습 노이즈, 인증 절차, 위협 모델을 함께 설계해야 하는 문제다. TA-RS는 AI 기반 네트워크 방어에 형식적 강건성 개념을 적용하려는 중요한 시도로 볼 수 있다.

출처: arXiv