더 깔끔한 의사결정나무 규칙: 무관한 조건을 구조적으로 제거하는 방법

들어가며

의사결정나무는 해석 가능한 머신러닝의 대표적인 모델로 자주 언급된다. 예측 과정이 if-then 규칙으로 표현되기 때문에, 사용자는 어떤 조건을 거쳐 특정 잎 노드에 도달했는지 비교적 쉽게 확인할 수 있다. 그러나 arXiv 논문 Relevance-Aware Rule: Structural Deletion of Irrelevant Conditions in Decision Trees 는 경로에 포함된 모든 조건이 실제로 예측에 의미 있는 것은 아니라고 지적한다. 일부 조건은 나무가 분할되는 구조적 과정에서 끼어든 무관 조건일 수 있으며, 이런 조건은 규칙을 길고 복잡하게 만들지만 예측 신뢰성에는 기여하지 않을 수 있다.

핵심 내용

• 문제는 단순히 나무가 크다는 데 있지 않다. 논문은 규칙 안의 무관 조건을 IRCs라고 부른다. 이러한 조건은 일반적인 의사결정나무뿐 아니라, 현대적인 최적 희소 나무 학습 알고리즘에서도 남을 수 있다고 설명한다. 즉, 나무를 희소하게 만든다고 해서 규칙의 모든 조건이 자동으로 관련성을 갖는 것은 아니다.

• 저자들은 구조적 원인을 강조한다. 이진 분할에서 한 가지가 부모 노드보다 class-1 비율을 높이면, 형제 가지에서는 class-0 비율이 높아진다. 논문은 이러한 반대 방향의 비율 변화를 C1-link와 C0-link로 설명한다. 이 구조 때문에 어떤 조건은 잎 노드의 예측 클래스를 뒷받침하기보다는 분할의 부산물로 규칙에 포함될 수 있다.

• 프레임워크는 먼저 의심 조건을 표시한다. 특정 잎 노드를 기준으로, 잎의 예측 클래스 비율을 높이는 링크는 매칭 링크로 본다. 반대로 예측 클래스가 아닌 다른 클래스의 비율을 높이는 링크는 미스매칭 링크로 분류된다. 이 미스매칭 링크가 구조적으로 의심스러운 무관 조건 후보가 된다.

• 삭제 여부는 신뢰성으로 결정한다. 제안 방식은 미스매칭 링크를 모두 삭제하지 않는다. 조건을 제거한 뒤에도 예측이 신뢰할 만한지 평가하고, 구조적으로 의심스러우며 경험적으로도 무관하다고 판단될 때만 삭제한다. 삭제가 원래 규칙의 신뢰성을 낮춘다면 해당 조건은 유지된다.

의미와 영향

이 연구의 의미는 의사결정나무 규칙 단순화를 단순한 후처리가 아니라, 구조와 신뢰성을 함께 고려하는 진단 문제로 다룬다는 데 있다. 기존 방법은 너무 느슨하면 단순화된 규칙의 신뢰성이 떨어질 수 있고, 너무 엄격하면 실제로 체감할 만한 단순화가 어렵다는 한계가 있었다. 이 논문은 나무 분할 구조에서 나온 단서를 이용해 후보를 좁히고, 이후 신뢰성 평가로 삭제를 제한하는 절충적 접근을 제안한다.

해석 가능성이 중요한 환경에서는 이런 접근이 특히 유용할 수 있다. 불필요한 조건이 많은 규칙은 형식적으로는 읽을 수 있어도, 실제 판단 근거를 흐리게 만들 수 있다. 무관 조건을 조심스럽게 제거하면 규칙은 더 짧아지고, 사용자는 모델이 무엇을 근거로 예측했는지 더 명확히 이해할 수 있다.

제공된 자료에 따르면 실험 결과는 원래 나무의 신뢰성을 희생하지 않으면서 상당한 규칙 단순화를 달성했음을 보여준다. 다만 구체적인 수치는 포함되어 있지 않으므로, 데이터셋과 평가 기준별 성능은 논문 본문을 통해 확인할 필요가 있다.

출처: arXiv