DAGR: 목표 표현에 현재 상태를 반영하지만 효과는 제한적

들어가며

목표 조건 강화학습에서 목표를 어떻게 인코딩하느냐는 정책 학습의 난이도와 성능을 크게 좌우한다. 기존 목표 인코더는 대조 학습, 거리 기반 학습, 시간 거리 예측, 정보이론적 목적 등 다양한 방식으로 학습될 수 있다. 하지만 많은 방법은 공통적으로 목표를 현재 상태와 독립적으로 표현한다.

이 경우 목표 임베딩은 에이전트가 이미 무엇을 달성했는지, 앞으로 무엇을 더 바꿔야 하는지를 직접 알려주지 않는다. 결국 정책은 현재 상태와 정적 목표 표현을 함께 해석해 남은 차이를 스스로 추론해야 한다.

DAGR는 이 문제를 해결하기 위해 제안된 방법이다. 핵심은 기존 목표 인코더를 완전히 대체하는 것이 아니라, 그 출력인 정적 목표 임베딩을 현재 상태에 맞게 다시 다듬는 것이다.

핵심 내용

• 문제의 출발점은 상태 비의존 목표 표현이다. 목표만 보고 만든 임베딩은 현재 상태에서 어떤 부분이 아직 미달성인지 명확히 드러내기 어렵다.
• late-fusion 인코더를 보강하는 구조다. DAGR는 기존 인코더 위에 붙는 refinement 모듈에 가깝기 때문에, 기본 목표 표현을 활용하면서 상태 정보를 추가한다.
• 다중 스케일 게이트 교차 어텐션을 사용한다. 목표 token이 상태 정보를 참조하도록 해 상태와 목표 사이의 관계를 표현에 반영한다.
• 기존 표현을 보존하는 잔차 설계가 중요하다. 거의 항등 함수에 가까운 게이트 잔차 경로를 두어 새 모듈이 기본 표현을 급격히 망가뜨리지 않게 한다.
• 이름에 들어간 차이 인식 바이어스가 주된 원인은 아니다. DAGR는 token 단위의 상태-목표 차이 맵으로 어텐션 점수를 보정하지만, 논문의 소거 실험은 성능 향상의 주요 원인이 이 바이어스보다는 게이트 잔차에 있음을 보여준다.
• 성과는 과제에 따라 다르다. OGBench에서는 내비게이션 과제에서 개선이 관찰되지만, 조작 및 puzzle 과제에서는 기준 방법과 비슷하거나 더 낮은 성능을 보인다.

의미와 영향

DAGR의 의미는 목표 표현을 단순한 도착점의 정적 설명이 아니라, 현재 상태에서 바라본 남은 과제의 표현으로 바꾸려 했다는 점에 있다. 특히 내비게이션처럼 상태와 목표의 차이가 비교적 직접적인 과제에서는 이러한 상태 조건화가 정책의 부담을 줄일 수 있다.

그러나 이 논문은 방법의 한계도 분명히 드러낸다. 더 복잡한 조작 과제나 puzzle 형태의 환경에서는 단순한 상태-목표 차이 또는 어텐션 바이어스만으로 충분하지 않을 수 있다. 또한 직관적으로 그럴듯한 모듈 이름이나 설계가 실제 성능 향상의 주된 원인이라는 보장도 없다.

따라서 DAGR는 목표 조건 강화학습을 위한 보편적 해결책이라기보다, 기존 표현을 보존하면서 상태 의존성을 주입하는 신중한 구조적 제안으로 읽는 편이 적절하다. 앞으로는 어떤 환경에서 상태 조건 목표 표현이 효과적인지, 그리고 어떤 비교 메커니즘이 여러 과제에 걸쳐 견고한지 더 세밀한 검증이 필요하다.

출처: arXiv