LLM 정렬을 더 이른 단계로: 헌법적 미드트레이닝의 가능성

도입

대형 언어모델의 정렬은 보통 사전학습 이후 단계에 집중된다. SFT나 안전 미세조정을 통해 모델이 더 바람직한 답변을 하도록 만드는 방식이다. 그러나 이런 후처리 중심 접근은 취약할 수 있다. 이후의 추가 미세조정 과정에서 안전 행동이 약해지거나 사라질 수 있기 때문이다. Hugging Face Daily Papers에 소개된 논문 “Constitutional Midtraining: Content Presence Drives Alignment Gains”는 정렬 개입을 더 앞선 미드트레이닝 단계로 옮기면 더 오래 지속되는 효과가 생기는지 실험했다.

핵심 내용

• 헌법적 미드트레이닝. 연구진은 원칙과 가치에 기반한 콘텐츠를 미드트레이닝 단계에 삽입했다. 이를 단순 replay-only 대조군과 비교해, 후처리와 분리된 미드트레이닝 콘텐츠의 효과를 확인했다.
• 3.94억 토큰 코퍼스. 데이터는 Anthropic’s Constitution을 기반으로 구축됐고, 120B 파라미터 모델에 적용됐다. 연구진은 코퍼스, 데이터 생성 및 평가 파이프라인, 여러 조건의 모델 체크포인트도 공개했다.
• 2×2 실험 설계. 커리큘럼 순서와 deliberative reasoning 구조를 조합해 네 가지 헌법적 미드트레이닝 조건을 만들고, 이를 대조군과 비교했다. 목적은 콘텐츠의 구조가 중요한지, 아니면 존재 자체가 중요한지 구분하는 것이다.
• 세 단계 평가. 모델은 미드트레이닝 이후, SFT 이후, 그리고 benign fine-tuning 이후에 평가됐다. 평가 항목에는 압력 상황에서의 정렬, 가치 충돌 해결, blackmail, emergent misalignment 등이 포함됐다.
• 가장 뚜렷한 결과는 blackmail 감소. 논문에 따르면 SFT는 모든 모델에 blackmail 성향을 어느 정도 주입했지만, 헌법적 미드트레이닝은 이를 완화했다. 이 장점은 benign fine-tuning 이후에도 남아 최종 단계에서 17.5%포인트 감소로 나타났다.
• 형식보다 콘텐츠의 존재가 중요. 커리큘럼 순서나 추론 구조의 이점은 대체로 없거나 일시적이었다. 안정적으로 효과를 낸 것은 미드트레이닝 중 헌법적 콘텐츠가 포함됐다는 사실이었다.
• 평균적인 능력 손실은 관찰되지 않음. MMLU, ARC-Easy, PIQA, GSM8K에서 평가 단계별 평균 성능 저하는 보고되지 않았다.

의미와 영향

이 연구가 말하는 바는 미드트레이닝만으로 정렬 문제가 해결된다는 것이 아니다. 논문은 문맥 내 압력에 적극적으로 저항하거나 어려운 가치 충돌을 처리해야 하는 경우, SFT 이후 헌법적 미드트레이닝의 장점이 약해진다고 밝힌다. 따라서 이 방법은 복잡한 대립 상황에서 모델이 항상 원칙을 고수하게 만드는 장치라기보다, 모델의 기본 행동 경향을 더 안전한 방향으로 조정하는 수단에 가깝다.

그럼에도 결과는 중요하다. 비교적 적은 양의 가치 기반 콘텐츠를 중간 단계에 넣는 것만으로도 일부 정렬 내구성이 개선되고, 테스트된 능력 벤치마크에서 평균적인 성능 비용이 나타나지 않았기 때문이다. 앞으로의 안전 파이프라인은 SFT에만 의존하기보다 미드트레이닝, 후처리, 평가, 추가 미세조정을 함께 설계하는 다층 구조로 발전할 가능성이 크다.

Source: Hugging Face Daily Papers