TokaMark 견고성 벤치마크, 핵융합 진단 모델의 센서 고장 취약점 드러내다

도입

토카막 핵융합 장치에서 머신러닝은 플라즈마 진단과 붕괴 경보에 점점 더 많이 활용된다. 하지만 지금까지 많은 모델 평가는 결측이 없고 깨끗한 센서 데이터를 전제로 했다. 실제 운전 환경은 다르다. 데이터 취득 시스템이 늦게 시작될 수 있고, 개별 센서가 고장 날 수 있으며, 신호 드롭아웃이 플라즈마 붕괴가 다가오는 바로 그 시점에 몰릴 수도 있다.

이 논문은 TokaMark 데이터셋을 사용해 플라즈마 진단 ML의 센서 고장 견고성을 체계적으로 평가한다. 데이터는 11,573개의 MAST 토카막 샷으로 구성되어 있으며, XGBoost, LSTM, Transformer, TokaMark CNN 기준 모델을 비교한다. 실험은 물리적으로 타당한 여섯 가지 고장 시나리오와 세 가지 결측 보간 전략을 포함한다.

핵심 요점

• 평가 기준을 깨끗한 데이터 성능에서 견고성으로 확장했다. 연구는 Robustness Score(RS)를 도입해 서로 다른 모델 구조를 센서 손상 조건에서 표준화해 비교할 수 있게 했다.
• 붕괴에 가까운 센서 고장이 가장 치명적이다. 입력 시간 창의 마지막 단계에 손상을 주입하면 시계열 모델의 성능이 크게 악화된다. 초록에 따르면 LSTM의 NRMSE는 +212% 증가했지만, XGBoost는 +37%로 상대적으로 안정적이었다.
• 보간 전략의 효과는 고장 유형에 따라 달라진다. 전방 채움은 무작위 드롭아웃에 대해 시계열 모델의 성능 저하를 거의 제거했다. LSTM의 경우 +57%였던 악화가 거의 0% 수준으로 줄었다. 그러나 입력 창의 끝부분이 손상되는 경우에는 도움이 제한적이었다.
• 회귀 오차와 경보 성능은 다르게 움직일 수 있다. 실제 붕괴 시각을 사용한 샷 단위 경보 평가에서, 근접 센서 고장 조건의 LSTM TPR은 0.00으로 떨어졌다. 반면 평균값 채움은 이를 TPR=1.00으로 회복시켰고, 이는 NRMSE만 볼 때와 다른 양상이다.
• 플라즈마 전류가 가장 중요한 진단 신호였다. 이 신호를 제거하면 모든 아키텍처에서 +73%에서 +140%의 성능 저하가 발생했다.

의미와 영향

이 연구의 핵심은 더 큰 모델을 제안하는 데 있지 않다. 핵융합 AI가 실제 운전 조건에서 얼마나 버틸 수 있는지를 묻는 평가 틀을 제시했다는 점이 중요하다. 상용 핵융합로가 ML 기반 진단이나 붕괴 경보에 의존하려면, 모델은 불완전하고 지연되며 중요한 순간에 손상되는 센서 입력을 견뎌야 한다.

결과는 시계열 모델에 대한 단순한 기대도 다시 보게 만든다. 시계열 모델은 시간 정보를 활용할 수 있지만, 동시에 입력 창의 최신 신호에 과도하게 의존할 수 있다. 그리고 바로 그 최신 구간이 붕괴 직전에 손상될 가능성이 있다. 반면 특징 기반 통계 모델인 XGBoost는 일부 고장 조건에서 더 안정적인 모습을 보였다.

앞으로의 플라즈마 진단 ML 벤치마크는 깨끗한 데이터에서의 정확도만 보고해서는 부족하다. 현실적인 센서 고장, 보간 전략의 효과, 실제 붕괴 시각에 기반한 경보 지표를 함께 평가해야 한다. 코드, 데이터, 학습된 체크포인트가 공개되어 있다는 점은 AI for Science 분야에서 재현 가능한 견고성 연구의 출발점이 될 수 있다.

출처: Hugging Face Daily Papers