[리서치 브리핑] GaSe MBE 성장을 위한 멀티모달 ML 분석 프레임워크

서론

반도체 및 차세대 광전 소자 소재인 2D chalcogenide 합성을 위한 MBE(분자빔 에피택시) 공정은 원자 수준의 정밀 제어가 가능하지만, 최적 조건을 찾기 위한 실험적 시행착오 비용이 매우 높습니다. 특히 성장 과정에서 발생하는 미세한 환경 변화는 샘플의 결정성과 표면 거칠기에 직접적인 영향을 미치며, 이는 전통적인 사후 분석(ex-situ)만으로는 실시간 대응이 불가능하다는 한계가 있습니다.

본 연구가 제시하는 멀티모달 ML 분석 프레임워크는 RHEED와 같은 실시간 진단 데이터를 단순한 모니터링 도구를 넘어, 정량적인 피처(Feature)로 변환하여 공정 예측 모델에 통합하는 접근법을 보여줍니다. 이는 고정밀 소재 합성 분야에서 데이터 기반의 자율 합성 플랫폼(Autonomous Synthesis Platform)으로 진화하기 위한 핵심적인 엔지니어링 단계라고 할 수 있습니다.

원문이 말하는 것

연구진은 GaAs(111)B 기판 위에서 성장시킨 37개의 GaSe 박막 샘플 데이터를 활용하여 MBE 공정 조건을 최적화하고자 했습니다. 입력 변수로는 Ga 플럭스(성장률), Se:Ga 플럭스 비율, 기판 온도를 설정하였으며, 출력 변수로 XRD의 FWHM(결정성)과 AFM의 RMS 거칠기를 측정했습니다. 방법론적으로는 RHEED 패턴의 비지도 학습을 위해 UMAP을 사용하여 저차원 임베딩(Z0, Z1)을 생성했고, 변수 간 관계 분석을 위해 상호 정보량(MI) 분석을 수행했으며, 최종적으로 Random Forest 회귀 모델을 통해 특성을 예측했습니다.

결과적으로 RHEED 임베딩 Z0=1을 기준으로 고품질과 저품질 샘플을 명확히 구분했으며, FWHM 예측 모델의 경우 전체 샘플 사용 시보다 RHEED 임베딩을 통해 저품질 샘플을 제거했을 때 결정계수(R²)가 0.55로 개선되었습니다. 또한 MI 분석을 통해 성장률이 FWHM에, Se:Ga 비율이 RMS 거칠기에 가장 큰 영향을 미친다는 점을 정량화했습니다. RMS 거칠기 예측 모델은 LOO 교차 검증 기준 R²=0.56의 예측력을 보였습니다.

핵심 실패 요인 심층 분석

첫째, 데이터셋의 규모 한계로 인한 오버피팅 리스크입니다. 본 연구는 37개의 소규모 샘플을 사용했기에 딥러닝 대신 Random Forest를 선택하고 LOO CV를 적용했으나, 데이터 양이 적은 상태에서 특정 변수의 영향력이 과대평가될 위험이 있습니다.

둘째, 인시투(in-situ) 데이터와 엑스시투(ex-situ) 지표 간의 상관관계 불일치 가능성입니다. RHEED 임베딩이 FWHM(결정성)과는 강한 상관관계를 보였으나 RMS 거칠기와는 약한 관계를 보인 것처럼, 특정 실시간 지표가 모든 품질 특성을 대변하지 못할 때 잘못된 공정 수정 결정이 내려질 수 있습니다.

셋째, 확률적 이상치(Stochastic Anomaly)에 의한 모델 왜곡입니다. Se 플레이크 간섭이나 온도 변동 같은 무작위 요인으로 생성된 저품질 샘플이 학습 데이터에 포함될 경우, 모델의 R² 값이 급격히 하락하며 예측 신뢰도가 붕괴되는 취약성을 보입니다.

출처: Photo by Steve A Johnson on Unsplash

MBE 공정 ML 모델링 및 데이터 검증 체크리스트

실무 엔지니어링 파이프라인에서 이와 같은 시스템 붕괴를 사전에 차단하기 위해 다음 핵심 방어 체계를 운영 단계에 강제해야 합니다.

• 실시간 임베딩 구축: RHEED 패턴과 같은 이미지 데이터를 UMAP 등을 통해 물리적 의미를 갖는 저차원 벡터로 변환하였는가?
• 상호 정보량(MI) 분석: 입력 공정 변수와 출력 품질 지표 간의 비선형적 상관관계를 정량적으로 분석하여 핵심 피처를 선정했는가?
• 이상치 필터링 전략: 인시투 진단 데이터를 활용해 모델 학습 전 저품질/이상 샘플을 배제하는 기준(예: Z0 > 1)을 수립했는가?
• LOO 교차 검증 적용: 소규모 데이터셋의 특성을 고려하여 Leave-One-Out CV를 통해 모델의 일반화 성능을 엄격하게 평가했는가?

필자의 생각과 실무 제언

실제 현장에서는 RHEED 패턴을 전문가가 육안으로 보고 ‘스트릭(streak)이 잘 나왔다’고 판단하는 정성적 분석에 의존하는 경우가 많습니다. 본 논문은 이를 UMAP 임베딩이라는 정량적 좌표로 변환함으로써, 전문가의 직관을 수학적 경계로 치환했다는 점에서 매우 실용적인 접근입니다.

다만, Random Forest의 R²=0.55 수준의 성능은 완전한 자동화를 위해서는 여전히 부족한 수치입니다. 결국 ML이 모든 것을 해결하기보다는, 이상치를 빠르게 걸러내어 연구자의 실험 횟수를 획기적으로 줄여주는 ‘가속기’ 역할로서의 가치가 더 크다고 판단됩니다.

결론 및 엔터프라이즈 거버넌스 가이드

사내 AI 프로젝트가 PoC 단계의 초기 데모에 머물지 않고 실제 비즈니스 가치로 안착하기 위해서는 기획 단계부터 다음 거버넌스 원칙을 확립해야 합니다.

1. 데이터 무결성 우선 원칙: 물리적 진단 도구(in-situ)를 통한 데이터 정제 단계를 지도 학습 전 필수 공정으로 정의한다.
2. 설명 가능한 피처 선정: MI 분석과 피처 중요도(Feature Importance) 분석을 통해 모델의 예측 근거가 물리적 성장 메커니즘과 일치하는지 검증한다.
3. 보수적 성능 평가: 소규모 실험 데이터 기반 모델의 경우, 단순 훈련 정확도가 아닌 LOO CV와 같은 엄격한 검증 지표를 기준으로 배포 여부를 결정한다.

참고 문헌 및 원문 분석 자료