[리서치 브리핑] 멀티모달 AI 평가의 진화: 인식에서 추론으로

서론

엔터프라이즈 환경에서 AI를 도입할 때 가장 위험한 지점은 모델의 ‘벤치마크 점수’와 ‘실제 현장 성능’ 사이의 괴리입니다. 많은 기업이 SOTA(State-of-the-Art) 모델의 리더보드 순위를 보고 도입을 결정하지만, 실제 업무에서는 예상치 못한 환각이나 논리적 오류로 인해 신뢰도 문제가 발생하곤 합니다.

이러한 현상은 AI 평가 방식이 모델의 학습 속도를 따라잡지 못하는 ‘평가 지체’ 현상에서 기인합니다. 모델은 방대한 웹 데이터를 학습하며 벤치마크의 문제와 답안까지 암기해 버리는 데이터 오염 상태에 놓여 있으며, 이는 지능의 발전이 아닌 ‘시험 기술’의 발전으로 이어집니다.

멀티모달 AI는 텍스트를 넘어 이미지, 비디오, 오디오를 동시에 처리해야 하므로 평가의 복잡성은 더욱 증가합니다. 단순하게 ‘이미지에 무엇이 있는가’를 맞히는 수준을 넘어, ‘왜 이런 상황이 발생했는가’라는 인과 관계를 추론할 수 있어야 실제 비즈니스 프로세스에 통합될 수 있습니다.

따라서 경영진과 엔지니어링 리더는 모델의 단순 정확도가 아니라, 모델이 정답에 이르는 ‘추론 과정’이 타당한지를 검증하는 체계를 갖추어야 합니다. 본 리서치는 인식에서 추론으로, 그리고 실행으로 이어지는 평가의 진화 경로를 제시함으로써 기업이 AI 성능을 객관적으로 측정할 수 있는 기준을 제공합니다.

원문이 말하는 것

본 리서치는 멀티모달 AI 평가의 역사를 단순한 데이터셋의 나열이 아닌, 점점 더 까다로워지는 ‘인지 시험’의 과정으로 정의합니다. 초기 ImageNet과 COCO 중심의 ‘인식 시대(Level I)‘에서 시작하여, VQA, GQA, VCR과 같이 논리와 이해력을 측정하는 ‘추론의 여명(Level II)‘을 거쳐, 현재의 MLLM을 위한 ‘전문가 수준 통합 평가(Level III)’ 단계에 이르렀다고 분석합니다.

연구진은 평가 수준을 4단계로 구분하며, Level III에서는 MMMU, MMBench, SEED-Bench 등의 벤치마크를 통해 고도의 도메인 지식과 교차 모달 추론 능력을 측정합니다. 특히 Gemini 1.5 Pro가 Video-MME에서 자막 포함 시 81.6%의 정확도를 보인 사례나, GPT-4o가 MMBench에서 약 84.8%의 정확도를 기록한 수치 등을 통해 최신 모델의 성능 수준을 제시합니다.

또한, 아직 미개척 영역인 Level IV에서는 VirtualHome, ALFRED, EmbodiedBench와 같은 시뮬레이터를 통해 구체화된 계획 수립, 사회적 지능, 창의성을 평가하는 단계를 탐색합니다. 이 단계에서는 정답 여부보다는 작업 성공률(SR)이나 경로 효율성(SPL)과 같은 행동 기반 지표가 중요해집니다.

마지막으로, 본 논문은 정적 벤치마크가 모델의 학습 데이터에 포함되어 성능이 왜곡되는 ‘데이터 오염’ 문제를 지적합니다. 이를 해결하기 위해 인간이 개입하여 지속적으로 새로운 사례를 생성하는 ‘리빙 벤치마크(Living Benchmarks)‘와 적대적 평가 체계로의 전환을 제안하며 마무리합니다.

핵심 실패 요인 심층 분석

첫째, 지름길 학습(Shortcut Learning)과 가짜 상관관계의 문제입니다. 모델은 사물의 본질적인 특징을 배우는 대신, 데이터셋에 존재하는 통계적 편향을 이용해 정답을 맞히는 경향이 있습니다. 예를 들어, 소를 인식하는 모델이 소 자체가 아니라 배경의 ‘초록색 풀’을 보고 소라고 판단하는 경우입니다. 이는 벤치마크 점수는 높지만, 배경이 바뀌면 성능이 급락하는 취약성을 야기합니다.

둘째, 결합 문제(The Binding Problem)와 구성적 일반화의 실패입니다. 모델이 개별 객체(빨간색, 큐브, 파란색, 구)는 인식하지만, 이를 ‘빨간 큐브와 파란 구’라는 관계형 구조로 결합하는 데 어려움을 겪는 현상입니다. Winoground와 같은 벤치마크에서 최신 모델들이 무작위 추측 수준의 낮은 성능을 보인 것은, 모델이 언어적 구조와 시각적 구속 조건을 정확히 매핑하지 못하고 있음을 보여줍니다.

셋째, 정적 평가의 포화와 데이터 오염(Data Contamination)입니다. 웹 스케일로 학습하는 최신 MLLM들은 평가용 데이터셋을 이미 학습 과정에서 접했을 가능성이 매우 높습니다. 이로 인해 모델은 추론을 통해 답을 내는 것이 아니라 암기된 내용을 출력하게 되며, 이는 실제 배포 환경에서 모델이 새로운 상황에 직면했을 때 대처 능력이 현저히 떨어지는 결과로 이어집니다.

출처: Photo by Markus Spiske on Unsplash

멀티모달 측정 프레임워크: 6가지 직교 축 분석

멀티모달 AI의 성능을 정밀하게 측정하기 위해서는 단순한 정확도 지표를 넘어, 서로 독립적으로 작용하는 6가지 직교 축(Orthogonal Axes)을 기반으로 한 측정 프레임워크가 필요합니다. 본 프레임워크는 Skill(기술), Reliability(신뢰성), Robustness(강건성), Hygiene(위생), Cost(비용), Fairness(공정성)라는 여섯 가지 차원을 통해 벤치마크의 품질과 모델의 실제 능력을 다각도로 분석합니다. 여기서 Skill은 패턴 매칭부터 복잡한 추론까지 측정 대상이 되는 인지 능력을 의미하며, Reliability는 Top-1 Accuracy나 Elo Rating과 같은 지표의 통계적 일관성을 측정합니다. Robustness는 모델이 지름길 학습(Shortcut Learning)에 빠지지 않도록 하는 장치 유무를, Hygiene은 데이터 오염을 방지하고 유효성을 확보하는 수준을 평가합니다. 또한 Cost는 정적 추론에서 시뮬레이션에 이르기까지 필요한 계산 자원을, Fairness는 다양한 집단에 대한 편향 탐지 및 표현 능력을 측정합니다.

이 6가지 축은 인지 단계(Level I~IV)가 상승함에 따라 상호 간에 뚜렷한 트레이드오프 관계를 형성합니다. 가장 먼저 주목할 점은 Skill의 깊이가 증가할수록 Cost가 기하급수적으로 상승한다는 사실입니다. Level I의 인식 단계에서는 단순한 판별 분류(Discriminative Classification)만으로 평가가 가능하여 비용 효율성이 최적화되었습니다. 하지만 Level IV의 구체화된 지능 단계로 진입하면, 물리 엔진이 포함된 시뮬레이션 환경에서 에이전트의 행동을 측정해야 하므로 계산 비용이 극도로 높아집니다. 즉, 더 고차원적인 지능을 측정하려는 시도는 필연적으로 막대한 계산 자원의 투입을 요구합니다.

또한 Skill의 고도화는 Reliability의 하락으로 이어지는 경향을 보입니다. Level I과 II에서는 Top-1 Accuracy나 mAP와 같이 결과가 결정론적(Deterministic)인 지표를 사용하여 신뢰성 점수가 매우 높게 나타납니다. 그러나 Level III 이상의 전문가 수준 통합 평가에서는 모델이 자유 형식의 텍스트를 생성하는 확률적(Stochastic) 판단 영역으로 진입합니다. 이 단계에서는 LLM-as-judge와 같은 주관적 판단 지표가 도입되면서, 평가의 재현성과 일관성을 유지하는 것이 훨씬 어려워지며 결과적으로 신뢰성 지표가 낮아지는 특성을 보입니다.

Hygiene(위생) 축의 변화는 평가 패러다임의 전환을 극명하게 보여줍니다. Level I과 II에서는 고정된 학습/검증/테스트 세트를 분리하는 ‘구조적 격리’만으로도 충분한 위생 관리가 가능했습니다. 하지만 웹 스케일의 불투명한 데이터를 학습하는 Level III의 MLLM 시대에는 사후 진단 감사(Post-hoc diagnostic audits)를 통해 오염 정도를 추측하는 방식으로 바뀌었습니다. 이에 대한 최종적인 해결책으로 제시된 것이 Level IV의 ‘동적 방지’ 체계입니다. 인간이 개입하여 지속적으로 새로운 사례를 생성하거나, 모델의 학습 컷오프 이후의 데이터를 사용하는 방식으로 위생 수준을 다시 끌어올리려는 시도가 이루어지고 있습니다.

Robustness(강건성)와 Fairness(공정성) 측면에서는 초기 단계의 치명적인 결함이 후속 단계의 동력이 되었습니다. Level I의 인식 시대 벤치마크들은 신뢰성 점수는 높았으나, 질감 편향(Texture Bias)과 서구 중심적 데이터 분포로 인해 강건성과 공정성 점수가 매우 낮았습니다. 이러한 취약성은 모델이 사물의 본질이 아닌 통계적 지름길을 이용해 정답을 맞히는 현상을 초래했습니다. 이를 해결하기 위해 Level II에서는 의도적으로 분포를 뒤섞은 VQA-CP나 구성적 추론을 요구하는 CLEVR 같은 진단용 스트레스 테스트가 도입되었으며, 이를 통해 강건성 축의 점수를 비약적으로 높이는 성과를 거두었습니다.

결과적으로 멀티모달 측정 프레임워크는 AI 평가가 단순한 점수 경쟁이 아니라, 각 축 사이의 균형을 맞추는 최적화 과정임을 시사합니다. 인식 단계에서는 낮은 비용과 높은 신뢰성을 확보했지만 강건성이 부족했고, 추론 단계에서는 강건성을 확보하려다 위생과 신뢰성 문제에 직면했습니다. 이제 AI 평가는 정적인 지표에서 벗어나, 비용 상승과 신뢰성 하락이라는 리스크를 감수하더라도 동적인 환경에서 실제 지능을 측정하는 방향으로 진화하고 있습니다.

인지 단계별 평가 진화: Level I에서 Level IV까지

멀티모달 AI 평가의 진화 과정은 단순한 데이터셋의 확장이 아니라, 모델의 인지 능력을 측정하는 ‘시험’의 난이도가 점진적으로 상승한 과정으로 분석할 수 있습니다. Level I(인식 시대)의 핵심은 기계가 인간처럼 세상을 볼 수 있는지를 측정하는 기초 지식 테스트였습니다. ImageNet은 2만 개 이상의 카테고리와 1,400만 장 이상의 이미지를 통해 대규모 시각 인식의 표준을 세웠으며, PASCAL VOC는 객체 탐지(Detection)와 분할(Segmentation)의 규칙을 정립했습니다. 이후 COCO는 단순 분류를 넘어 복잡한 일상 장면 속의 다중 객체와 문맥을 이해하는 단계로 평가를 확장했습니다. 하지만 이 단계의 모델들은 사물의 본질이 아닌 배경의 통계적 특성이나 질감에 의존하는 ‘지름길 학습(Shortcut Learning)‘에 취약하다는 결함이 드러났습니다.

이러한 취약성을 진단하기 위해 등장한 것이 Level II(논리 및 이해 시대)입니다. 이 단계의 벤치마크들은 모델이 단순히 ‘무엇이 있는가’를 맞히는 것이 아니라, 시각 정보와 언어적 단서를 어떻게 통합하여 추론하는지를 평가합니다. VQA는 오픈 엔드 질문을 통해 시각-언어 통합의 기초를 닦았으며, VQA-CP는 학습 데이터의 언어적 편향을 역이용해 모델이 실제 이미지에 근거해 답하는지를 검증하는 스트레스 테스트를 도입했습니다. GQA는 씬 그래프(Scene Graph)를 기반으로 한 구성적 추론(Compositional Reasoning)을 요구하여, 모델이 단계별 논리 체인을 따라 정답에 도달하는지를 측정함으로써 단순 패턴 매칭의 한계를 극복하려 했습니다.

논리적 추론의 심화는 CLEVR와 NLVR2 같은 벤치마크로 이어졌습니다. CLEVR는 합성 이미지를 통해 속성과 관계의 결합 능력을 정밀하게 진단했고, NLVR2는 실제 사진을 사용하여 진위 여부를 판단하는 논리적 구성력을 테스트했습니다. 특히 Winoground는 모델이 단어와 시각적 객체를 정확히 매핑하지 못하는 ‘결합 문제(Binding Problem)‘를 폭로하며, 최신 모델들조차 관계 역전 상황에서 무작위 추측 수준의 성능을 보인다는 점을 입증했습니다. 나아가 OK-VQA와 A-OKVQA는 이미지 외부의 세계 지식을 통합하는 능력을, VCR은 정답뿐만 아니라 그 이유를 설명하는 정당화(Justification) 과정을 요구하며 인지 평가의 수준을 고등 사고 단계로 끌어올렸습니다.

현재의 프런티어인 Level III(전문가 수준 통합) 단계는 MLLM의 범용적 능력을 측정하는 ‘종합 시험’의 성격을 띱니다. MMMU는 STEM 및 전문 분야의 대학 수준 지식을 요구하여 단순 상식을 넘어선 도메인 전문성을 평가합니다. MMBench는 20가지 능력 차원을 세분화하여 프로파일링하며, 선택지 순서에 따른 편향을 제거하는 CircularEval 기법을 통해 평가의 신뢰도를 높였습니다. SEED-Bench는 공간적 인식과 시간적 추론을 통합하여 이미지와 비디오 모달리티 간의 성능 차이를 분석합니다. 이 단계의 모델들은 높은 정확도를 보이지만, 웹 스케일 학습으로 인한 데이터 오염과 정답만 맞히고 과정은 틀리는 ‘결과 중심 평가’의 한계라는 새로운 결함에 직면해 있습니다.

최근에는 이러한 결과 중심 평가를 극복하기 위해 과정의 충실도(Process Fidelity)를 측정하는 도구들이 도입되었습니다. MathVista는 차트와 다이어그램을 통한 시각적 수학 추론 능력을 정밀하게 진단하며, MM-Vet은 OCR, 수학, 공간 인식 등 여러 능력을 체인 형태로 결합해야 하는 통합 과제를 제시합니다. 특히 GeoChain은 지리적 위치 추론 과정을 단계별 Chain-of-Thought(CoT)로 구성하여 인지 오류가 발생하는 정확한 지점을 찾아내며, VCR-Bench는 비디오 이해 과정에서 ‘지각(Perception)’ 단계와 ‘추론(Reasoning)’ 단계를 태그로 구분하여 모델이 정답을 맞힌 이유가 올바른 논리에 근거했는지 검증합니다.

마지막으로 Level IV(추상 및 창의 지능)는 정적인 질의응답을 넘어 동적인 상호작용과 실행 능력을 평가하는 미개척 영역입니다. VirtualHome은 가사 활동을 프로그램 형태로 실행하며 인과적 상태 추적 능력을 측정하고, ALFRED는 에고센트릭(Egocentric) 관점에서 복잡한 지시사항을 수행하는 장기 계획 수립 능력을 평가합니다. MUEP와 EmbodiedBench는 시뮬레이션 환경에서 MLLM의 계획 수립과 저수준 제어 능력을 통합적으로 검증합니다. 이 단계에서는 단순 정확도가 아닌 작업 성공률(SR)이나 경로 효율성(SPL) 같은 행동 지표가 핵심이 되며, 사회적 지능이나 창의성과 같이 정답이 없는 주관적 영역으로 평가의 지평을 넓히고 있습니다.

최신 MLLM을 위한 딥다이브 진단 도구 분석

최근의 멀티모달 거대언어모델(MLLM) 평가 체계는 단순한 성능 측정을 넘어, 특정 인지 능력을 정밀하게 진단하는 ‘딥다이브’ 도구 중심으로 진화하고 있습니다. 특히 Video-MME는 시각 정보뿐만 아니라 자막과 오디오를 통합하여 11초에서 1시간에 이르는 다양한 길이의 비디오를 평가하며, 롱-호라이즌(long-horizon) 추론 능력을 측정합니다. 이 도구는 모달리티 토글 기능을 통해 프레임, 자막, 오디오의 기여도를 개별적으로 분석함으로써, 모델이 단순한 단일 프레임 힌트가 아닌 시간적 구성성(temporal compositionality)을 실제로 이해하고 있는지 검증합니다.

정량적 추론 능력을 정밀 측정하는 MathVista는 차트, 다이어그램, 수식 등 이질적인 시각적 소스를 통합하여 수학적 추론 능력을 진단합니다. 일반적인 MLLM이 자연스러운 장면 이해에는 능숙하지만, 기하학적 파싱이나 알고리즘적 추론에서는 여전히 취약하다는 점을 드러냅니다. GPT-4V와 같은 선도 모델조차 인간 전문가의 성능인 60% 이상의 수준에 미치지 못하는 약 50%의 정확도를 기록하며, 정밀한 수치적 추론 분야에서의 한계를 보여줍니다.

개별 능력이 아닌 통합적 수행 능력을 평가하는 MM-Vet은 인식, OCR, 지식, 언어 생성, 공간 인식, 수학이라는 6가지 핵심 능력을 체인 형태로 결합하여 해결해야 하는 오픈 엔드 문제를 제시합니다. LLM-as-judge 방식을 통해 정답의 유연성을 확보하면서도, ‘OCR + 수학’과 같이 서로 다른 능력이 결합된 태스크에서 모델이 겪는 병목 현상을 분석합니다. 이는 모델이 단일 기술을 보유했는지보다, 실제 문제 해결을 위해 기술들을 어떻게 구성(compose)하는지를 측정하는 데 중점을 둡니다.

모델의 신뢰성을 결정짓는 핵심 요소인 환각 현상은 HallusionBench를 통해 체계적으로 진단됩니다. 이 도구는 정교하게 편집된 이미지와 함께 그럴싸하지만 거짓인 주장을 제시하여, 모델이 이를 거부할 수 있는지를 측정합니다. 초기 GPT-4V 버전이 질문-쌍 정확도에서 약 32%의 낮은 성적을 거둔 사례는, 최신 모델들이 겉으로는 높은 정확도를 보이지만 실제로는 시각적 증거와 무관한 지식 기반 환각이나 시각적 착각에 매우 취약함을 입증합니다.

특히 최근 등장한 도구들은 정답 여부라는 결과 중심 평가에서 벗어나, 정답에 이르는 ‘프로세스’를 검증하는 방향으로 나아가고 있습니다. GeoChain은 거리 뷰 이미지로부터 대륙, 국가, 도시, 랜드마크 순으로 좁혀가는 21단계의 계층적 지리 추론 체인(CoT)을 구현합니다. 모델이 각 단계에서 어떤 시각적 단서를 추출하고 가설을 세웠는지 단계별로 점수화함으로써, 최종 위치 예측이 맞았더라도 중간 추론 과정에서 인지적 오류가 있었는지를 정밀하게 진단합니다.

비디오 이해의 프로세스 충실도를 평가하는 VCR-Bench는 한 단계 더 나아가 추론 단계마다 ‘인식(perception)‘과 ‘추론(reasoning)’ 태그를 부여합니다. 모델이 생성한 근거(rationale)를 인간이 작성한 골드 표준과 비교하여 단계별 정밀도와 재현율을 계산합니다. 분석 결과, GPT-4o나 Gemini 1.5 Pro 같은 강력한 모델들도 추론 단계보다 인식 단계에서 더 낮은 점수를 기록하는 경향이 발견되었습니다. 이는 MLLM의 주요 병목이 논리적 추론 능력 자체보다는, 정확한 시각적 증거를 추출하는 인식 단계에 있음을 시사합니다.

이와 같은 딥다이브 도구들은 MMMU와 같은 광범위한 전문가 시험이 놓치기 쉬운 세부적인 인지 결함을 드러냅니다. MMMU가 대학 수준의 광범위한 도메인 지식을 측정하는 ‘자격 시험’ 역할을 한다면, 앞서 언급한 진단 도구들은 특정 인지 회로의 고장 유무를 판별하는 ‘정밀 검진’ 역할을 수행합니다. 결과적으로 이러한 도구들의 조합을 통해 모델이 ‘옳은 이유로 정답을 맞혔는지(right for the right reasons)‘를 검증하는 체계가 구축되고 있습니다.

리빙 벤치마크(Living Benchmarks) 구축 및 운영 전략

정적 벤치마크의 고질적인 문제인 포화 상태와 데이터 오염을 극복하기 위해 제안된 리빙 벤치마크(Living Benchmarks)는 지속적인 인간 개입과 적대적 업데이트를 핵심으로 하는 동적 평가 체계입니다. 이는 고정된 데이터셋을 제공하는 기존 방식과 달리, 모델의 발전 속도에 맞춰 평가 항목을 실시간으로 갱신함으로써 모델이 단순 암기가 아닌 실제 지능을 발휘하는지 측정하는 데 목적이 있습니다. 대표적으로 Dynabench는 인간과 모델이 참여하는 적대적 라운드를 통해 더 변별력 있는 데이터셋을 구축하며, RealTimeQA는 학습 컷오프 이후의 최신 사건을 다루는 주간 평가를 통해 데이터 오염 가능성을 원천적으로 차단합니다.

리빙 벤치마크의 핵심 디자인 패턴 중 하나는 적대적 데이터 수집(Adversarial Data Collection)입니다. 이는 숙련된 어노테이터나 다른 모델이 최신 SOTA 모델조차 틀리게 만드는 유효한 사례를 의도적으로 설계하는 방식입니다. AdVQA와 같은 사례에서 볼 수 있듯, 인간은 모델이 간과하는 미세한 시각적 단서나 복잡한 상식 추론을 활용해 새로운 실패 사례를 생성하며, 이를 통해 모델의 한계를 지속적으로 밀어붙입니다. 또한 LMSYS Chatbot Arena와 같은 인간 선호도 아레나(Human Preference Arenas)는 무작위 쌍체 비교와 Elo 기반 집계 방식을 도입하여, 정적 지표가 놓치기 쉬운 지시어 준수 능력이나 답변의 유창성 등 사용자 관점의 정렬 상태를 측정합니다.

효과적인 운영을 위한 유지보수 플레이북에서는 엄격한 거버넌스와 버전 관리를 강조합니다. 리빙 벤치마크는 단순한 데이터 업데이트를 넘어, 유의적 버전 관리(Semantic Versioning, SemVer) 체계를 도입하여 관리합니다. 테스트 정의 자체가 변경된 경우 MAJOR 버전을, 새로운 항목이나 분할(split)이 추가된 경우 MINOR 버전을, 단순 오류 수정 시 PATCH 버전을 올리는 방식입니다. 이를 통해 평가자와 피평가자 간의 일관된 비교 기준을 유지하며, 변경 이력을 투명하게 공개하여 벤치마크의 신뢰도를 높입니다.

평가의 무결성을 보장하기 위한 보안 평가 프로토콜 역시 필수적입니다. 모델이 테스트 셋을 학습 데이터로 사용하는 것을 방지하기 위해, 데이터셋을 직접 배포하는 대신 API 기반의 서버 평가 방식을 채택하거나, 코드 업로드(code-upload) 방식을 통해 보이지 않는 테스트 셋에서 모델을 실행합니다. 특히 Habitat Challenge와 같은 구체화된 AI 평가에서는 모델의 예측값만 받는 것이 아니라 에이전트의 코드를 직접 제출받아 보지 못한 환경에서 실행함으로써, 단순한 패턴 매칭이 아닌 실제 문제 해결 능력을 검증합니다.

데이터의 품질 관리를 위해 리빙 벤치마크는 다단계 품질 제어 프로세스를 거칩니다. 수집된 적대적 사례는 이중 검토와 중재 과정을 거치며, 항목 반응 분석(item-response analysis)을 통해 난이도와 변별력을 측정합니다. 이후 중복 제거 및 오염 감사(contamination audit)를 수행하여 훈련 데이터와의 겹침이 없는지 확인한 후 최종 테스트 셋으로 승격시킵니다. 이러한 일련의 과정은 벤치마크가 ‘풀 수 있는 문제’의 집합이 아니라, 모델의 취약점을 끊임없이 발굴하는 ‘진단 도구’로 기능하게 합니다.

마지막으로 리빙 벤치마크는 선셋 정책(Sunset Policy)을 통해 생애 주기를 관리합니다. 특정 벤치마크의 성능이 90%를 상회하고 모델 간 변동성이 낮아져 포화 상태에 이르면, 해당 데이터셋을 평가용이 아닌 훈련 또는 개발용(dev)으로 강등시킵니다. 그 후 MMLU-Pro나 MMLU-CF와 같이 더 까다로운 제약 조건이나 새로운 스트레스 요인을 적용한 후속 버전으로 교체함으로써 평가의 변별력을 지속적으로 유지합니다. 이러한 동적 순환 구조는 AI 평가가 단순한 기록의 역사가 아니라, 더 지능적인 시스템을 만들기 위한 끊임없는 적대적 진화 과정임을 시사합니다.

멀티모달 AI 인지 능력 검증 체크리스트

실무 엔지니어링 파이프라인에서 이와 같은 시스템 붕괴를 사전에 차단하기 위해 다음 핵심 방어 체계를 운영 단계에 강제해야 합니다.

• 추론 과정 검증: 최종 정답뿐만 아니라 Chain-of-Thought(CoT)를 통해 정답에 이르는 단계별 논리가 타당한지 확인합니까?
• 데이터 오염 확인: 평가 데이터셋이 모델의 사전 학습 데이터에 포함되었을 가능성을 진단하는 사후 감사(Post-hoc audit)를 수행합니까?
• 관계 결합 테스트: 객체 각각의 인식 능력이 아닌, 객체 간의 공간적/인과적 관계를 정확히 바인딩하는지 테스트합니까?
• 적대적 사례 투입: 정답 확률이 높은 일반적 사례가 아닌, 모델을 오답으로 유도하는 변형된 적대적 샘플을 포함합니까?
• 도메인 특화 평가: 범용 벤치마크 외에 비즈니스 핵심 도메인의 전문 지식이 필요한 ‘전문가 수준’ 평가셋을 보유하고 있습니까?
• 시계열 일관성 측정: 비디오나 오디오 처리 시, 시간의 흐름에 따른 논리적 일관성이 유지되는지 측정합니까?
• 환각 거부 능력 테스트: 정답이 없는 질문이나 거짓 주장이 포함된 입력에 대해 ‘모름’ 또는 ‘거짓’이라고 정확히 답합니까?
• 동적 평가 체계: 한 번 구축한 평가셋을 고정하지 않고, 모델의 성능 향상에 맞춰 지속적으로 업데이트하는 리빙 벤치마크 체계를 갖추었습니까?

II. 멀티모달 측정 프레임워크

멀티모달 AI의 진화 과정을 체계적으로 이해하기 위해서는 단순한 역사적 서술을 넘어, 평가의 각 단계를 엄격하게 규정하는 측정 프레임워크가 필요합니다. 본 리서치는 벤치마크의 품질과 모델의 능력을 다각도로 분석하기 위해 서로 독립적으로 작용하는 6가지 직교 축(Orthogonal Axes)을 제시합니다. 이 프레임워크는 인지 단계가 상승함에 따라 변화하는 성능 지표의 특성과 그 이면에 숨겨진 트레이드오프 관계를 정밀하게 진단하는 도구로 활용됩니다.

첫 번째 축인 Skill(기술)은 모델이 테스트받는 구체적인 인지 능력을 의미합니다. 이는 초기 단계의 단순한 패턴 매칭에서 시작하여, 점차 복잡한 논리적 추론과 고차원적 통합 능력으로 확장됩니다. 두 번째 축인 Reliability(신뢰성)는 측정 지표의 통계적 일관성을 평가합니다. Top-1 Accuracy와 같이 결과가 명확한 결정론적 지표부터 Elo Rating과 같은 상대적 평가 방식까지 포함하며, 측정값이 얼마나 일관되게 모델의 성능을 대변하는지를 측정합니다.

세 번째 축인 Robustness(강건성)는 모델이 데이터셋의 통계적 허점을 이용하는 ‘지름길 학습(Shortcut Learning)‘에 빠지지 않도록 설계된 메커니즘의 유무를 평가합니다. 예를 들어, 분포 외(Out-of-Distribution) 데이터셋을 통해 모델이 학습 데이터의 표면적 특징이 아닌 본질적인 인과 관계를 학습했는지 검증합니다. 네 번째 축인 Hygiene(위생)은 데이터의 유효성을 확보하고 학습 데이터와 테스트 데이터가 겹치는 오염(Contamination) 현상을 방지하기 위한 조치들을 측정합니다.

다섯 번째 축인 Cost(비용)는 평가에 소요되는 계산 자원을 의미합니다. 단순한 정적 추론(Static Inference)만으로 충분한 초기 단계와 달리, 복잡한 시뮬레이션이나 상호작용이 필요한 고도화된 단계에서는 평가 비용이 기하급수적으로 상승합니다. 마지막 여섯 번째 축인 Fairness(공정성)는 다양한 인구통계적 집단에 대한 편향을 탐지하고, 특정 그룹에 치우치지 않는 균형 잡힌 표현 능력을 갖추었는지를 측정합니다.

이 6가지 축은 AI 인지 수준(Level I~IV)이 높아질수록 매우 뚜렷한 상관관계와 트레이드오프를 형성합니다. 가장 두드러진 특징은 Skill의 깊이가 깊어질수록 Cost가 급격히 증가한다는 점입니다. 인식 중심의 Level I에서는 단순한 판별 분류만으로 평가가 가능해 비용 효율성이 극대화되었으나, Level IV의 구체화된 지능 단계에서는 물리 엔진 기반의 시뮬레이션 환경이 필수적이므로 막대한 계산 자원이 투입되어야 합니다.

또한 Skill의 고도화는 Reliability의 하락을 야기하는 경향이 있습니다. Level I과 II에서는 Top-1 Accuracy나 mAP와 같은 결정론적 지표를 사용하여 신뢰성 점수가 매우 높게 유지되었습니다. 그러나 Level III 이상의 전문적 추론 단계에서는 정답의 형태가 개방형 생성(Open-ended Generation)으로 바뀌고, 이를 평가하기 위해 LLM-as-judge와 같은 확률적 판단 도구를 사용하게 되면서 지표의 재현성과 일관성이 낮아지게 됩니다.

결과적으로, Level I에서 Level IV로 이행하는 과정은 기술적 깊이를 얻는 대신 비용과 신뢰성을 희생하는 과정이라고 볼 수 있습니다. 따라서 평가자는 단순히 벤치마크의 최종 점수만을 볼 것이 아니라, 해당 벤치마크가 어떤 직교 축에 우선순위를 두었는지, 그리고 현재 모델의 수준에서 어떤 트레이드오프가 발생하고 있는지를 종합적으로 분석하여 실제 지능의 발전 여부를 판단해야 합니다.

III. 수준 I: 기초 지식 (인식 시대)

현대 AI의 근간이 된 인식 시대(Recognition Era, 약 2009~2015년)는 대규모 표준화 테스트를 통해 사물을 식별하는 핵심 인지 능력을 확보하는 데 집중했습니다. 이 시기의 벤치마크들은 AI가 인간처럼 세상을 볼 수 있는지를 측정하는 ‘기초 지식 테스트’ 역할을 수행하며, 딥러닝 혁명을 이끈 공통의 과제와 지표, 목표를 설정했습니다.

가장 대표적인 ImageNet/ILSVRC는 WordNet으로 조직된 2만 개 이상의 카테고리와 1,400만 장 이상의 수작업 주석 이미지를 제공하며 대규모 시각 인식의 표준을 세웠습니다. 특히 1,000개 클래스 하위 집합을 활용한 ILSVRC는 Top-1 및 Top-5 정확도를 통해 모델의 성능을 직접 비교하는 ‘폐쇄형 시험’ 형식을 대중화했습니다. 2012년 AlexNet이 Top-5 에러율 15.3%를 기록하며 기존 모델 대비 10.8%포인트의 압도적인 개선을 보인 사건은 심층 합성곱 신경망(CNN)의 가능성을 증명하며 현대 딥러닝의 기폭제가 되었습니다.

단순 분류를 넘어 객체의 위치를 찾는 기술을 표준화한 것은 PASCAL VOC였습니다. 2005년부터 2012년까지 진행된 이 챌린지는 이미지 분류, 객체 탐지, 시맨틱 세그멘테이션 등 20개 카테고리에 걸친 평가 프로토콜을 구축했습니다. 특히 예측 상자와 실제 상자의 겹침 정도를 측정하는 IoU(Intersection-over-Union) 임계값 0.5를 기준으로 Average Precision(AP)과 mean AP(mAP)를 계산하는 방식을 도입하여, 모델이 객체를 단순히 인식하는 것을 넘어 얼마나 정확하게 국지화(Localization)하는지를 정밀하게 측정했습니다.

이후 등장한 COCO(Common Objects in Context)는 단일 객체 중심의 인식을 넘어, 일상적인 환경 속에서 여러 객체가 상호작용하는 복잡한 장면 이해로 평가의 관점을 전환했습니다. 80개 카테고리의 객체 탐지와 인스턴스 세그멘테이션뿐만 아니라, 정형화되지 않은 영역인 ‘stuff’(하늘, 풀, 도로 등) 개념을 도입하여 배경과 문맥의 중요성을 강화했습니다. 또한 mAP를 IoU 0.50에서 0.95까지 0.05 단위로 세분화하여 평균하는 더 엄격한 지표를 적용함으로써, 정밀한 국지화와 인스턴스 구분을 강제했습니다.

그러나 이러한 Level I 벤치마크들의 높은 점수는 실제 세계의 역량과는 거리가 먼 ‘취약한 지표’라는 한계가 드러났습니다. ImageNet의 경우, 데이터 수집 과정에서 작업자에게 특정 클래스 이미지를 보여주고 확인을 요청하는 방식이 사용되어, 정면에서 찍은 전형적인(iconic) 뷰가 과잉 대표되는 편향이 발생했습니다. 이로 인해 모델은 사물의 본질적 특징이 아니라 단순한 텍스처나 통계적 규칙성을 이용하는 지름길 학습(Shortcut Learning)에 의존하게 되었습니다.

구체적인 사례로, 모델이 ‘피켈하우베(독일식 투구)‘를 인식할 때 투구 자체의 특징이 아니라 함께 등장하는 ‘군복’이라는 더 두드러진 배경 정보를 통해 정답을 맞히는 현상이 발견되었습니다. 실제로 단일 객체 이미지보다 다중 객체 이미지에서 정확도가 약 10% 하락한다는 연구 결과는, 당시의 고득점이 인과적 이해가 아닌 데이터셋의 통계적 퀴즈를 푸는 수준이었음을 시사합니다.

결과적으로 인식 시대의 벤치마크들은 결정론적 지표와 고정된 테스트 세트를 통해 신뢰성(Reliability)과 비용 효율성(Cost) 면에서는 최적의 성과를 냈습니다. 하지만 앞서 언급한 텍스처 편향과 서구 중심의 데이터 분포로 인해 강건성(Robustness)과 공정성(Fairness) 축에서는 심각한 결함을 보였습니다. 이러한 기초 토대의 균열은 단순히 더 어려운 문제를 만드는 것이 아니라, 모델의 추론 과정과 논리적 결합 능력을 진단해야 한다는 필요성을 낳았으며, 이는 자연스럽게 Level II인 ‘추론의 여명’ 시대로 이어지는 동인이 되었습니다.

VI. 수준 IV: 추상 및 창의적 통합 (미개척 영역)

모델들이 정답이 명확한 지식 기반 추론 과제에서 강한 성능을 보임에 따라, 평가의 최전선은 이제 인간 지능의 핵심인 모호하고 주관적이며 동적인 영역으로 확장되고 있습니다. 수준 IV는 단순한 정적 질의응답을 넘어 인터랙티브 환경에서의 계획 수립, 복잡한 사회적 역동성 이해, 그리고 가치 있는 새로운 결과물을 생성하는 능력을 측정하는 단계입니다. 이 단계에서는 단일한 정답의 유무보다 프로세스 중심의 행동 기반 평가가 핵심이 되며, 이는 AI가 수동적인 관찰자에서 능동적인 에이전트로 진화했는지를 검증하는 과정입니다.

구체화된 지능(Embodied AI)의 평가를 위해 다양한 시뮬레이션 환경이 도입되었습니다. VirtualHome은 일상적인 가사 활동을 프로그램 형태의 원자적 행동 시퀀스로 인코딩하여, 언어 또는 비디오를 실행 가능한 프로그램으로 매핑하는 절차 유도 능력을 측정합니다. 여기서는 단순 정확도가 아닌 LCS(Longest Common Subsequence) 유사도와 시뮬레이터 내 실행 성공률(SR)을 지표로 사용합니다. 한편 ALFRED는 AI2-THOR 환경에서 에이전트가 고수준 목표와 단계별 지시를 따라 가사 과제를 완수하는 능력을 평가하며, 작업 성공률(SR)과 경로 효율성을 측정하는 SPL(Success weighted by Path Length)을 통해 계획의 정밀도를 검증합니다.

최근의 MUEP와 EmbodiedBench는 이러한 계획 수립 능력을 더욱 세분화하여 진단합니다. MUEP는 멀티모달 관찰 기반의 다회차 계획 수립을 강조하며, 추론 방향 상실 지수(RDI)와 언어 준수성(LC) 같은 지표로 재계획 능력을 측정합니다. ICML 2025에서 제시된 EmbodiedBench는 ALFRED, Habitat 등 4가지 환경을 통합하여 상식, 복잡한 지시, 공간 지각 등 6가지 역량별 서브셋으로 나누어 평가합니다. 특히 GPT-4o와 같은 최신 모델조차 저수준 조작(Manipulation) 작업에서는 평균 약 29%의 낮은 성공률을 보이며, 계획 수립 능력과 실제 물리적 실행 능력 사이에 큰 간극이 있음이 드러났습니다.

물리적 실행을 넘어 인간의 고차원적 인지 영역인 사회적 지능(Social Intelligence)에 대한 탐색도 이루어지고 있습니다. Social-IQ와 같은 벤치마크는 실제 인간 상호작용 비디오를 통해 감정, 의도, 사회적 규범을 추론하는 능력을 측정합니다. 하지만 AI 모델들은 인간이 풍부한 시각 및 청각 단서를 통해 확신을 가지고 내리는 추론과 달리, 모호한 상황에서 ‘답변 불가능’으로 회피하는 경향을 보입니다. 이를 해결하기 위해 행동을 통해 동기를 역으로 추론하는 ‘역추론(Inverse Reasoning)’ 방식 등이 새로운 평가 경로로 제시되고 있습니다.

창의성(Creativity) 측정은 객관적 지표가 불가능한 가장 어려운 영역으로, 인지 과학의 프레임워크를 차용한 정량적 접근이 시도되고 있습니다. 대표적으로 대안 용도 테스트(AUT)를 자동화하여, 흔한 사물의 새로운 용도를 얼마나 많이(유창성), 얼마나 다양한 범주로(유연성), 얼마나 희귀하게(독창성) 제시하는지를 측정합니다. 또한 마거릿 보든의 이론을 바탕으로 조합적, 탐색적, 변혁적 창의성이라는 세 가지 유형으로 나누어 가치와 새로움을 정량화하려는 시도가 진행 중입니다.

종합적으로 수준 IV는 기존의 ‘정답 맞히기’ 패러다임을 완전히 탈피하여, 동적인 환경에서의 성공적인 과제 완수와 인간 중심의 가치 판단을 통합하는 단계입니다. 이 과정에서 시뮬레이터를 통한 무한한 미지의 환경 생성은 수준 III에서 발생한 데이터 오염(Hygiene Crisis) 문제를 해결할 수 있는 열쇠가 됩니다. 비록 물리 엔진 기반의 시뮬레이션으로 인해 계산 비용(Cost)은 극도로 상승하고 창의성 평가의 신뢰성(Reliability)은 낮아지는 트레이드오프가 발생하지만, 이는 AI가 단순한 ‘시험 응시자’를 넘어 진정한 ‘협업 파트너’로 나아가기 위해 반드시 거쳐야 할 검증 과정입니다.

필자의 생각과 실무 제언

현업에서 AI 모델을 도입할 때 가장 많이 하는 실수가 ‘GPT-4o가 이 벤치마크에서 1위니까 우리 업무도 잘하겠지’라고 믿는 것입니다. 하지만 본 논문이 지적하듯, 현재의 평가 체계는 모델이 ‘어떻게’ 생각하는지가 아니라 ‘무엇을’ 맞혔는가에 치중되어 있습니다. 엔지니어 관점에서는 정확도(Accuracy)라는 단일 지표보다 훨씬 더 세밀한 진단 도구가 필요합니다.

특히 인상적인 점은 Level IV로 제안된 Embodied AI 평가입니다. 정적인 Q&A에서 벗어나 시뮬레이션 환경에서 실제로 작업을 완수하는지 측정하는 방식은, AI를 단순한 챗봇이 아닌 ‘에이전트’로 활용하려는 기업에 매우 중요한 시사점을 줍니다. 이제는 ‘말 잘하는 AI’가 아니라 ‘일 잘하는 AI’를 측정하는 시대로 가야 합니다.

또한, ‘리빙 벤치마크’ 개념은 MLOps의 관점에서 매우 중요합니다. 모델의 성능 저하나 데이터 드리프트를 감지하듯, 평가셋 자체도 드리프트가 발생합니다. 평가셋의 수명을 관리하고 지속적으로 적대적 사례를 주입하는 ‘평가 파이프라인’의 자동화가 앞으로의 핵심 경쟁력이 될 것입니다.

결국 핵심은 ‘신뢰’입니다. AI가 낸 답이 우연인지, 암기인지, 아니면 진짜 추론의 결과인지를 구분해낼 수 있는 역량이 AI 거버넌스의 핵심이 될 것이라고 생각합니다.

결론 및 엔터프라이즈 거버넌스 가이드

사내 AI 프로젝트가 PoC 단계의 초기 데모에 머물지 않고 실제 비즈니스 가치로 안착하기 위해서는 기획 단계부터 다음 거버넌스 원칙을 확립해야 합니다.

1. 결과 중심에서 과정 중심으로: 모델의 최종 출력값뿐만 아니라 추론 단계(Rationale)의 정밀도를 핵심 KPI로 설정한다.
2. 정적 평가에서 동적 평가로: 고정된 벤치마크 의존도를 낮추고, 지속적으로 갱신되는 적대적 평가셋(Living Benchmark) 운영을 의무화한다.
3. 데이터 오염 방지 원칙: 외부 벤치마크 점수를 신뢰하기 전, 반드시 내부 폐쇄 데이터셋을 통한 교차 검증을 수행한다.
4. 에이전트적 성능 정의: 단순 응답 능력이 아닌, 환경과의 상호작용을 통한 작업 완수율(Success Rate)을 실제 지능의 척도로 삼는다.
5. 평가 도구의 투명성: LLM-as-a-judge를 사용할 경우, 판정 기준(Rubric)과 판정 모델의 편향성을 주기적으로 감사한다.

참고 문헌 및 원문 분석 자료