[리서치 브리핑] 생성형 AI 사용 시 비판적 사고 측정 척도 개발 및 검증

서론

기업 환경에서 생성형 AI의 도입 속도는 매우 빠르지만, 사용자가 AI의 답변을 얼마나 신뢰하고 검증하는지에 대한 체계적인 측정 도구는 부족했습니다. AI는 매우 논리적이고 유창하게 답변하지만, 동시에 정교한 환각(Hallucination)을 생성할 수 있어 사용자의 ‘비판적 사고’가 업무 품질의 최후 보루가 됩니다.

많은 조직이 프롬프트 엔지니어링과 같은 기술적 숙련도에 집중하지만, 정작 중요한 것은 AI가 제공한 정보의 진위를 의심하고 검증하는 인지적 태도입니다. 이러한 태도가 결여된 상태에서의 AI 도입은 조직 전체의 자동화 편향을 심화시키고, 잘못된 데이터에 기반한 의사결정 리스크를 증폭시킬 수 있습니다.

본 리서치는 사용자의 비판적 사고 성향을 ‘검증, 동기, 성찰’이라는 세 가지 차원에서 정량적으로 측정할 수 있는 과학적 방법론을 제시합니다. 이는 C-level 리더들이 조직 내 AI 리터러시 수준을 진단하고, 단순한 도구 활용 능력을 넘어선 ‘책임 있는 AI 사용 역량’을 배양하는 전략적 기초가 됩니다.

원문이 말하는 것

본 연구는 생성형 AI의 유창함과 불투명성, 환각 현상으로 인해 사용자가 AI 출력을 비판적으로 평가해야 할 필요성에 주목했습니다. 연구진은 AI 사용 시의 비판적 사고를 AI 생성 정보의 출처와 내용을 검증하려는 경향, 모델의 작동 원리와 실패 지점을 이해하려는 동기, AI 의존의 광범위한 영향력을 성찰하는 성향으로 개념화했습니다.

총 6단계의 연구를 통해 1,341명의 표본을 대상으로 척도를 개발했습니다. 1단계에서 90개 항목으로 시작해 전문가 리뷰와 일반인 판단을 거쳐 27개 항목으로 압축했으며, 2단계 탐색적 요인 분석(EFA)을 통해 최종적으로 13개 항목의 3요인 구조(검증, 동기, 성찰)를 확립했습니다. 이후 3, 4단계 확인적 요인 분석(CFA)을 통해 구조적 타당성과 성별 불변성을 확인했습니다.

타당성 검증 결과, 개발된 척도는 일반적인 비판적 사고 성향 및 인지 욕구(Need for Cognition)와 강한 정적 상관관계를 보였으며, AI 의존도나 AI에 대한 태도와는 낮은 상관관계를 보여 변별 타당성을 확보했습니다. 또한 5단계 테스트-재테스트 신뢰도 분석을 통해 1~2주 간격으로 측정했을 때 점수가 안정적으로 유지됨을 확인했습니다.

마지막 6단계에서는 GPT-4o 기반의 챗봇 팩트체크 과업과 성찰 글쓰기 과업을 통해 준거 타당성을 검증했습니다. 비판적 사고 점수가 높은 사용자는 사실 확인 전략이 더 다양하고 빈번했으며, 특히 외부 증거가 부족한 상황에서도 무조건 ‘불확실’하다고 답하기보다 적극적으로 외부 정보를 찾아 정확한 판단을 내리는 ‘증거 갭 해결(Evidence-Gap Resolution)’ 능력이 뛰어났습니다.

핵심 실패 요인 심층 분석

첫째, 휴리스틱 처리에 의한 자동화 편향 리스크입니다. 생성형 AI는 매우 유창한 언어와 권위 있는 톤을 사용하는데, 이는 사용자에게 ‘정확하다’는 잘못된 신호를 주는 휴리스틱 단서로 작동합니다. 연구에 따르면 이러한 특성은 사용자로 하여금 체계적인 분석 과정을 생략하고 AI 출력을 무비판적으로 수용하게 하여, 결과적으로 잘못된 정보에 기반한 의사결정을 내리게 하는 기제로 작용합니다.

둘째, 인지적 오프로딩(Cognitive Offloading)으로 인한 분석 능력 저하 리스크입니다. AI가 정보 검색과 요약, 추론 과정을 대신 수행하면서 사용자의 작업 기억 자원은 절약되지만, 이는 동시에 분석적 추론을 연습할 기회를 박탈합니다. 연구에서는 이러한 경향이 지속될 경우 사용자가 독립적인 판단 능력을 상실하고 AI에 과도하게 의존하게 되는 ‘인지적 부채’ 상태에 빠질 위험이 있음을 시사합니다.

셋째, 증거 공백 상황에서의 판단 실패 리스크입니다. 대다수 사용자는 AI가 제공한 링크가 작동하지 않거나 관련 없는 정보일 때 쉽게 ‘불확실함’으로 판단하거나 포기하는 경향이 있습니다. 본 연구의 팩트체크 실험 결과, 비판적 사고 점수가 낮은 그룹은 외부 증거가 부재한 상황에서 스스로 정보를 찾아 해결하려는 ‘증거 갭 해결’ 능력이 현저히 낮았으며, 이는 실무에서 AI가 제공하지 않은 중요한 맥락을 놓치는 결과로 이어질 수 있습니다.

출처: Photo by Zach M on Unsplash

비판적 AI 사용 척도의 3차원 구조 분석

본 연구에서 개발한 비판적 AI 사용 척도는 총 13개 항목으로 구성되며, 검증(Verification), 동기(Motivation), 성찰(Reflection)이라는 세 가지 핵심 하위 차원을 통해 사용자의 인지적 태도를 측정합니다. 각 차원은 서로 독립적이면서도 유기적으로 연결되어, 사용자가 AI의 출력을 단순히 수용하지 않고 책임 있게 제어할 수 있는 전체적인 비판적 사고 능력을 형성합니다.

첫 번째 차원인 검증(Verification)은 AI가 생성한 콘텐츠의 정확성, 신뢰성, 출처의 품질을 평가하는 구체적인 평가 행동을 측정합니다. Table 1에 따르면, 이 차원은 AI 정보의 출처 확인, 전문가 의견이나 다른 소스를 통한 교차 검증, 내용의 명확성과 정확성 확인 등 5개 항목으로 구성됩니다. 이는 AI의 유창함에 현혹되지 않고 실제 사실 관계를 확인하려는 실천적 노력의 정도를 나타냅니다.

두 번째 차원인 동기(Motivation)는 AI 시스템의 작동 원리와 한계를 이해하려는 지적 의지와 인지적 노력을 측정합니다. 이 차원은 AI가 답변을 생성하는 방식, 특정 추천을 내놓는 이유, 답변이 매번 다르게 나타나는 원인을 이해하려는 4개 항목으로 구성됩니다. 이는 AI를 단순한 ‘블랙박스’형 도구로 사용하는 것이 아니라, 모델의 실패 지점과 능력을 파악하여 자신의 판단 기준을 정교화하려는 내재적 동기를 반영합니다.

세 번째 차원인 성찰(Reflection)은 AI 사용이 초래할 수 있는 광범위한 영향력과 윤리적 문제에 대해 깊이 고민하는 경향을 측정합니다. 환경적 영향, 사회적 변화, 윤리적 문제, 그리고 AI 출력으로 인해 혜택을 보거나 피해를 입는 대상에 대한 고민 등 4개 항목이 포함됩니다. 이는 개별 답변의 정오 판단을 넘어, AI 의존이 개인과 사회에 미치는 장기적 결과를 고려하는 메타인지적 능력을 의미합니다.

이 세 가지 차원은 상호보완적으로 작용하여 전체적인 비판적 사고 점수를 구성합니다. 동기가 높은 사용자는 AI의 작동 원리를 학습하려 하며, 이러한 이해는 어떤 상황에서 검증이 필요한지를 판단하는 근거가 됩니다. 이어지는 검증 단계에서 실제적인 팩트체크가 수행되며, 최종적으로 성찰 과정을 통해 해당 정보의 수용이 가져올 사회적, 윤리적 파급효과를 고려함으로써 책임 있는 의사결정에 도달하게 됩니다.

통계적으로 이 구조는 높은 수준의 내적 일관성을 보입니다. 확인적 요인 분석(CFA) 결과, 검증($\alpha =.89$), 동기($\alpha =.90$), 성찰($\alpha =.80$)의 각 하위 척도는 모두 높은 신뢰도를 기록했습니다. 또한, 세 차원은 서로 적절한 상관관계(검증-동기 .48, 검증-성찰 .49, 동기-성찰 .45)를 유지하면서도 각기 다른 고유한 분산을 설명하는 상위 요인으로서의 ‘비판적 AI 사용’이라는 하나의 통합된 개념으로 묶여 있음을 확인했습니다.

사실 확인 과업을 통한 준거 타당성 검증 실험

준거 타당성을 검증하기 위해 수행된 Study 6에서는 실제 사용 환경과 유사한 GPT-4o 기반의 AI 챗봇 팩트체크 과업이 설계되었습니다. 연구진은 사용자가 AI 출력물에 포함된 출처 링크를 어떻게 활용하고 반응하는지 측정하기 위해 총 12개의 문항(참 6개, 거짓 6개)을 준비하고, 각 문항에 네 가지 소스 링크 조건을 무작위로 배정하였습니다. 구체적인 조건은 링크가 아예 없는 ‘없음(None)’, 클릭은 가능하지만 로드되지 않는 ‘깨짐(Broken)’, 유효한 페이지지만 내용이 무관한 ‘무관함(Working-irrelevant)’, 그리고 유효하고 관련 정보가 포함된 ‘관련 있음(Working-relevant)‘으로 구성되었습니다. 이를 통해 사용자가 가용 증거의 유무와 질에 따라 어떻게 판단을 내리는지 정밀하게 분석하였습니다.

실험 결과, AI 사용 시의 비판적 사고 점수는 팩트체크 과업의 정답률(Veracity judgement accuracy)을 유의미하게 예측하는 것으로 나타났습니다. 단순 회귀 분석 결과, 비판적 사고 총점은 정답률에 대해 $b=6.91$ (SE = 1.92, $p<.001$, $R^2=.06$)의 정적 상관관계를 보였습니다. 또한, 비판적 사고 점수가 높은 사용자일수록 사실 확인을 수행하는 빈도가 더 높았으며($b=0.28$, $p=.04$), 소스 링크 확인 외에도 온라인 검색이나 타 AI 도구 활용 등 더 다양하고 폭넓은 검증 전략을 사용하는 경향이 확인되었습니다.

특히 주목할 지표는 증거가 부재하거나 불충분한 상황에서의 판단 능력을 측정하는 ‘증거 갭 해결(Evidence-Gap Resolution)‘입니다. 이 지표는 ‘없음’, ‘깨짐’, ‘무관함’ 조건과 같이 유효한 온페이지 증거가 없을 때, 단순히 ‘불확실함(Unsure)‘으로 답하지 않고 정확하게 ‘참’ 또는 ‘거짓’을 판별해낸 비율을 의미합니다. Table S14에 따르면, 비판적 사고 총점은 증거 갭 해결 능력에 대해 $b=10.32$ (SE = 2.52, $p<.001$, $R^2=.08$)라는 매우 강력한 정적 상관관계를 보였습니다.

세부 요인별 분석에서도 ‘검증(Verification)’ 차원의 점수가 증거 갭 해결과 가장 밀접한 관련이 있음이 드러났습니다. 검증 하위 척도는 증거 갭 해결에 대해 $b=8.43$ (SE = 2.14, $p<.001$, $R^2=.08$)의 수치를 기록하였습니다. 이는 비판적 사고 성향이 높은 사용자가 AI가 제공한 정보가 불충분하거나 링크가 작동하지 않는 상황을 맞닥뜨렸을 때, 이를 그대로 수용하거나 포기하는 대신 챗봇 외부에서 추가적인 증거를 능동적으로 탐색하여 판단의 공백을 메우려는 적응적 검증 행동을 보였음을 시사합니다.

반면, 유효한 증거가 이미 제공된 상황에서의 정확도를 의미하는 ‘증거 추출(Evidence Extraction)’ 지표의 경우, 비판적 사고 총점과의 상관관계는 $b=3.51$ ($p=.121$)로 통계적으로 유의하지 않았습니다. 하지만 검증 하위 척만으로 분석했을 때는 $b=4.69$ (SE = 1.89, $p=.014$, $R^2=.03$)로 유의미한 정적 관계가 나타났습니다. 이는 높은 비판적 사고 능력이 단순히 정보를 읽는 능력이 아니라, 제공된 소스의 신뢰성을 평가하고 이를 실제 판단에 정확히 적용하는 구체적인 ‘검증 행동’과 직결되어 있음을 보여줍니다.

결과적으로 본 실험은 개발된 척도가 단순한 자기 보고식 설문을 넘어, 실제 AI 매개 환경에서 사용자가 정보를 처리하고 오류를 걸러내는 실질적인 수행 능력(Performance)을 예측할 수 있음을 입증하였습니다. 특히 외부 증거가 부족한 극한 상황에서 발휘되는 ‘증거 갭 해결’ 능력은 비판적 사고가 AI 시대의 정보 편향과 자동화 편향을 극복하는 핵심적인 인지적 자원임을 뒷받침하는 강력한 증거가 됩니다.

AI 비판적 사고와 성격 특성 및 정서의 상관관계

AI 비판적 사고 성향은 사용자의 성격 특성 및 정서 상태와 밀접하게 연결되어 있습니다. 연구진은 Study 3와 Study 4를 통해 Big Five 성격 모델을 적용하여 분석한 결과, 개방성(Openness)과 외향성(Extraversion)이 AI 비판적 사고와 유의미한 정적 상관관계를 맺고 있음을 확인했습니다. 특히 개방성은 지적 호기심과 대안적 아이디어를 수용하려는 의지를 반영하며, 이는 새로운 정보를 탐색하고 AI의 출력을 심문하며 증거에 따라 신념을 수정해야 하는 AI 비판적 사고의 핵심 기제와 일치합니다.

주목할 점은 전통적인 비판적 사고 연구에서는 외향성이 유의미한 변수가 아니었던 것과 달리, AI 환경에서는 외향성이 중요한 역할을 한다는 사실입니다. 분석 결과, 외향성은 AI 비판적 사고의 전체 요인 중 특히 ‘검증(Verification)‘과 ‘동기(Motivation)’ 차원에서 정적 상관관계를 보였습니다. 이는 AI 출력의 진위를 확인하기 위해 외부 전문가에게 자문을 구하거나, 모델의 작동 방식에 대해 타인과 소통하며 정보를 습득하는 사회적 상호작용 능력이 AI 특화 비판적 사고를 촉진하는 동력으로 작용하기 때문입니다.

정서적 상태 또한 AI 비판적 사고의 서로 다른 차원에 차별적인 영향을 미칩니다. 긍정적 정서(Positive Affect)는 전반적인 AI 비판적 사고 및 ‘검증’과 ‘동기’ 차원에서 중등도 이상의 정적 상관관계를 나타냈습니다. 이는 긍정적인 정서 상태가 유발하는 각성 수준이 평가 과업에 대한 능동적인 참여를 지속시키고, AI 시스템을 이해하려는 탐구적 동기를 강화함으로써 결과적으로 더 빈번하고 다양한 검증 전략을 사용하게 만들기 때문입니다.

반면 부정적 정서(Negative Affect)는 전체적인 상관관계에서는 유의미하지 않았으나, 하위 차원 분석에서는 ‘성찰(Reflection)’ 차원과 유의미한 정적 관계를 보였습니다. 이는 부정적 정서가 환경 내의 잠재적 위협을 신호로 인식하게 하여, AI 사용이 가져올 윤리적 문제나 사회적 파급효과, 그리고 장기적인 리스크를 더 면밀하고 경계심 있게 검토하게 만드는 체계적 처리(Systematic Processing) 모드를 활성화하기 때문입니다.

결과적으로 AI 비판적 사고는 단일한 인지 능력이 아니라, 외향적이고 개방적인 성격 특성과 긍정적·부정적 정서가 각기 다른 경로로 기여하며 형성되는 복합적인 심리 구조입니다. 에너지가 넘치는 긍정적 정서는 적극적인 ‘검증과 학습’을 이끌고, 신중함을 유도하는 부정적 정서는 깊이 있는 ‘윤리적 성찰’을 가능하게 합니다. 이러한 분석은 사용자의 심리적 프로필에 따라 AI 리터러시 교육 및 개입 전략을 차별화해야 함을 시사합니다.

전통적 비판적 사고와 AI 특화 비판적 사고의 차별점

전통적인 비판적 사고는 주로 명시적인 논거를 분석하고, 검증 가능한 증거를 검토하며, 투명하게 드러난 추론 단계를 평가하는 것에 집중합니다. 즉, 화자가 제시한 전제와 결론 사이의 논리적 연결 고리가 외부로 드러나 있다는 가정하에 그 타당성을 따지는 과정입니다. 그러나 생성형 AI의 출력물은 이러한 전통적 평가 방식으로는 접근할 수 없는 근본적인 에피스테믹(epistemic) 특성을 가지고 있습니다.

가장 큰 차별점은 AI의 추론 과정이 불투명(Opaque)하고 확률적(Probabilistic)이라는 점입니다. 생성형 AI는 내부적으로 어떤 전제를 통해 결론에 도달했는지 투명하게 설명하지 않으며, 단지 다음 단어를 예측하는 확률적 메커니즘에 기반해 답변을 생성합니다. 따라서 사용자는 전통적인 방식처럼 AI의 추론 단계나 전제를 직접 검사하는 것이 불가능하며, 대신 결과물 자체의 개연성을 평가하고 외부 소스를 통해 사실 여부를 확인하는 완전히 다른 접근 방식이 필요합니다.

또한, 생성형 AI는 매우 유창하지만 부정확한(Fluent but inaccurate) 출력물을 생성하는 독특한 특성이 있습니다. AI는 논리적으로 들리는 정교한 문장 구조와 확신에 찬 어조를 사용하여, 실제로는 내용이 누락되었거나 환각(Hallucination)이 포함되어 있음에도 불구하고 마치 정답인 것처럼 보이게 만듭니다. 이러한 유창함은 사용자로 하여금 비판적 검토 없이 내용을 그대로 수용하게 만드는 휴리스틱 단서로 작용하며, 이는 전통적인 정보원과는 다른 차원의 인지적 위험을 초래합니다.

이러한 특성 때문에 AI 사용 시의 비판적 사고는 단순한 논리 분석을 넘어 검증(Verification)의 영역으로 확장되어야 합니다. 전통적 비판적 사고가 논증의 구조를 분석했다면, AI 특화 비판적 사고는 불투명한 시스템이 내놓은 결과물의 출처를 확인하고, 외부 전문가의 의견이나 신뢰할 수 있는 데이터와 교차 참조하여 진위 여부를 가려내는 구체적인 행동적 실천을 포함합니다.

더불어 AI 특화 비판적 사고는 기술적 정확도를 넘어선 사회적·윤리적 성찰(Reflection)을 요구합니다. 생성형 AI는 학습 데이터에 내재된 편향을 재생산하거나 증폭시킬 수 있으며, 경제적 불평등을 심화시키고 환경적 비용을 발생시키는 등 광범위한 외부 효과를 유발합니다. 따라서 AI의 답변이 사실적으로 옳은지를 판단하는 것을 넘어, 해당 출력을 수용했을 때 발생할 수 있는 윤리적 결과와 사회적 영향력을 함께 고려하는 고차원적인 반성적 판단이 필수적입니다.

결론적으로 AI 사용 시의 비판적 사고는 전통적 비판적 사고의 핵심 목표인 ‘합리적이고 근거 있는 판단’이라는 지향점은 공유하지만, 그 방법론에서는 명확한 차이를 보입니다. 이는 투명한 논거를 분석하던 방식에서 벗어나, 불투명한 확률적 출력물의 허점을 찾아내고 이를 외부 세계의 실제 증거와 대조하며, AI 시스템의 한계와 사회적 책임을 동시에 고민하는 도메인 특화적 역량으로 진화해야 함을 의미합니다.

책임 있는 AI 활용을 위한 사용자 비판적 사고 자가 진단 리스트

실무 엔지니어링 파이프라인에서 이와 같은 시스템 붕괴를 사전에 차단하기 위해 다음 핵심 방어 체계를 운영 단계에 강제해야 합니다.

• 출처 교차 검증: AI가 제시한 근거를 외부 신뢰 가능 소스나 전문가 의견과 대조하여 확인하고 있습니까?
• 작동 원리 이해: 사용 중인 AI 모델이 어떤 방식으로 답변을 생성하며, 어떤 유형의 오류(환각 등)를 범하기 쉬운지 이해하고 있습니까?
• 윤리적/사회적 성찰: AI의 답변을 수용했을 때 발생할 수 있는 편향성이나 사회적 영향, 윤리적 문제를 고려합니까?
• 의도적 회의주의: AI의 답변이 나의 기존 신념과 너무 일치할 때, 확증 편향이 작동하는 것은 아닌지 의심해 봅니까?
• 증거 공백 해결: AI가 제공한 링크가 작동하지 않거나 정보가 부족할 때, 포기하지 않고 직접 다른 경로로 정보를 탐색합니까?
• 비판적 동기 유지: AI를 단순한 정답 생성기가 아니라, 검증이 필요한 ‘초안 생성 도구’로 인식하고 사용하고 있습니까?

필자의 생각과 실무 제언

이 논문은 AI 시대의 ‘리터러시’가 단순히 툴을 잘 쓰는 법(How to use)이 아니라, 툴을 어떻게 의심하느냐(How to doubt)의 문제라는 점을 명확히 짚어냈습니다. 특히 ‘증거 갭 해결’이라는 개념이 인상적인데, 이는 실무에서 AI가 답을 못 줄 때 사용자가 어디까지 능동적으로 움직이는가가 곧 그 사람의 업무 역량과 직결됨을 보여줍니다.

엔지니어링 관점에서는 AI의 UI/UX가 지나치게 유창하거나 확신에 찬 톤을 유지하는 것이 오히려 사용자의 비판적 사고를 저해하는 ‘다크 패턴’이 될 수 있다는 점을 시사합니다. 때로는 AI가 자신의 불확실성을 더 명확히 드러내거나, 사용자에게 검증을 유도하는 장치를 설계하는 것이 장기적으로 더 안전한 시스템을 만드는 길일 것입니다.

결국 AI 거버넌스의 핵심은 시스템의 정확도를 높이는 것만큼이나, 그 시스템을 사용하는 인간의 ‘인지적 필터’를 강화하는 교육과 평가 체계를 구축하는 데 있음을 다시 한번 확인하게 됩니다.

결론 및 엔터프라이즈 거버넌스 가이드

사내 AI 프로젝트가 PoC 단계의 초기 데모에 머물지 않고 실제 비즈니스 가치로 안착하기 위해서는 기획 단계부터 다음 거버넌스 원칙을 확립해야 합니다.

1. 비판적 수용 원칙: AI의 모든 출력물은 최종 확정본이 아닌 ‘검증이 필요한 초안’으로 정의하며, 최종 책임은 반드시 인간 검토자가 진다.
2. 검증 프로세스 의무화: 중요 의사결정에 AI를 활용할 경우, 최소 1개 이상의 독립적인 외부 출처를 통한 교차 검증 과정을 기록으로 남긴다.
3. 인지적 다양성 확보: AI가 제시한 단일 최적안 외에, 의도적으로 대안적 관점이나 반론을 생성하여 검토하는 프로세스를 도입한다.
4. 역량 기반 AI 권한 부여: AI 사용자의 비판적 사고 역량을 주기적으로 진단하고, 일정 수준 이상의 리터러시를 갖춘 사용자에게만 고위험 업무의 AI 활용 권한을 부여한다.

참고 문헌 및 원문 분석 자료