AI Paradox 1

핵심 요지

AI가 도울수록 결과물은 완벽해지지만, 그 결과물을 스스로 설명할 수 있는 사람은 줄어듭니다. 일은 끝났는데 사람 안에는 아무것도 남지 않습니다. Performance level ≠ Learning level이 현장에서는 이런 모습으로 나타납니다.

01 · 이유를 묻자, 아무도 답하지 못했다

월간 경영회의를 떠올려 봅시다. 전략기획팀이 ‘동남아 시장 진출 우선순위’를 보고합니다. 여섯 개 국가를 다섯 개 항목으로 평가하고, 가중치를 적용한 점수로 진출 순서를 제시한 깔끔한 보고서입니다.

담당 임원은 결론 대신 결론에 이른 이유를 묻습니다. 시장 규모에 왜 30퍼센트의 가중치를 주었는가, 핵심 거래처와의 관계는 왜 평가 항목에 없는가. 작성한 실무자도, 검토한 팀장도 답하지 못합니다. 그 가중치는 생성형 AI가 평가 틀을 제안하며 함께 내놓은 값이었습니다. 같은 회의 첫 순서는 HRD팀의 ‘AI 활용 교육’ 성과 보고였습니다. 이수율 98퍼센트, 보고서 작성 시간 40퍼센트 단축.

02 · 결과물을 안다는 것의 함정

사람은 자신이 어떤 원리를 실제보다 훨씬 깊이 이해하고 있다고 믿는 경향이 있습니다. 로젠블릿과 케일(Rozenblit & Keil, 2002)은 이를 설명 깊이의 착각(illusion of explanatory depth)이라 불렀습니다. 익숙하게 보고 다룬 것을 “안다”고 느끼지만, 막상 단계별로 설명해 보라고 하면 그 이해가 얼마나 얕은지 드러납니다.

AI는 이 착각을 구조적으로 키웁니다. 보고서를 여러 번 읽고 다듬었으니 이해했다고 느낍니다. 그런데 판단의 근거를 만든 것은 내가 아니었습니다. 학습과학은 지금 과제를 잘 해내는 수행과 지식이 오래 남는 학습이 다르며, 막힘 없이 매끄러운 조건일수록 학습은 얕아지기 쉽다고 말합니다(Soderstrom & Bjork, 2015). 반대로 스스로 설명하게 하는 활동은 이해를 깊게 만드는 효과가 꾸준히 확인됩니다(Bisra et al., 2018).

03 · AI는 이 착각을 어떻게 키우는가

대학생 117명을 대상으로 한 실험에서 ChatGPT의 도움을 받아 글을 쓴 학습자는 결과물 점수가 가장 많이 올랐지만, 지식 획득과 전이에서는 다른 집단과 차이가 없었습니다. 연구진은 AI에 기대어 스스로 계획하고 점검하는 노력을 덜 하게 되는 메타인지적 게으름을 경고했습니다(Fan et al., 2025). 자동화된 시스템이 믿을 만해 보일수록 사람은 확인을 덜 하고 오류를 놓치는 자동화 편향에 빠집니다(Parasuraman & Manzey, 2010).

작성자는 이해했다고 여기고, 검토자는 매끈한 형식에 안심합니다. 그 사이 결과물의 품질은 높아져도 이를 만들고 지킬 사람의 역량이 약해질 수 있습니다. 결과물만으로는 학습 여부를 알기 어려운 이유입니다.

04 · 결과물 뒤에 판단이 남았는지 확인하기

① 보고 양식에 ‘판단 근거 3줄’을 넣는다. AI를 활용한 보고서에는 결론 아래에 “왜 이 결론인가”를 작성자가 직접 세 줄로 씁니다. HRD가 양식을 만들어 주고, 팀장은 이 칸이 비어 있으면 보고를 받지 않는 것을 원칙으로 합니다.

② 검토 회의에 ‘설명 질문 2개’를 고정한다. 팀장은 AI가 들어간 보고를 받을 때마다 같은 두 질문을 합니다.

“이 숫자(가중치·기준)는 누가, 왜 정했나요?” · “이 결론이 틀렸다면 어디서 틀렸을 가능성이 가장 큰가요?”

③ AI 활용 교육의 마지막 20분을 바꾼다. 실습 결과물을 낸 뒤 AI를 끄고 옆 사람에게 3분 동안 판단 과정을 설명하게 합니다. 강사는 ‘근거를 설명함 / 일부만 설명함 / 설명하지 못함’ 세 단계로만 기록합니다.

④ 성과 보고 지표를 하나 추가한다. ‘AI 활용 교육’ 보고에 이수율과 시간 단축 외에 “교육 30일 뒤, 자기 보고서의 판단 근거를 설명할 수 있는 비율”을 넣습니다. 팀장 5명에게 각 2건씩 확인해 달라고 요청하면 한 달이면 충분히 측정할 수 있습니다.

Insight Questions

우리 팀의 평가는 결과물의 완성도와 작성자의 설명 능력을 따로 보고 있는가?
AI가 만든 초안을 검토할 때, 우리는 형식보다 판단의 근거를 묻고 있는가?
AI를 쓰면서 구성원이 더 잘 판단하게 되었는지, 도구를 더 잘 다루게 되었을 뿐인지 확인할 방법이 있는가?

References

Bisra, K., Liu, Q., Nesbit, J. C., Salimi, F., & Winne, P. H. (2018). Inducing self-explanation: A meta-analysis. Educational Psychology Review, 30(3), 703–725. https://doi.org/10.1007/s10648-018-9434-x

Fan, Y., Tang, L., Le, H., Shen, K., Tan, S., Zhao, Y., Shen, Y., Li, X., & Gašević, D. (2025). Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance. British Journal of Educational Technology, 56(2), 489–530. https://doi.org/10.1111/bjet.13544

Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055

Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: An illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199. https://doi.org/10.1177/1745691615569000