← Weekly Insight 전체 보기
· WEEKLY INSIGHT · KST

완벽한 보고서 뒤에 숨은 ‘역량의 신기루’

이곳에 있는 모든 자료는 누구나 읽고, 공감하고, 학습하고, 공유할 수 있습니다. 또한 연구실의 지적 자산이므로 공유할 시에는 출처를 밝혀 주시길 바랍니다.
출처: 한양대학교 교육공학과 송지훈 교수 PRO-AnalytiX (PRO-AX) Lab

AI가 누구에게나 매끄러운 결과물을 만들어 주면서, 결과물만으로는 실제 역량을 판단하기 어려워졌습니다. MIT Sloan Management Review의 ‘How AI Creates a Capability Mirage’를 바탕으로 학습과 평가의 문제를 짚어 봅니다.

  • 역량의 신기루
  • 성과평가
  • 기술 퇴화
  • 조직학습
1개 소식 · 1개 공식 출처 · 약 4분

핵심 요약

결과물이 좋아졌다는 것과 사람이 배웠다는 것은 다른 이야기입니다. AI 시대의 평가는 “무엇을 냈는가”에서 “무엇을 이해하고, 무엇을 설명할 수 있는가”로 옮겨 가야 합니다.

완벽한 보고서 뒤에 숨은 ‘역량의 신기루’

Swift, M., Andreu, T., & Hernandez, D. (2026, September 14). How AI creates a capability mirage. MIT Sloan Management Review.

저자들이 말하는 ‘역량의 신기루’는 AI가 만든 매끄러운 결과물만 보고 직원의 실제 역량까지 높아졌다고 판단하는 상황입니다. 작성자가 오류를 알아채지 못하고, 동료도 그 오류를 놓칠 수 있습니다. 보고서에는 모두 동의했지만 누구도 결론의 근거를 설명하지 못하는 장면이 그 예입니다.

저자들은 성과평가에서 결과물의 품질뿐 아니라 작성자가 내용을 이해하고 무엇을 배웠는지도 살펴보자고 제안합니다. 이 글은 전문가 인터뷰를 토대로 한 경영 분석입니다. AI가 실제로 역량을 떨어뜨린다는 인과관계를 실험으로 입증한 연구는 아닙니다.

01 · ‘역량의 신기루’란 무엇인가

원문은 독자에게 묻습니다. AI 도구가 개인의 역량을 판단하기 어렵게 만드는 지금, 우리 조직의 실력도 모르는 사이 약해지고 있지는 않은가?(Swift et al., 2026)

Anthrome Insight와 Axialent이 진행한 AI의 행동·문화 영향 연구에서 전문가들이 제기한 우려를 저자들은 역량의 신기루(capability mirage)라고 묶었습니다. 겉으로는 유능해 보이지만, AI 산출물 뒤에서 사람의 역량이 조금씩 약해질 수 있다는 뜻입니다.

원문은 이를 건물을 안에서부터 갉아먹는 건조 부패(dry rot), 겉모습만 꾸민 포템킨 마을, 커튼 뒤의 『오즈의 마법사』에 비유합니다.

“모두가 기본 업무에서 꽤 괜찮은 수준의 결과물을 만들 수 있다는 것이 장점입니다. 보기에는 꽤 좋아 보이죠. 하지만 그 밑에 무엇이 있는지, 그 결과물이 얼마나 견고한지, 추가적인 리스크를 안고 있는지는 알 수 없습니다.” — Stephanie Antonian, Aestora CEO (원문 인용, 편집자 번역)

02 · 왜 신기루가 생기는가

결과물만으로는 역량을 구별할 수 없습니다. AI는 누구에게나 꽤 다듬어진 결과물을 만들어 줍니다. 리더는 그 결과물 중 얼마가 구성원의 전문성에서 나왔고 얼마가 도구에서 나왔는지 구분하기 어렵습니다. Performance level ≠ Learning level과 같은 맥락으로 읽을 수 있습니다.

오류가 작성자와 검토자를 모두 지나칠 수 있습니다. AI가 매끄럽게 다듬은 문서는 그럴듯해 보입니다. 작성자가 오류를 못 찾으면 검토자도 놓칠 수 있습니다.

겉의 품질과 속의 역량이 따로 움직입니다. AI에 기대어 일하는 동안 결과물의 품질은 유지되거나 좋아지지만, 그 결과물을 스스로 만들고 검증할 수 있는 개인의 역량은 약해질 수 있습니다. 그런데 이 변화는 결과물에 드러나지 않습니다. 성과가 오르면 학습도 함께 자란다는 익숙한 공식이 여기서 깨지고, 우리는 신기루에 빠집니다.

03 · 저자들의 제안: 결과물과 함께 ‘학습’을 평가하라

저자들은 성과평가에서 산출물의 품질과 함께, 작성자가 그 내용을 이해하고 있는지, 그 과정에서 무엇을 배웠는지를 확인해야 한다고 제안합니다(Swift et al., 2026). AI로 결과물의 차이가 줄어들수록 결과물만으로는 인재를 구별하고 실제 역량에 보상하기 어려워지기 때문입니다.

지금 알아둘 점 · 근거의 성격: 이 글은 전문가 인터뷰에 기반한 경영 분석입니다. AI 사용이 역량 저하를 일으킨다는 인과관계를 실험으로 입증한 연구는 아닙니다. 현상을 진단하는 문제 제기로 읽는 것이 적절합니다.

04 · 생각해 볼 여지

직원이 AI로 작성한 보고서를 올렸고, 팀장도 검토 후 동의했습니다. 그런데 회의에서 “왜 이 결론인가”를 묻자, 두 사람 모두 판단의 근거를 설명하지 못했습니다.

보고서는 통과했지만 작성자와 검토자 모두 근거를 설명하지 못합니다. 결과물의 완성도가 이해의 깊이를 가려 버린 셈입니다.

DrSong Opinion · 학습의 관점에서 학습은 무엇을 접했는가보다 경험 이후 무엇이 달라졌는가로 판단해야 합니다(Alexander et al., 2009; Illeris, 2018). AI가 만든 보고서를 읽고 제출한 경험이 있다고 해서, 문제를 보는 방식이나 판단할 수 있는 능력이 바뀌었다고 할 수는 없습니다. 새로운 경험이 기존 지식과 연결되고 의미화되는 내적 처리 과정이 생략되면, 산출물은 남지만 학습은 남지 않습니다.

DrSong Opinion · 조직학습의 관점에서 조직학습에서도 “함께 동의했다”는 사실만으로는 부족합니다. Crossan 등(1999)의 4I 모형에서 개인의 통찰은 Interpreting(말로 설명하기)과 Integrating(근거를 검토하며 공유된 이해 만들기)을 거쳐야 조직의 것이 됩니다. 근거를 설명하지 못한 채 이뤄진 합의는 공유된 이해가 아니라 공유된 신기루에 가깝습니다. 그 보고서가 그대로 표준 양식이나 의사결정 기준으로 제도화된다면, 조직은 검증되지 않은 판단을 기억하게 됩니다.


Insight Questions

  1. 우리 팀의 평가는 결과물의 완성도와 작성자의 설명 능력을 따로 보고 있는가?
  2. AI가 만든 초안을 검토할 때, 검토자는 형식이 아니라 판단의 근거를 묻고 있는가?
  3. AI를 쓰면서 구성원이 이전보다 더 잘 판단하게 되었는지, 아니면 도구를 더 잘 다루게 되었을 뿐인지 확인할 방법이 있는가?

References

Alexander, P. A., Schallert, D. L., & Reynolds, R. E. (2009). What is learning anyway? A topographical perspective considered. Educational Psychologist, 44(3), 176–192. https://doi.org/10.1080/00461520903029006

Crossan, M. M., Lane, H. W., & White, R. E. (1999). An organizational learning framework: From intuition to institution. Academy of Management Review, 24(3), 522–537. https://doi.org/10.2307/259140

Illeris, K. (2018). A comprehensive understanding of human learning. In K. Illeris (Ed.), Contemporary theories of learning: Learning theorists … in their own words (2nd ed., pp. 1–14). Routledge. https://doi.org/10.4324/9781315147277-1

Swift, M., Andreu, T., & Hernandez, D. (2026, September 14). How AI creates a capability mirage. MIT Sloan Management Review.