AI Paradox 8

핵심 요지

AI로 만든 교육 콘텐츠는 쉽고, 친절하고, 매끄럽습니다. 그래서 만족도가 오릅니다. 그런데 막힘 없는 경험은 그 자리의 수행을 높여 줄 뿐, 오래 남는 학습까지 보장하지는 않습니다. 만족도가 높을수록 덜 배웠을 수도 있습니다. HRD가 피해 갈 수 없는 역설입니다.

01 · 두 과정의 성적표

교육 평가의 맹점을 보여 주는 두 과정을 가정해 보겠습니다. A 과정은 AI 영상과 요약 자료, 즉시 답하는 챗봇까지 갖췄고 만족도 4.9점을 받았습니다. “쉽고 유익했다”, “바로 써먹을 수 있겠다”는 평이 많았지만, 석 달 뒤 업무 방식은 거의 그대로였습니다.

반면 B 과정의 만족도는 3.8점이었습니다. 참가자들은 사례를 두고 오래 토론해야 했고 “질문이 불편했다”고 했습니다. 그런데 석 달 뒤 이 과정을 들은 팀들에서는 보고서에 판단 근거를 붙이고 회의에서 반대 의견을 공식적으로 묻는 절차가 생겼습니다. 그해 HRD 보고서에 우수 과정으로 실린 쪽은 어디였을까요? 과정 A였습니다.

02 · 만족도와 성과를 가르는 기준

브링커호프(Brinkerhoff, 2003)의 성공사례기법(Success Case Method)은 평균 점수 대신, 교육 뒤 가장 크게 변한 사람과 거의 변하지 않은 사람을 찾아 무엇이 변화를 만들고 무엇이 막았는지를 묻습니다. 교육의 가치를 만족도 평균에서 찾지 않고, 현장에서 실제로 일어난 변화의 사례에서 찾겠다는 것입니다.

커크패트릭의 4수준 평가는 반응, 학습, 행동, 결과를 구분합니다(Kirkpatrick & Kirkpatrick, 2016). 네 수준은 각각 다른 질문에 답합니다. 한 계단을 오르면 다음 계단이 따라오는 구조가 아닙니다. 교육 직후의 만족(반응)은 사람이 배웠는지(학습), 일하는 방식이 바뀌었는지(행동)를 대신 말해 주지 않습니다(Salas et al., 2012).

03 · AI는 ‘매끄러운 만족’을 더 쉽게 만든다

학습과학은 당장의 수행과 오래 남는 학습을 구분합니다. 쉽고 매끄러운 경험은 그 자리의 수행을 돕지만, 생각을 요구하는 적절한 어려움은 배운 내용을 오래 남기는 데 도움이 됩니다(Soderstrom & Bjork, 2015). AI는 교육을 한결 수월하게 만들 수 있습니다. 만족도가 올라도 학습이 깊어졌는지는 따로 확인해야 합니다.

교육에서 배운 것이 현장에서 쓰이는지는 상사의 지원과 적용 기회 같은 현장 조건에 크게 달려 있고(Blume et al., 2010), 교육의 효과는 개인의 몰입뿐 아니라 팀과 조직 수준의 조건이 함께 맞물릴 때 나타납니다(Sitzmann & Weinhardt, 2018). 만족도 하나로 성과를 보고하는 한, 조직은 가장 편안한 교육을 가장 좋은 교육으로 배우게 됩니다.

04 · 교육 뒤 실제로 달라졌는지 확인하려면

① 교육 전: ‘달라져야 할 행동’을 먼저 정한다. 과정마다 교육 후 현장에서 보여야 할 행동 1~2개를 정하고 참가자의 상사와 미리 합의합니다.

예) “보고서마다 판단 근거를 세 줄 이상 붙인다”, “회의에서 반대 의견을 한 번 이상 공식적으로 묻는다”

② 교육 직후: 만족도 문항을 바꾼다. 5점 척도 만족도 대신 다음 세 가지를 묻습니다.

오늘 배운 것 중 다음 2주 안에 적용할 한 가지는 무엇이며, 어떤 업무에서 쓰겠습니까?

가장 불편하거나 생각하게 만든 질문은 무엇이었습니까?

적용을 가로막을 것 같은 조건은 무엇입니까?

③ 교육 직후: 학습을 직접 확인한다. 마지막 20분에 AI 도움 없이 핵심 판단을 설명하는 과제를 두고, ‘설명 못 함 / 일부 설명 / 근거까지 설명’ 세 단계로 확인합니다.

④ 30일과 90일 뒤: 상사와 함께 다시 본다. 상사가 ①에서 정한 행동을 했는지 짧은 체크리스트로 두 번 확인하고, 참가자는 그 행동이 담긴 업무 산출물 하나를 냅니다. HRD는 행동을 보인 사람의 비율(적용률)을 집계합니다.

⑤ 90일 뒤: 성공 사례 3명, 무변화 사례 3명을 인터뷰한다. 각 20분씩 “무엇이 도왔고, 무엇이 막았는가”를 묻습니다. 경영진 보고는 만족도 표 대신 목표 행동 · 적용률 · 대표 성공 사례 · 막은 조건과 다음 조치 네 칸으로 바꿉니다.

Insight Questions

우리 HRD가 경영진에게 보고하는 지표 중 행동 변화를 보여 주는 것은 무엇인가?
만족도는 낮았지만 현장에 변화를 만든 과정이 있었는가? 우리는 그것을 어떻게 평가했는가?
AI로 교육을 더 쉽게 만들면서, 생각하게 만드는 어려움까지 없애고 있지는 않은가?

References

Blume, B. D., Ford, J. K., Baldwin, T. T., & Huang, J. L. (2010). Transfer of training: A meta-analytic review. Journal of Management, 36(4), 1065–1105. https://doi.org/10.1177/0149206309352880

Brinkerhoff, R. O. (2003). The success case method: Find out quickly what's working and what's not. Berrett-Koehler.

Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick's four levels of training evaluation. ATD Press.

Salas, E., Tannenbaum, S. I., Kraiger, K., & Smith-Jentsch, K. A. (2012). The science of training and development in organizations: What matters in practice. Psychological Science in the Public Interest, 13(2), 74–101. https://doi.org/10.1177/1529100612436661

Sitzmann, T., & Weinhardt, J. M. (2018). Training engagement theory: A multilevel perspective on the effectiveness of work-related training. Journal of Management, 44(2), 732–756. https://doi.org/10.1177/0149206315574596

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199. https://doi.org/10.1177/1745691615569000