훈련 효과를 측정하는 17가지 검증된 방법

AI를 활용하여 교육 프로그램의 규모를 확장하고 개발 시간을 단축하세요.

무료로 시작하세요

대부분의 교육 프로그램은 잘못된 기준으로 평가됩니다.

완료율, 만족도 점수, 출석률 등은 보고서에서 좋은 결과로 이어질 수 있습니다.

하지만 그들은 교육이 실제로 업무에 어떤 변화를 가져왔는지에 대해서는 알려주지 않습니다.

그래서 저는 훈련 효과를 측정하는 검증된 17가지 방법을 정리해 보았습니다.

이러한 방법들은 실용적이며 불필요한 복잡성을 추가하지 않고 무엇이 효과가 있는지(그리고 무엇이 효과가 없는지)를 보여주도록 설계되었습니다.

1. 업무 현장에서 훈련된 행동을 관찰하십시오.

이는 제가 교육 효과가 실제 업무에서 나타나는지 평가하는 첫 번째 방법입니다.

나는 ~로 시작하지 않는다 설문조사 또는 시험 점수. 제가 하는 일은 단 하나의 간단한 질문뿐입니다. 이 교육을 받은 후 사람들은 직장에서 무엇을 다르게 해야 할까요?

그런 다음 학습이 실행되기 전에 해당 동작들을 고정시켜 버립니다.

예시: 데이터 개인정보 보호 또는 규정 준수 교육

훈련 목표: 영업 담당자와의 초기 상담 대화를 개선하세요.

제가 추적하는 관찰 가능한 행동:

• 직원들은 승인된 데이터 공유 체크리스트를 사용합니다.
• 중요 파일은 승인된 시스템에만 저장됩니다.
• 고객 데이터 요청은 기록되고 승인됩니다.

그런 다음 이를 확인하기 위해 감사 파일 위치를 확인하고, 액세스 로그를 검토하고, 완료된 체크리스트를 무작위로 점검했습니다.

2. 훈련 전후에 동일한 테스트를 실행하세요

학습이 실제로 이루어졌는지 확인하고 싶을 때, 학습 전후에 동일한 테스트를 실행합니다.

긴 시험이나 학업 시험이 아닙니다.

사람들이 업무를 더 잘 수행하기 위해 알아야 할 사항을 직접적으로 반영하는 간단한 질문들입니다.

원천: 리서치게이트

예시: 신입사원 온보딩

훈련 목표신입 직원이 핵심 업무 프로세스를 이해하도록 하십시오.

시험 형식:

• 5개의 짧은 시나리오 질문
• 문제당 하나의 정답

예시 질문: 고객이 승인이 필요한 업데이트를 요청했습니다. 어떻게 하시겠습니까?

이를 통해 누가 실력이 향상되었는지, 어떤 질문이 여전히 혼란을 야기하는지, 그리고 어떤 내용에 대한 보충이 필요한지 측정합니다.

점수가 향상되지 않으면 학습자를 바꾸는 것이 아니라 교육 방식을 수정합니다.

이 질문들에 대한 제 규칙은 간단합니다.

• 시험 문제는 짧게 (최대 5~7문제) 치세요.
• 불필요한 질문을 피하기 위해 동일한 질문을 재사용하세요.
• 개선율을 추적하세요.
• 질문 수준 데이터를 검토하세요.

하지만 이러한 측정 방식을 수동으로 진행하면 오류가 발생하는 경우가 많습니다. 따라서 추가 설정 없이 재사용할 수 있도록 교육 과정에 측정값을 포함시키는 것이 가장 좋습니다.

예를 들어, Coursebox와 같은 플랫폼을 사용하면 동일한 단기 강좌를 더 쉽게 운영할 수 있습니다. AI 평가 훈련 전후.

3. 실제 시나리오를 사용하여 의사결정을 테스트합니다.

저는 암기와 진정한 학습을 구분하는 기준이 바로 여기라고 생각합니다.

업무 성과는 기억력이 아니라 판단력에 달려 있습니다. 따라서 사람들에게 무엇을 기억하는지 묻기보다는 실제 상황에서 어떻게 판단하는지 테스트하는 것이 좋습니다.

예시: 고객 지원 교육

훈련 목표문제 처리 및 에스컬레이션 결정 개선

제가 사용하는 시나리오:

고객이 개인 정보가 포함된 청구 문제에 대해 불만을 제기하고 있습니다. 이럴 때 가장 먼저 무엇을 해야 할까요?

옵션

• A. 즉시 상위 부서로 보고하십시오.
• B. 로그 기록 없이 사과하고 문제를 해결합니다.
• C. 신원 확인 및 문제 해결 절차 체크리스트를 따르십시오.
• D. 고객에게 나중에 다시 전화해달라고 요청하십시오.

올바른 결정: 기음

이를 통해 다음과 같은 사항을 추적하여 교육 효과를 측정할 수 있습니다.

• 훈련 전 최적의 옵션을 선택한 비율
• 훈련 후 해당 옵션을 선택한 비율
• 의사결정의 질 향상

4. 학습자가 역량을 습득하는 속도를 측정하십시오.

내가 어떻게 이해하는지 알고 싶을 때 효과적인 훈련 정말 중요한 건, 사람들이 독립적으로 업무를 수행할 수 있게 되기까지 걸리는 시간을 측정하는 것입니다.

실무 직무에서 훈련 효과를 측정하는 가장 명확한 지표 중 하나는 숙련도 달성까지 걸리는 시간입니다.

첫날부터 속도를 내려고 하는 건 아니에요. 제 주된 목표는 독립하는 데 걸리는 시간을 측정하는 거죠.

도움 없이도 일을 해낼 수 있는 시점을 말합니다.

원천: 이러닝 산업

예시: 신입사원 온보딩

훈련 목표신입 사원을 즉시 업무에 투입할 수 있도록 지원하세요.

"유능하다"는 것은 무엇을 의미하는가 (미리 정의해라)

• 핵심 워크플로우를 오류 없이 완료합니다.
• 단계별 안내가 필요하지 않습니다.
• 기본 품질 기준을 충족합니다.

이러한 상황에서 제가 측정하는 것은 다음과 같습니다.

• 훈련 업데이트 전 역량 습득까지 걸리는 평균 시간: 45일
• 훈련 업데이트 후 평균 소요 시간: 28일

그 감소폭은 훈련이 실질적인 준비 태세를 향상시켰다는 것을 의미합니다.

이를 추적하기 위해 먼저 다음과 같이 정의합니다. 능력 관찰 가능한 기준을 사용합니다. 그런 다음 훈련 완료부터 독립까지 걸린 일수를 추적하고 코호트를 비교합니다.

5. 주요 오류 감소 추적

훈련이 효과적이라면 심각한 실수, 특히 위험을 수반하는 실수가 줄어들 것으로 예상합니다.

저는 모든 오류를 추적하지 않습니다. 실제로 중요한 소수의 오류만 추적합니다.

제가 관리자들에게 기록해 달라고 요청하는 몇 가지 사항은 다음과 같습니다.

• 고객에게 잘못된 정보가 공유되었습니다.
• 문제 해결 절차를 준수하지 않음
• 필수 서류 미비

저는 보통 사전에 3~5가지의 핵심 오류를 측정하고, 교육 전후의 빈도를 비교하며, 추세를 검토합니다.

원천: 리서치게이트

6. 각 강좌를 하나의 비즈니스 KPI와 연계하세요

제가 승인하는 모든 강좌는 하나의 비즈니스 지표와 연관되어 있습니다.

만약 제가 교육과정을 사업적 성과와 연결할 수 없다면, 경영진이 그 교육과정을 진지하게 받아들일 거라고 기대하지 않습니다.

예를 들어, 영업 역량 강화 교육 프로그램의 경우 제가 가장 많이 사용할 비즈니스 KPI는 "계약 성사율"일 것입니다.

이러한 경우, 훈련 전 승률이 18%였다가 훈련 후 26%로 상승할 수 있습니다. 만약 그렇다면, 이는 훈련이 효과적이었다는 것을 보여줍니다.

이를 통해 학습과 결과 사이에 직접적인 연결고리를 만들 수 있습니다.

교육 효과를 파악하기 위해서는 교육 전과 교육 후 며칠 동안 KPI를 측정하는 것이 가장 좋습니다.

원천: 대시보드 빌더

7. 훈련된 그룹과 훈련되지 않은 그룹을 비교하십시오.

훈련 효과에 대한 더 확실한 증거가 필요할 때, 저는 훈련을 완료한 사람들과 완료하지 못한 사람들을 비교합니다.

이렇게 하면 추측이 필요 없어집니다.

예시: 프로세스 개선 교육

훈련 목표워크플로우 정확도 향상

이를 위해 직원들을 두 그룹으로 나눌 수 있습니다.

• A 그룹: 교육 수료
• B조아직 교육을 완료하지 않았습니다.

그 후, 우리 팀은 오류율을 비교할 것입니다. 과정 수료율그리고 두 그룹 모두의 품질 점수입니다.

그룹 A가 그룹 B보다 지속적으로 뛰어난 성과를 보이는 것을 보면 그 영향력이 분명해집니다.

이를 실현하려면 다음 팁을 따르세요.

• 역할과 경험이 비슷한 그룹으로 구성하세요.
• 동일한 결과를 측정하십시오
• 공정성을 위해 두 번째 그룹은 나중에 훈련시키세요.

원천: MDPI

8. 비공식 동료 학습 모니터링

훈련 효과를 보여주는 가장 강력한 지표 중 하나는 학습자들이 요청받지 않아도 다른 사람들을 돕기 시작할 때입니다.

비공식적인 동료 교육은 사람들이 실제 업무 상황에서 프로세스를 설명하고, 질문에 답하고, 팁을 공유할 만큼 충분히 자신감을 느낄 때 발생합니다.

사실, 학습 피라미드에 따르면 학습자는 학습 내용을 기억합니다. 90% 더 많은 정보 다른 사람들을 가르침으로써.

제 경험상, ~할 때 동료 학습 증가세는 종종 더 강력한 채택 및 후속 문제 감소와 상관관계가 있습니다.

실제로 이를 모니터링하는 방법은 다음과 같습니다.

• 팀 구성원이 훈련된 기술을 활용하여 다른 사람을 도울 때 관리자들이 이를 기록하도록 요청하십시오.
• 정기적으로 콘텐츠를 제공하는 참여자들을 위한 협업 채널을 검토하세요.
• 관리자 점검 시 간단한 질문 하나를 포함하세요: “이 교육 내용을 다른 사람들이 적용할 수 있도록 누가 도와주고 있나요?”

9. 30~60일 후 지식 재평가 실시

시험 점수가 당장 나타나는 결과와는 다를 수 있다는 사실에 놀라실 겁니다.

정말 중요한 것은 교육 내용이 더 이상 생생하지 않은 몇 주 후에도 사람들이 무엇을 기억하고 있느냐는 것입니다.

또한, 강화 학습이 없으면 지식은 빠르게 사라진다는 연구 결과도 있습니다. 망각 곡선학습자는 며칠 만에 새로 습득한 정보의 최대 50%를 잊어버릴 수 있습니다.

원천: 이러닝 산업

그렇기 때문에 지연 평가는 실제 학습 정도를 가늠하는 매우 신뢰할 만한 지표입니다.

이것이 실제로 어떻게 나타나는지 보여드리겠습니다.

1. 교육 후 30~60일 후에 간단한 지식 점검이 다시 실시됩니다.
2. 동일하거나 매우 유사한 질문이 사용됩니다.
3. 결과는 훈련 후 원래 점수와 비교됩니다.

저는 학습자들에게 이 방법을 사용해 본 결과, 간단한 후속 평가를 통해 즉각적인 테스트만으로는 드러나지 않았던 부족한 부분을 발견할 수 있었습니다.

10. 교육 후 규정 위반 사항 모니터링

을 위한 규정 준수 교육 프로그램의 효과성은 궁극적으로 사건 데이터에 반영됩니다.

규제 기관은 일반적으로 조직이 교육을 통해 측정 가능한 위험 감소 효과를 입증할 것을 요구합니다.

규제 환경에서 교육 후에도 반복적으로 위반 행위가 발생하는 것은 학습 내용이 불명확하거나, 비실용적이거나, 실제 업무 흐름에 적용되지 않았음을 나타내는 경우가 많습니다.

제가 교육 후 관리자들에게 모니터링을 요청하는 사항은 다음과 같습니다.

• 교육 주제와 관련된 정책 위반
• 감사 결과 또는 통제 실패
• 보고된 사고들은 잘못된 절차와 관련이 있습니다.

원천: 슬라이드 팀

별도의 도구 없이 이 방법을 적용하고 싶다면 다음과 같이 하세요.

• 기존 감사, 법률 또는 보안 보고서를 활용하세요.
• 추세를 주간 단위가 아닌 분기 단위로 검토하세요.
• 이해관계자들에게 요약 결과를 공유하여 영향력을 보여주세요.

효과적인 규정 준수 교육은 배경에서 조용히 위험을 줄여줍니다. 위반 사항 모니터링은 이러한 효과를 가시화하고 방어할 수 있도록 해줍니다.

11. 교육 후 학습자가 도움을 요청하는 빈도를 추적합니다.

교육 내용이 아직 완전히 효과를 발휘하지 못했다는 가장 초기 징후 중 하나는 지속적인 질의응답 요청입니다.

이는 특히 명시적으로 다뤄진 작업의 경우에 더욱 그러합니다.

평균적으로 근로자는 다음과 같은 시간을 소비합니다. 그들의 시간의 19% 매주 정보를 검색하거나 동료에게 도움을 요청하는 데 시간을 보냅니다.

원천: 아치비

이는 직원 교육을 통해 줄여야 할 수치라는 의미입니다. 만약 이 수치가 반대 방향으로 움직이지 않는다면, 교육 효과가 낮다는 뜻입니다.

모든 문제를 일일이 세는 대신, 저는 패턴을 찾는 것을 좋아합니다. 예를 들면 다음과 같습니다.

• 동일한 작업에 대한 반복적인 요청.
• 기본적인 절차를 관리자에게 의존하는 것.
• "확인차"라는 메시지를 자주 보냅니다.

이러한 신호의 뚜렷한 감소는 일반적으로 훈련을 통해 마찰이 해소되었음을 나타냅니다.

이 지표는 성과 데이터나 KPI가 변화하기 훨씬 전에 혼란을 드러내기 때문에 특히 초기 단계에서 효과적입니다.

12. 신뢰도 평가와 실제 성과를 비교하십시오.

자신감은 설득력이 있지만, 그 자체로는 믿을 만한 것이 아닙니다.

수십 년에 걸친 자기 평가 연구는 사람들이 자신의 능력을 잘못 판단하는 경우가 많다는 것을 보여줍니다.

이는 성과가 낮은 사람들은 자신의 능력을 과대평가하는 경향이 있고, 성과가 높은 사람들은 자신의 능력을 과소평가하는 경향이 있음을 의미합니다.

이 경우 실제 성과와 함께 자신감을 측정하는 것이 필수적입니다.

실행 방법:

1. 학습자들에게 간단한 척도를 사용하여 교육 전후의 자신감을 평가하도록 요청하십시오.

2. 다음 방법을 사용하여 성능을 별도로 측정하십시오.

• 행동 관찰
• 평가
• 작업 결과물 또는 품질 검사

3. 자신감 점수와 실제 결과를 비교합니다.

자신감이 높아지고 성과가 향상되는 것을 확인하게 되면, 훈련이 매우 효과적이었다는 것을 의미합니다.

13. 교육받은 도구 또는 프로세스의 실제 사용량을 추적합니다.

교육이 효과적이라면, 사람들이 이미 사용하고 있는 도구 안에서의 행동 변화에 그 효과가 나타납니다.

직원들이 조용히 예전 업무 방식으로 돌아간다면 수료증은 아무 의미가 없습니다.

여기서 교육 효과를 측정하는 가장 직접적인 방법은 교육 과정이 실제로 제대로 이행되고 있는지 살펴보는 것입니다.

교육의 목적이 된 한두 가지 핵심적인 변화에 집중하세요.

이를 측정하려면:

1. 교육에서 소개된 정확한 행동을 파악하십시오.
2. 훈련 전에 해당 동작이 얼마나 자주 발생했는지 확인하세요.
3. 교육 후 30~60일 후에 동일한 조치를 다시 검토하십시오.
4. 첫 주 사용량뿐 아니라 지속적인 사용량을 비교하세요.

이 방법은 주관적인 판단을 완전히 배제하고 실제 행동만을 살펴봅니다.

14. 학습자가 오류를 얼마나 빨리 발견하고 수정하는지 추적하십시오.

대부분의 팀은 발생하는 실수의 횟수를 추적합니다.

하지만 저는 그러한 실수가 얼마나 빨리 발견되는지에 관심이 있습니다.

제 경험상, 교육은 사람들이 문제점을 파악하기 위해 검토나 감사를 기다리는 것을 멈출 때 비로소 효과를 발휘하기 시작합니다.

이를 뒷받침하는 확실한 연구 결과도 있습니다. 연구에 따르면 프로세스 초기에 발견된 오류는 다음과 같은 효과를 가져옵니다. 비용이 5~10배 저렴합니다. 나중에 발견되는 오류보다 수정하는 것이 더 쉽습니다.

원천: 딥소스

그렇다면 기업이 문제를 더 일찍 발견하려고 노력하지 않을 이유가 있을까요?

이것을 측정하는 방법

트랙 오류 발생 시간:

1. 훈련과 관련된 영향력이 큰 오류 2~3가지를 파악하십시오.
2. 각 오류에 대해 발생 시점, 발견 시점 및 발견자를 기록하십시오.
3. 훈련 전후의 평균 탐지 시간을 비교합니다.

오류가 작업 시점에 더 가깝게 발견되고 공식적인 검토 단계에까지 이르는 문제가 줄어들기 시작하면, 그것이 바로 개선의 모습입니다.

오류 횟수는 변함없이 유지되지만 탐지 시간이 급격히 감소하는 경우처럼, 학습이 조용히 실패하는 사례도 본 적이 있습니다.

15. 효과가 높은 프로그램에 대해서만 투자수익률(ROI)을 계산하십시오.

저는 대부분의 교육에 대한 투자 수익률(ROI)을 계산하지 않는데, 이는 의도적인 것입니다.

ROI를 모든 곳에 적용하면 의미가 없어지기 때문입니다.

교육이 수익에 영향을 미치거나, 비용을 절감하거나, 규정 준수 위험에 영향을 줄 것으로 예상되는 경우에만 사용해야 합니다.

교육 효과 측정 기준으로 ROI를 사용하려면 다음과 같이 하면 됩니다.

• 교육이 목표로 하는 비즈니스 성과 한 가지를 제시하십시오.
• 기존 비즈니스 데이터를 활용하여 교육 후 변화를 측정합니다.
• 그 변화를 금융 상품으로 환산해 보세요.
• 총 교육 비용을 빼세요

16. 관찰 가능한 행동에 대한 구조화된 동료 피드백을 수집하십시오.

훈련이 성공적으로 적용되었음을 보여주는 가장 확실한 신호 중 일부는 동료들로부터 나옵니다.

저는 이런 경우를 여러 번 봤습니다. 팀원들은 공식적인 평가에 반영되기 훨씬 전에 행동 변화를 알아차립니다.

하지만 동료 평가의 가장 큰 문제는 편견과 추측을 배제하고 객관적인 방식으로 수집하는 것입니다.

피드백이 성격이나 노력보다는 관찰 가능한 행동에 초점을 맞출 때만 효과가 있습니다.

동료가 명확하게 관찰할 수 없다면 측정하지 마십시오.

간단한 동료 평가 양식을 사용하면 됩니다.

원천: Edit.org

이 설문조사는 동료들에게 1~5점 척도로 된 객관식 질문을 합니다.

매달 반복해도 되지만, 저는 45일마다 하는 것을 선호합니다. 사람마다 선호도와 근무 환경이 다르니까요.

결론적으로, 개별적인 의견뿐만 아니라 답변들 간의 일관성을 찾아야 합니다.

17. 고객 만족도 추세 비교

교육을 통해 고객 지표가 단기간에 크게 개선되는 경우는 드뭅니다. 그렇기 때문에 저는 일시적인 급증보다는 추세를 살펴봅니다.

이것이 중요한 이유가 있습니다.

베인앤컴퍼니의 연구에 따르면 고객 유지율을 5% 높이면 수익이 25%에서 95%까지 증가할 수 있습니다.

고객 데이터를 올바르게 사용하는 방법

이는 교육이 고객과의 상호작용에 직접적인 영향을 미치는 경우에만 적용됩니다.

1. 훈련 전에 기준선을 설정하세요
2. 여러 기간에 걸쳐 고객 만족도(CSAT), 순추천지수(NPS) 또는 불만 접수 건수를 추적합니다.
3. 훈련된 팀과 훈련되지 않은 팀 또는 나중에 훈련된 팀을 비교하십시오.
4. 훈련된 행동에 대한 참조는 댓글을 참조하세요.

저의 경우, 고객 점수를 그 자체로 증거로 삼지 않습니다. 내부 행동 지표에서 이미 개선이 나타나고 있을 때 이를 확인하는 수단으로 활용할 뿐입니다.

원천: 사용자 스냅

요약하자면

훈련 효과를 측정하는 데 복잡한 모델이나 완벽한 데이터가 필요한 것은 아닙니다.

이는 적절한 신호를 선택하고 교육 후 업무 방식이 실제로 어떻게 변화하는지에 주의를 기울이는 것을 필요로 합니다.

다만 모든 방법을 동시에 사용할 필요는 없다는 점을 기억하세요. 프로그램마다 필요한 조치가 다릅니다.

직원 교육 프로그램의 효과를 측정하려면 행동 기반 측정 지표 하나를 선택하고 결과 지표 하나와 연결하기만 하면 됩니다.

자주 묻는 질문

1. 교육 종료 후 얼마나 빨리 교육 효과를 측정해야 할까요?

교육 효과는 특정 시점에 측정할 수 없습니다. 교육 직후 이해도를 확인할 수는 있지만, 이는 단기적인 기억력만 보여줄 뿐입니다. 진정한 효과는 학습자가 도움 없이 교육 내용을 적용해야 하는 몇 주 후에 나타납니다.

2. 학습 전후에 동일한 테스트를 재사용해도 괜찮을까요?

네, 같은 시험을 재사용하는 것은 허용될 뿐만 아니라 종종 필요합니다. 동일한 문제를 사용하면 혼란을 줄이고 학습 진도를 더 쉽게 파악할 수 있습니다. 시험의 목적은 암기력을 테스트하는 것이 아니라 이해도를 측정하는 것입니다. 점수가 향상되면 학습이 이루어진 것입니다.

3. 일상 업무에 지장을 주지 않고 교육 효과를 측정하는 방법은 무엇인가요?

교육 효과를 측정하는 가장 좋은 방법은 이미 존재하는 데이터를 활용하는 것입니다. 설문 조사나 추가 과제를 도입하는 대신, 기존의 감사, 품질 검사, 도구 사용 기록 또는 관리자 관찰 내용을 검토하십시오. 이러한 접근 방식은 마찰을 줄이고 측정의 현실성을 높여줍니다.

4. 모든 교육 프로그램에 대해 투자수익률(ROI)을 계산해야 하나요?

아니요, ROI는 선택적으로 사용해야 합니다. 모든 교육 프로그램에 대해 ROI를 계산하면 오해의 소지가 있는 수치가 나올 수 있습니다. ROI는 매출 증대, 비용 절감 또는 규정 준수 위험 감소와 연관된 고효율 교육에 가장 효과적입니다. 대부분의 프로그램에서는 성과 개선이 교육 효과를 입증하는 더 실질적인 지표입니다.