AI 평가 도구 10개를 직접 테스트했습니다: 실제 채점 실력은?

빠르고 정확한 AI 채점 기능으로 몇 초 만에 평가 결과를 채점하세요

무료로 시작하세요

이 카테고리의 모든 도구는 AI로 채점한다고 말합니다.
좋은 도구와 뛰어난 도구를 가르는 것은 결국

1) 무엇을 채점할 수 있는가 2) 채점 중 자동과 사람 검토의 비율이 어느 정도인가 3) 결과가 어디로 가는가, 이 세 가지입니다.

믿고 맡길 수 없는 AI 채점은 차라리 도구가 없는 것보다 못합니다.

이 글은 교실용 간단 퀴즈가 아니라 기업 교육이나 직무 훈련 프로그램을 위해 도구를 검토하는 인재개발 담당자, 교수설계 전문가, 교육 리드를 위한 것입니다. Quizizz, Kahoot, Mentimeter는 다루지 않았습니다. 이들은 평가 시스템이 아니라 참여 유도 도구이기 때문입니다.

AI 평가 도구의 네 가지 유형

평가 도구는 하나의 카테고리가 아닙니다. "AI 채점"이라는 이름표 아래 사실 전혀 다른 네 가지 제품이 숨어 있습니다. 기능을 비교하기 전에 먼저 여러분의 목적에 맞는 유형을 골라야 합니다.

• 자동 채점기는 이미 제출된 과제를 채점합니다. Gradescope, CoGrader, EssayGrader가 여기 속합니다.
• 평가 엔진 및 플랫폼은 문항 은행, 시험, 서술형 채점을 처리하며 대부분 임베드가 가능합니다. Learnosity, Questionmark, Cognii가 여기 속합니다.
• 퀴즈 생성기는 문서나 URL을 자동 채점 문항으로 바꿔줍니다. QuizGecko, 그리고 Coursebox에 내장된 퀴즈 생성 기능이 여기 속합니다.
• LMS 내장형 평가는 교육 플랫폼 안의 한 기능으로 존재합니다. Coursebox, Disprz, 360Learning이 여기 속합니다.

제가 평가한 기준

채점을 실제로 담당하는 팀이 부딪히는 네 가지 요소를 기준으로 삼았습니다.

• 채점 방식: 서술형 답안을 완전 자동으로 채점하는지, 아니면 사람이 개입하는지입니다. 고위험 평가라면 AI 채점도 검증 단계가 필요하기 때문입니다.
• 채점 가능한 범위: 객관식(MCQ), 서술형과 에세이, 역량 평가, 코드, 손글씨, 구술까지입니다. 모든 도구가 여러분이 생각하는 것을 다 채점하지는 않습니다.
• 결과의 목적지: SCORM, xAPI, LTI, 또는 성적부 연동입니다. 결과가 도구 안에 갇혀 있으면 결국 보고 문제가 됩니다.
• 실제 비용: 공개된 가격이 있으면 그대로, 없으면 견적 기반으로 확인했습니다.

공개해두자면, Coursebox는 제가 만든 제품이고 이번 순위에서 2위입니다. 다른 도구들과 똑같은 기준으로 테스트했고, 경쟁 제품이 더 나은 선택이라고 판단되는 부분은 그대로 그렇게 적었습니다.

각 도구가 실제로 채점하는 항목

1. Learnosity

이런 경우에 적합: 자사 제품에 평가 기능을 임베드하려는 퍼블리셔와 자격 인증 기관.

Learnosity는 로그인해서 쓰는 앱이 아니라 임베드형 평가 API입니다. Feedback Aide 엔진이 대규모로 서술형 답안을 채점합니다.

• 채점 항목: 50+ 문항 유형(MCQ, 드래그 앤 드롭, 음성·영상 답변, 수식)과 Feedback Aide를 통한 에세이·단문 서술형.
• 정확도: AI 보조 방식이며 사람이 최종 승인합니다. 독립 테스트에서 에세이 850편을 대상으로 사람 채점자와 0.91의 일치도(quadratic weighted kappa)를 기록했습니다.
• 결과 내보내기: Reports와 데이터 API를 통해 내보내며, 내보내기 구조는 직접 구축해야 합니다. 별도의 SCORM이나 xAPI 패키지는 명시되어 있지 않습니다.
• 가격: 견적 기반의 엔터프라이즈 요금제이며, 실제 운영 환경과 동일한 셀프서비스 체험판은 제공되지 않습니다.

테스트 노트: 도구를 파고들면서 문항 제작 과정에 약간의 마찰이 느껴졌습니다. 예를 들어 문항을 미리보기 하다가 수정하려면 편집 화면으로 두세 번 클릭해 들어가야 했는데, 문항 은행 규모가 커지면 이 시간이 꽤 쌓입니다.

제 평가: 이 목록에서 가장 깊이 있는 엔진이지만, 개발자와 계약 예산이 모두 필요합니다. 둘 중 하나라도 없으면 이 기능의 깊이는 그냥 낭비됩니다.

2. Coursebox

이런 경우에 적합: 강의 제작과 채점을 한곳에서 끝내고 싶은 교육팀.

Coursebox는 저희가 만든 제품입니다. 미리 밝혀둡니다. Coursebox는 강의를 만들고 제공하는 도구 안에서 평가를 채점하며, 별도의 채점 전용 앱을 쓰지 않아도 됩니다.

• 채점 항목: 퀴즈, 서술형·에세이 답안, 단답형, 시나리오 기반 제출물, 파일 업로드(PDF, DOCX, TXT).
• 정확도: AI가 채점하되 최종 확정 전에 사람이 검토하는 단계를 선택할 수 있어, 위험도가 높은 평가는 검증 없이 나가지 않습니다.
• 결과 내보내기: SCORM과 LTI로 내보내므로 평가와 결과를 어떤 LMS로도 옮길 수 있습니다.
• 가격: 무료 플랜이 있으며, 유료 플랜은 월 약 $29부터 시작하고 Enterprise는 별도 문의입니다.

테스트 노트: 저희 제품이니만큼 자체 고객지원 데이터를 기준으로 말씀드리겠습니다. 평가 관련해서 가장 많이 받는 질문은 설정 방법입니다. 퀴즈 규칙, 문항 순서 섞기, 합격 점수, 재시험, 채점 방식 같은 것들이죠. 채점 자체는 AI가 하지만, 이런 규칙들을 원하는 대로 설정하는 데 약간의 시간은 잡아두시는 게 좋습니다.

제 평가: 교육을 만들고 전달하는 과정 중 하나의 단계로 평가가 들어간다면 가장 잘 맞습니다. 에세이 채점만 단독으로 필요하다면 CoGrader 같은 전문 도구가 더 나은 선택입니다.

3. Questionmark

이런 경우에 적합: 규제 대상이거나 위험도가 높은 자격 인증 및 컴플라이언스 시험.

Questionmark는 이제 Learnosity 소속이 된 엔터프라이즈 평가 플랫폼으로, 감사에 대응할 수 있는 방어 가능한 시험을 위해 만들어졌습니다.

• 채점 항목: MCQ와 문항 은행 기반 시험, 그리고 루브릭 기반 AI 채점으로 처리하는 장문 서술형 답안.
• 정확도: AI 보조 방식이지만 사람 검토가 필수이며, 모든 최종 점수는 사람의 승인을 거쳐야 합니다.
• 결과 내보내기: 이 목록에서 표준 지원이 가장 탄탄합니다. LTI, SCORM, AICC, xAPI는 물론 Workday, Cornerstone, SuccessFactors까지 연동됩니다.
• 가격: 견적 기반의 엔터프라이즈 요금제입니다.

테스트 노트: 도입을 결정하기 전에 꼭 확인해봐야 할 부분은 게시 후 얼마나 잠기는가입니다. 평가가 라이브로 전환되면 문항을 수정할 수 없었습니다. 문항 검토 단계도 없고, 학습자와 감독관에게 자동으로 알림이 가지도 않습니다.

제 평가: 시험이 감사를 통과해야 하는 상황이라면 이 도구를 선택하세요. 가벼운 지식 점검용으로는 과합니다. 리뷰 수도 많지 않습니다(Capterra 3.8).

4. Gradescope

이런 경우에 적합: 시험, 문제 세트, 손글씨, 코드 등 기술적인 채점.

Gradescope (Turnitin 제품)는 이 목록에서 가장 폭넓은 형식을 채점하는 도구로, 종이 답안, 디지털 답안, 코드를 한곳에서 처리합니다.

• 채점 항목: OMR 카드 방식 MCQ, 손글씨 답안, 에세이, 그리고 오토그레이더를 통한 프로그래밍 과제까지 채점합니다. 이 목록에서 손글씨와 코드를 모두 채점하는 유일한 도구입니다.
• 정확도: 하이브리드 방식입니다. AI가 비슷한 답안끼리 묶어주면 강사가 점수를 매깁니다.
• 결과 내보내기: 성적부로 내보낼 수 있으며, LMS 연동은 Institutional 플랜에서 제공됩니다.
• 가격: Basic 플랜은 무료이고, Institutional 플랜은 견적 기반입니다.

테스트 노트: 답안 그룹화와 루브릭 수정 기능은 상당히 탄탄합니다. 문제는 조별 과제였습니다. Gradescope는 학습자가 직접 조원 명단을 입력하게 하는데, 한 명이 팀원 한 명을 명단에서 빼먹으면서 그 팀원은 제가 발견할 때까지 조용히 0점 처리되어 있었습니다. 조별 프로젝트는 LMS 쪽에서 처리하는 편을 권합니다.

제 평가: 시험과 이공계 채점에서는 따라올 도구가 없습니다. 다만 고등교육 중심으로 설계되어 있어 역량 평가나 컴플라이언스 워크플로우는 이 도구의 영역이 아닙니다.

5. CoGrader

이런 경우에 적합: 에세이와 서술형 과제 채점이 주 업무인 팀.

CoGrader는 에세이 채점에 특화된 도구입니다. 과제를 불러오고 루브릭을 설정하면 점수와 피드백 초안을 작성해줍니다.

• 채점 항목: 에세이와 서술형 답안만 채점합니다.
• 정확도: AI가 초안을 작성하고 최종 판단은 교사가 내립니다.
• 결과 내보내기: 모든 플랜에서 Google Classroom을 지원하고, 학교 플랜에서는 Canvas와 Schoology도 연동됩니다. 그 외에는 파일로 가져오고 내보낼 수 있습니다.
• 가격: 무료 플랜(월 100건 제출)이 있고, 유료 플랜은 월 약 $19부터 시작합니다.

테스트 노트: 명확한 주제 하나로 된 에세이는 순식간에 처리했습니다. 하지만 한 편의 글에 질문 세 개를 묶어 넣은 과제를 주자 루브릭 피드백이 모호해졌습니다. 그 뒤로는 프롬프트마다 요구사항을 하나로 명확히 좁혀서 사용했습니다.

제 평가: 이 목록에서 가장 깔끔한 서술형 채점 워크플로우입니다. 딱 한 가지만 하기 때문에 퀴즈나 역량 평가는 지원하지 않습니다.

6. EssayGrader

이런 경우에 적합: 예산 안에서 대량 서술형 채점을 처리해야 할 때.

EssayGrader는 단답형부터 긴 에세이까지 서술형 답안을 채점하며, 실제 정확도 데이터를 공개하고 있습니다.

• 채점 항목: 에세이, DBQ, 리포트, 사례연구, 저널까지 채점하며, Pro 플랜에서는 영상 제출물도 채점합니다.
• 정확도: AI가 채점하고 교사가 검토합니다. 에세이 1,000편 이상을 대상으로 한 연구에서 사람 채점 대비 편차가 4% 미만이었다고 밝히고 있습니다.
• 결과 내보내기: Google Classroom, Canvas(SpeedGrader와 동기화), Schoology로 내보냅니다.
• 가격: 이 목록에서 가격 공개가 가장 투명합니다. 에세이 50편까지 무료이고, 이후에는 월 $6.99에서 $34.99입니다.

테스트 노트: 커스텀 루브릭이 강점이고 피드백도 대체로 정확합니다. 다만 신경 쓰였던 부분은 일관성입니다. 같은 에세이를 두 번 돌렸는데 서로 다른 점수가 나왔습니다. 그래서 이 도구는 빠른 1차 검토용으로만 쓰고 최종 확인은 사람이 하는 편을 권합니다.

제 평가: 가성비가 좋고 정확도에 대해서도 솔직합니다. 다만 교육(학교) 용도로 설계되어 있어 기업 교육 컴플라이언스에 필요한 역량 평가나 SCORM 지원은 없습니다.

7. Cognii

이런 경우에 적합: 대규모로 즉시 피드백을 주는 형성평가형 서술형 연습.

Cognii는 서술형 답안을 실시간으로 채점하고 학습자가 숙달에 이르도록 코칭하는 대화형 평가 엔진입니다.

• 채점 항목: 단문 에세이와 서술형 문항을 채점합니다. 설계상 MCQ는 다루지 않습니다.
• 정확도: 완전 자동으로 즉시 채점되며, 단문 에세이 기준 사람 채점자와 96%의 일치도를 기록했다고 밝히고 있습니다.
• 결과 내보내기: 연동이 쉽다고 홍보하지만, LMS나 SCORM, 내보내기 관련 구체적인 사양은 공개하지 않습니다.
• 가격: 견적 기반이며 공개된 가격은 없습니다.

제 평가: 재도전을 통한 숙달 연습에는 정말 유용합니다. 다만 공개된 정보가 적어서(G2나 Capterra에 제대로 된 리뷰가 없고 내보내기 세부사항도 없음) 엔터프라이즈 도입 결정은 더 까다롭습니다.

8. QuizGecko

이런 경우에 적합: 문서를 빠르게 자동 채점 퀴즈로 바꾸고 싶을 때.

QuizGecko는 문서, URL, 텍스트로 퀴즈를 생성하고 단답형과 에세이 답안을 자동으로 채점합니다.

• 채점 항목: MCQ, OX 문제, 단답형, 짝짓기, 빈칸 채우기, 에세이.
• 정확도: 자동으로 채점되며, 필수적인 사람 검토 단계는 명시되어 있지 않습니다.
• 결과 내보내기: CSV로 내보내거나 Google Classroom 같은 도구에 공유·임베드할 수 있습니다. 자체 SCORM이나 xAPI는 지원하지 않습니다.
• 가격: 월 약 $16부터 시작하며, API가 포함된 Enterprise 플랜은 월 약 $500부터입니다.

테스트 노트: 제 노트를 입력해봤더니 주제에는 맞지만 다소 두루뭉술한 문항이 나왔습니다. 제가 정확히 테스트하고 싶었던 표현을 짚어내기보다는 자료를 그저 바꿔 말하는 수준이었죠. 제가 찾은 요령은 PDF 대신 웹페이지를 주는 것이었습니다. 제 경험상 문서보다 URL을 줬을 때 결과가 더 나았습니다.

제 평가: 지식 점검용으로는 빠르고 저렴합니다. 다만 이건 어디까지나 퀴즈 도구이지, 공식 기록용 평가 시스템은 아니라는 점은 짚어둬야 합니다.

9. Disprz

이런 경우에 적합: 스킬링 플랫폼 안에서 평가까지 함께 처리하고 싶은 인재개발 팀.

Disprz는 학습, 분석과 나란히 평가 기능을 하나의 요소로 갖춘 인재개발·스킬링 플랫폼입니다.

• 채점 항목: 퀴즈와 지식 점검, 그리고 AI가 만든 시나리오 연습을 채점합니다. 주관식 평가는 매니저와 동료 피드백으로 진행됩니다.
• 정확도: 퀴즈는 자동 채점되지만 주관식 과제는 AI가 아니라 사람이 검토합니다(대화형 평가 기능은 아직 출시 예정입니다).
• 결과 내보내기: SCORM과 xAPI를 지원하며 특정 LMS에 종속되지 않습니다.
• 가격: 견적 기반입니다(Capterra 기준 최저 요금제는 사용자당 약 $3). Capterra 평점은 리뷰 38건 기준 4.7입니다.

테스트 노트: 퀴즈와 모듈 자체는 문제없이 잘 돌아갔습니다. 벽에 부딪힌 곳은 리포팅이었습니다. 스마트 분석 차트는 기본적인 수준이고 리포트 옵션도 제한적이어서, 결국 데이터를 내보내 제가 직접 더 세밀한 리포트를 만들어야 했습니다.

제 평가: 서술형 채점 전용 AI 도구가 아니라 스킬링과 평가를 함께 묶고 싶은 경우에 맞습니다.

10. 360Learning

이런 경우에 적합: 협업 기반 강의 제작이 중심이고 평가는 가볍게 곁들이는 정도면 되는 경우.

360Learning는 협업형 LMS로, 평가 기능은 기본적인 수준이며 강사 검증을 중심으로 설계되어 있습니다.

• 채점 항목: MCQ, 빈칸 채우기, 서술형 문항.
• 정확도: 서술형 답안은 AI가 채점하지 않고 강사가 승인·재시도·반려(Validate, Retry, Reject) 중 하나로 검증합니다.
• 결과 내보내기: SCORM 가져오기와 자체 LMS 리포팅을 지원합니다.
• 가격: Team 플랜은 사용자당 월 $8부터이며, Business 플랜은 견적 기반입니다. 리뷰 규모 면에서는 가장 앞섭니다(Capterra 4.7, 500+).

테스트 노트: 평가는 뒷전으로 밀린 느낌이었습니다. 강의에 퀴즈를 넣는 과정도 필요 이상으로 번거로웠고, 그 밑을 받치는 엔진도 가벼워서 제대로 된 문항 은행이나 무작위 출제, 타이머 기능이 없었습니다. 간단한 지식 점검 정도에만 믿고 쓸 수 있을 것 같습니다.

제 평가: LMS로서는 훌륭하지만 이 목록에서 AI 평가 도구로서는 가장 약합니다. 퀴즈 엔진에 문항 은행, 무작위 출제, 타이머가 빠져 있습니다.

제가 실제로 고른다면

교육을 만들고 전달하는 과정의 일부로 평가가 필요하다면 Coursebox부터 시작하는 것을 추천합니다. 에세이, 퀴즈, 시나리오를 한곳에서 채점하고, 선택적으로 사람이 검토하는 단계를 둘 수 있으며, SCORM과 LTI로 내보낼 수 있습니다. 자사 제품에 평가를 임베드하고 싶고 개발자가 있다면 Learnosity가 가장 깊이 있는 엔진입니다. 감사를 통과해야 하는 고위험 자격 인증이라면 Questionmark입니다. 순수하게 에세이만 채점한다면 CoGrader가 가장 깔끔한 워크플로우이고, EssayGrader가 가성비 면에서 가장 좋습니다. 시험, 손글씨, 코드는 Gradescope의 영역이고, 즉각적인 형성평가 연습에는 Cognii가 적합합니다. 교육 프로그램용으로는 평가가 곁다리로 붙어 있는 도구(Disprz)나 퀴즈 엔진이 빈약한 도구(360Learning)는 건너뛰는 편이 낫습니다.

다시 한번 밝혀두자면, Coursebox는 저희 도구입니다. 이 비교 목록에서도 최대한 정직하게 순위를 매기려고 했습니다.