문제 검수 가이드
AI가 만든 문제는 출발점이고, 검수 기록이 품질을 만듭니다
AI가 만든 객관식 문제의 근거, 정답 유일성, 선지 품질과 학습 안전성을 점검하는 체크리스트입니다.
1. 문항을 풀기 전에 근거만 읽습니다
검수자는 먼저 문제를 가리고 연결된 원문만 읽어 핵심 사실을 한 문장으로 적습니다. 그다음 문항을 열어 같은 사실을 묻는지 비교합니다. 이 순서를 뒤집으면 이미 제시된 정답에 맞춰 원문을 해석하기 쉽습니다. 원문만으로 답을 결정할 수 없다면 자료 기반 문항이 아니라 모델의 배경지식 문제입니다.
2. 질문이 측정하려는 행동을 표시합니다
용어를 기억하는지, 두 개념을 비교하는지, 원인을 설명하는지, 새 상황에 적용하는지를 하나 고릅니다. “옳지 않은 것을 모두 고르시오”처럼 부정과 복수 정답을 섞으면 읽기 실수와 개념 부족이 뒤섞입니다. 첫 진단 세트는 짧고 직접적인 문장으로 만들고, 적용 문제는 근거를 충분히 확인한 뒤 별도 단계로 둡니다.
3. 정답 유일성을 반례로 검사합니다
정답 후보마다 “어떤 조건에서는 이것도 맞지 않는가”를 질문하세요. 시간, 범위, 대상이 생략되면 두 선지가 동시에 맞는 경우가 많습니다. 원문이 “주로”라고 했는데 정답을 “항상”으로 바꾸는 것도 오류입니다. 정답 문장을 원문과 같은 강도로 맞추고, 예외 조건이 필요한 경우 질문에 명시합니다.
4. 오답은 함정이 아니라 오개념 진단 장치입니다
철자 오류, 유난히 긴 문장, 다른 문법 형태처럼 내용과 무관한 단서를 제거합니다. 오답은 비슷한 개념을 잘못 연결했을 때 나올 법한 답이어야 합니다. 오답마다 어떤 오개념을 확인하는지 한 줄로 설명할 수 없다면 선지를 교체하세요. 학습자를 속이는 선지보다 틀린 이유를 분류할 수 있는 선지가 다음 복습에 더 유용합니다.
5. 해설에는 네 가지 정보를 남깁니다
정답, 근거 위치, 다른 선지가 틀린 이유, 다음 행동을 순서대로 적습니다. 다음 행동은 “복습하세요”가 아니라 “자료 4쪽의 비교표에서 A와 B의 조건을 다시 확인하세요”처럼 구체적이어야 합니다. 보충 설명이 원문 밖 지식이라면 범위를 분리해 표시하고, 중요한 판단에는 교재와 교수자 안내를 우선합니다.
6. 검수 결과를 통과·수정·폐기로 나눕니다
문장을 조금 고치면 되는 문제와 근거 자체가 없는 문제를 같은 대기열에 두지 마세요. 통과는 근거·정답·선지·해설이 모두 확인된 경우, 수정은 목표는 유효하지만 표현에 문제가 있는 경우, 폐기는 원문만으로 답할 수 없는 경우입니다. 어떤 기준으로 바뀌었는지 기록하면 같은 생성 오류가 반복되는 것을 줄일 수 있습니다.
저장 전 최종 체크리스트
아래 항목에 하나라도 답하기 어렵다면 문제 수를 늘리기보다 근거와 표현을 먼저 고치세요.
- 문항을 보기 전에 원문의 핵심 사실을 요약했다
- 기억·비교·원인·적용 중 하나의 목표를 표시했다
- 모든 정답 후보에 반례가 없는지 확인했다
- 각 오답이 특정 오개념을 진단하는지 설명했다
- 해설에 근거 위치와 다음 행동을 넣었다
- 통과·수정·폐기와 변경 이유를 기록했다
근거 및 더 읽기
이 글은 아래 원자료와 NODI의 공개 구현·편집 기준을 바탕으로 실전 절차를 구성했습니다.
- NODI 콘텐츠 편집 원칙AI 초안, 사람 검수, 오류 정정의 공개 기준
- 문항 검수 워크스루약한 문항을 실제 체크 순서로 고쳐 보는 예시