영어 내신 변형문제 AI — 어디까지 맡기고, 원장이 최종 검수할 5지점은 무엇인가

도구 판단은 되느냐 안 되느냐가 아니라 어느 구간까지 되느냐로 해야 합니다. 언어 생성 모델은 그럴듯한 문장을 만드는 일에 최적화되어 있습니다. 초안 생산은 사람보다 훨씬 빠르지만, 자기가 만든 결과가 문항으로 성립하는지를 판정하는 일은 성격이 다릅니다. 생산과 판정은 같은 능력이 아니고, 만든 쪽이 다시 검증하면 같은 편향이 그대로 반복됩니다.

지문을 텍스트로 정리하는 일, 같은 지문에서 유형만 바꿔 초안을 여러 벌 뽑는 반복 노동, 해설 초고를 만드는 일처럼 창의가 개입하지 않는 구간은 맡겨도 손실이 거의 없습니다. 반대로 정답의 유일성 판정과 배포 결정은 넘길 수 없습니다. 시험이 끝난 뒤 이의신청을 받는 주체가 도구가 아니라 학원이기 때문입니다. 이 글이 다루는 범위는 그 경계의 안쪽 하나입니다. 지문 확보부터 리포트까지 전 과정에서 어디까지를 위임할지는 아래 관련 문서의 위임 경계 편에서, 생성형과 문제은행형 가운데 무엇을 도입할지의 판단 기준은 출제 프로그램 비교 편에서 각각 따로 다룹니다. 여기서는 이미 고른 도구가 내놓은 결과를 사람이 어떻게 판정하는가만 봅니다.

검수를 절차로 설계할 수 있는 이유는 결함이 무작위로 흩어지지 않기 때문입니다. 영어 내신 변형문제 AI가 내놓는 결함은 매번 새로운 형태로 나오는 것이 아니라 몇 개의 자리에서 반복해 나옵니다. 그 자리를 미리 알고 보면 통독 대신 지목 검사를 할 수 있고, 지목 검사는 사람이 바뀌어도 결론이 갈리지 않습니다.

아래 표는 생성물에서 반복되는 결함과 그것이 화면에 드러나는 모습, 그리고 그 결함이 걸리는 검수 지점을 연결한 것입니다. 뒤에서 정의할 다섯 지점의 색인이라고 보시면 됩니다. 생성을 자동으로 돌려 절약한 시간은 이 색인을 따라가는 판정에 재투자합니다. AI를 도입하고도 자료 품질이 떨어지는 경우는 대개 이 재투자를 빼먹고 생성 물량만 늘린 경우입니다.

생성된 문항을 처음 받아 보면 검수할 것이 없어 보입니다. 영어 문장은 자연스럽고, 선택지는 다섯 개가 가지런하고, 해설도 이유를 대며 설명합니다. 검수가 어려운 진짜 이유가 바로 이것입니다. 눈에 걸리는 오류가 없기 때문에 통독으로는 아무것도 걸러지지 않습니다.

그런데 시험지에서 사고가 나는 지점은 문장 품질이 아닙니다. 정답으로 지정된 선택지 말고 다른 선택지도 방어가 되는 경우, 오답이 너무 엉뚱해서 사실상 삼지선다가 되어 버린 경우, 해설이 지문에 없는 상식으로 정답을 정당화하는 경우입니다. 셋 다 문장 단위로는 아무 흠이 없습니다.

내신에서는 이 결함의 비용이 특히 큽니다. 수업 중 함께 푸는 연습지라면 그 자리에서 설명하고 넘어가면 되지만, 성적 산출과 이어지는 자료나 학원 자체 모의고사에서는 복수정답 시비가 곧바로 민원이 됩니다. 학부모가 묻는 질문은 언제나 같습니다. 이 선택지는 왜 답이 아니냐는 것입니다. 그 자리에서 지문 문장을 짚어 답하지 못하면 자료 전체의 신뢰가 흔들립니다.

그래서 영어 내신 변형문제 AI를 쓰는 학원에서 검수는 한 번 읽어보기가 아니라 정해진 질문을 던지기여야 합니다. 질문이 고정되면 검수는 재현 가능해지고, 원장이 아닌 강사에게도 위임할 수 있으며, 결과를 기록해 다음 제작에 반영할 수 있습니다.

검수 항목을 학원마다 다르게 불러도 상관없습니다. 문제는 같은 학원 안에서 사람마다 다르게 부른다는 데 있습니다. 어제는 근거 위치라 적고 오늘은 지문 근거라 적으면 폐기 사유가 집계되지 않고, 집계되지 않으면 어느 유형에서 생성이 무너지는지도 끝내 알 수 없습니다. 그래서 이름을 먼저 고정합니다. 아래 다섯이 이 사이트에서 쓰는 표준 명칭이며, 검수를 언급하는 다른 글도 개수를 바꾸거나 다른 이름을 붙이지 않고 이 목록을 그대로 인용합니다.

확정 목록은 ① 정답 유일성 ② 오답 매력도 ③ 지문 근거 ④ 기억 차단 ⑤ 난이도 정합, 이 다섯입니다. 순서도 함께 확정합니다. 순서가 임의가 아닌 이유는 뒤 지점이 앞 지점의 통과를 전제로만 의미를 갖기 때문입니다. 정답이 둘로 읽히는 문항에서 오답의 매력도를 따지는 것은 무의미하고, 해설이 지문을 인용하지 못하는 문항에서 난이도를 논하는 것도 무의미합니다. 그래서 다섯 지점은 채점표가 아니라 관문입니다. 앞에서 탈락하면 뒤는 보지 않고 멈춥니다.

다섯 지점은 성격상 두 덩어리로 나뉩니다. ①부터 ④까지는 문항 하나만 놓고 판정이 끝납니다. 지문과 발문과 선택지와 해설이 손에 있으면 결론이 나오고, 그래서 경력이 짧은 강사에게도 안정적으로 위임됩니다. 반면 ⑤는 문항 하나만 봐서는 판정되지 않습니다. 그 문항이 들어갈 세트와 그 학교의 기출을 함께 봐야 답이 나오기 때문입니다. ⑤가 순서의 끝에 놓인 것은 난이도가 덜 중요해서가 아니라 판정에 필요한 정보가 가장 많아서이고, 이 경계가 곧 위임의 경계이기도 합니다. ①부터 ④까지는 강사에게, ⑤는 그 학교 기출을 본 사람에게 갑니다.

각 지점의 정의와 판정 질문, 탈락 신호는 아래 표에 정리했습니다. 네 칸 중 가장 중요한 것은 정의 칸입니다. 무엇을 판정하는 지점인지가 한 문장으로 고정되어 있어야 검수자끼리 같은 문항을 두고 다투지 않습니다. 판정 질문은 반드시 예 또는 아니오로 답할 수 있는 형태여야 합니다. 좋은 문제인가라는 물음은 검수 질문이 아닙니다. 사람마다 답이 달라지고 기록이 쌓이지 않습니다. 반면 정답 외 네 선택지를 기각하는 지문 문장을 각각 지목할 수 있는가라는 물음은 누가 해도 같은 결론이 나옵니다. 이 표를 그대로 인쇄해 검수자 책상에 두는 방식이 현장에서 가장 잘 작동합니다.

정답 유일성 확인은 정답이 맞다는 확인이 아닙니다. 나머지 넷이 확실히 틀렸다는 확인입니다. 생성된 해설은 대개 정답을 옹호하는 데는 충실하지만 나머지 넷을 기각하는 근거는 얼버무립니다. 문맥상 어색하다거나 글의 흐름과 맞지 않는다는 식의 문장이 보이면 그 자리가 곧 검수 대상입니다.

판정법은 기계적입니다. 오답 네 개 각각에 대해 그 선택지를 기각하는 지문 문장을 하나씩 지목해 봅니다. 네 개 모두 지목되면 통과, 하나라도 지목되지 않으면 그 선택지를 교체합니다. 이 작업은 영어 실력보다 절차의 문제라서 경력이 짧은 강사에게도 안정적으로 위임됩니다.

오답 매력도는 반대 방향의 점검입니다. 기각 근거가 있으면서도 학생이 고를 이유는 남아 있어야 합니다. 지문에 나온 표현을 담고 있지만 논리 방향이 반대인 선택지, 앞 문장만 읽으면 그럴듯한 선택지가 좋은 오답입니다. 지문에 없는 소재만으로 만든 오답은 소거로 지워지므로 변별에 기여하지 않습니다.

아래는 창작 지문으로 만든 빈칸 문항입니다. 빈칸 뒤에 놓인 that exchange가 정답을 구조적으로 붙잡고 있습니다. 이런 후행 지시어가 있으면 빈칸에 들어갈 진술의 성격이 미리 제한되므로 유일성이 훨씬 안정적으로 확보됩니다. 네 오답도 같은 기준으로 만들었습니다. 각각을 기각하는 지문 문장을 지목할 수 있으면서, 고를 이유 역시 지문 안에서 얻도록 배치했습니다.

지문 근거 점검은 해설만 보면 금방 끝납니다. 해설이 지문 문장을 인용하고 있으면 통과이고, 일반적으로나 상식적으로 같은 표현으로 정답을 정당화하고 있으면 위험 신호입니다. 지문 밖 상식으로 풀리는 문항은 그 지문으로 공부한 학생과 그러지 않은 학생을 구분하지 못하므로 내신 대비 자료로서 가치가 없습니다.

기억 차단은 내신에만 있는 검수 지점입니다. 수능형 자료에서는 학생이 지문을 처음 봅니다. 그러나 내신은 정반대입니다. 학생은 그 지문을 수업에서 여러 번 읽었고 시험 직전에는 상당 부분을 외웁니다. 그래서 이해를 묻는 것처럼 생겼지만 실제로는 암기를 확인하는 문항이 대량으로 만들어집니다. AI는 이 조건을 알지 못한 채 생성하므로 이 결함이 특히 잘 나옵니다.

판정은 두 방향으로 합니다. 하나는 가림 테스트입니다. 지문을 가리고 발문과 선택지만 보여줬을 때 답이 보이면 지문 근거가 없는 문항입니다. 다른 하나는 복원 테스트입니다. 원문을 그대로 떠올리는 것만으로 답이 나오면 이해가 아니라 기억으로 풀리는 문항입니다. 두 테스트를 모두 통과해야 내신용 변형문제로 성립합니다.

대응은 유형마다 다릅니다. 빈칸은 어휘 자리가 아니라 논리 연결부, 즉 대조·인과·예시 관계가 걸린 자리에 뚫습니다. 앞 절의 실습에서 본 후행 지시어도 같은 처방의 일부입니다. 빈칸 뒤에서 앞말을 되받는 표현이 있으면 외운 철자를 떠올리는 것만으로는 답이 나오지 않고 관계를 읽어야 하기 때문입니다. 어법은 원문 복원만으로 판단되는 항목을 피하고 수 일치나 준동사처럼 문장 구조를 따져야 하는 지점을 고릅니다. 순서와 삽입은 지시어·연결어 단서가 원문 기억과 독립적으로 작동하는지 확인합니다. 반대로 아래 다섯 가지는 권장 형태가 아니라 실제로 기억만으로 풀리는 문항의 전형입니다. 생성 결과에서 이 형태가 보이면 지점 ④ 탈락으로 처리하고, 빈칸이나 밑줄의 위치를 옮겨 다시 만듭니다.

생성 결과에 붙는 상·중·하 표시는 도구의 자기 신고이지 우리 학교 기준이 아닙니다. 같은 중이라도 어떤 반에서는 정답률이 무너지고 어떤 반에서는 거의 전원이 맞힙니다. 난이도는 라벨로 두면 비교가 되지 않고, 측정 가능한 축으로 환산해야 세트를 설계할 수 있습니다.

실무에서 쓸 만한 축은 네 가지입니다. 첫째는 근거까지의 거리로, 정답 근거가 빈칸이나 밑줄에서 몇 문장 떨어져 있는지입니다. 둘째는 선택지 간 의미 거리로, 정답과 가장 유력한 오답이 얼마나 가까운지입니다. 셋째는 어휘 부담으로, 지문에 없던 단어가 선택지에 몇 개 들어갔는지입니다. 넷째는 요구되는 사고 단계 수로, 대조를 파악한 뒤 지시어를 다시 연결해야 하는 식으로 몇 번을 거쳐야 답에 닿는지입니다.

세트 정합은 여기서 한 걸음 더 갑니다. 내신 변별은 대개 상위권에서 갈리므로, 세트에서 가장 어려운 한두 문항의 성격이 그 학교 기출의 최상단 문항과 닮아 있어야 대비가 됩니다. 어떤 학교는 서술형에서 변별하고 어떤 학교는 어법 한 문항으로 가릅니다. 이 판단은 그 학교 기출을 본 사람만 할 수 있고 도구가 대신해 줄 수 없는 구간입니다. 지점 ⑤만 위임 범위가 좁은 이유가 이것입니다.

서술형은 별도로 다뤄야 합니다. 생성된 서술형은 답안 예시를 하나만 제시하는 경우가 많은데, 실제 채점에서 문제가 되는 것은 예시가 아니라 허용 범위입니다. 철자 오류를 감점할지, 시제만 다른 답을 인정할지, 어순이 다른 동의 표현을 허용할지가 정해지지 않으면 채점 단계에서 반드시 분쟁이 생깁니다.

AI 도입이 실패하는 전형적인 경로는 품질이 아니라 물량입니다. 생성이 빨라지면 만들어지는 문항 수가 함께 늘고, 검수 정원이 정해져 있지 않으면 미검수 문항이 쌓입니다. 그리고 시험이 임박하면 이번만이라는 단서를 달고 검수를 건너뛴 자료가 나갑니다. 사고는 대부분 이 지점에서 납니다.

그래서 규칙을 먼저 정합니다. 하루에 검수할 문항 수를 정하고 그 수를 넘겨 생성하지 않습니다. 생성한 사람과 검수하는 사람을 분리하고, 검수자는 정답표를 보지 않은 상태에서 먼저 풀어 봅니다. 이 블라인드 풀이 한 가지만 도입해도 복수정답 시비가 될 자리가 배포 전에 상당 부분 드러납니다.

다만 검수자의 답이 정답표와 다르다는 사실 자체는 아직 판정이 아닙니다. 불일치의 원인은 복수정답일 수도, 정답표 오기일 수도, 검수자의 오독일 수도 있습니다. 그래서 불일치가 나오면 문항을 버리는 대신 지점 ① 판정으로 넘깁니다. 검수자가 고른 선택지를 기각하는 지문 문장을 지목할 수 있으면 정답표를 유지하고 오독으로 정리하며, 지목되지 않으면 그때 유일성 탈락으로 처리합니다. 이 한 단계를 두지 않으면 경력이 짧은 검수자의 오독이 멀쩡한 문항의 폐기로 자동 환산됩니다.

기록도 남깁니다. 관문별 탈락 건수를 유형과 함께 적고, 정답표가 실제로 바뀐 건수를 따로 셉니다. 지점 ①에서 많이 떨어지면 선택지 생성 조건을, 지점 ④에서 많이 떨어지면 빈칸과 밑줄의 위치 규칙을 고쳐야 한다는 뜻입니다. 이 대응 관계가 성립하는 것은 관문 이름이 고정되어 있기 때문이고, 그래서 명칭을 임의로 바꾸지 않는 편이 실무에 이득입니다. 스모트는 지문 추출과 지문 분석, 24유형 변형문제 생성, Word·한글 시험지 조판을 하나의 흐름으로 묶습니다. 검수 관점에서 실질적인 이득은 분석 결과를 문항 옆에 두고 볼 수 있다는 점입니다. 직독직해와 구문·논리 구조가 정리되어 있으면 지점 ③의 근거 문장 확인과 지점 ④의 기억 차단 판정이 눈에 띄게 빨라집니다.