영어 지문 분석 AI는 어디서 틀리는가 — 확인 지점 여섯과 배포 전 검수 절차

AI가 지문 분석에서 잘하는 일과 못하는 일은 뒤섞여 있지 않고 꽤 뚜렷하게 갈립니다. 형태와 사전 정보만으로 답이 정해지는 작업 — 어휘의 기본 뜻과 품사 정리, 어순이 그대로인 문장의 직독직해 — 은 대체로 안정적입니다. 흔들리는 쪽은 세 갈래입니다. 영어의 기본 어순이 무너져 구조를 복원해야 하는 자리(도치·생략·삽입), 형태 단서가 없어 문맥이 답을 정하는 자리(대명사·지시어, 다의어의 문맥 의미), 그리고 지문 전체를 앞뒤로 이어 붙여야 판단이 서는 자리(논리 전개와 주제 요약)입니다.

분석 공정을 단계로 나누는 이름은 이 글에서 새로 만들지 않았습니다. 직독직해 → 구문 → 어휘 → 논리구조 → 주제 → 출제 포인트 → 오답 설계 일곱 단계는 「영어 지문 분석 방법」 글에 정본으로 정리돼 있고, 이 글은 그중 분석에 해당하는 앞 다섯 단계에서 AI 출력이 어디서 어긋나는지만 봅니다. 출제 포인트 추출과 오답 설계는 분석이 아니라 출제 쪽 작업이라 아래 표에서 뺐습니다. 만들어진 문항 자체를 검수하는 다섯 지점 — 정답 유일성·오답 매력도·지문 근거·기억 차단·난이도 정합 — 은 「영어 내신 변형문제 AI」 글이 정본이니, 이 글의 여섯 지점과 섞지 마시기 바랍니다. 분석을 검수하는 목록과 문항을 검수하는 목록은 대상이 다릅니다.

아래 표의 '구조적 난이도'는 벤치마크 수치가 아니라 각 작업이 무엇에 기대어 답을 정하는지를 보고 매긴 판단입니다. '낮음'은 형태와 사전 정보가 답을 좁혀 준다는 뜻이고, '조건부'는 문장이 단순하면 맞고 복잡해지면 급격히 흔들린다는 뜻이며, '높음'은 지문 종류와 무관하게 사람이 매번 확인해야 한다는 뜻입니다. 맨 오른쪽 열은 그 줄이 이 글의 어느 확인 지점에 걸리는지를 미리 붙여 둔 것입니다.

이 경계를 알면 검수 시간을 어디에 쓸지가 정해집니다. 안정적인 구간을 다시 읽는 데 시간을 쓰고 불안정한 구간을 넘기면, 검수를 분명히 했는데도 오류가 그대로 나갑니다. 검토를 했는데 학생이 틀린 내용을 외워 오는 상황은 대개 이 배분이 뒤집혔을 때 생깁니다. 난이도가 '조건부'·'높음'인 줄을 사람이 한 번에 확인할 수 있는 크기로 쪼개면 여섯 개가 되고, 이 글은 끝까지 그 여섯을 같은 번호와 같은 이름으로 부릅니다.

먼저 구조 계열입니다. 도치는 표시가 분명한데도 오독이 납니다. 원인은 대개 도치를 한 규칙으로 외웠기 때문입니다. 도치는 한 규칙이 아니라 네 계열이고, 앞으로 나오는 것이 조동사인지 본동사인지, 그리고 주어를 어디에서 찾아야 하는지가 계열마다 다릅니다. 아래 네 계열을 구분해 두면 도치 문장에서 주어를 잘못 잡은 자리를 그때그때 짚어낼 수 있습니다.

문제는 도치문 오독이 한국어 번역에서 잘 드러나지 않는다는 점입니다. 한국어는 어순이 자유로워서 주어를 잘못 잡아도 번역문이 그럴듯하게 읽힙니다. 그래서 검수할 때는 번역문을 읽지 말고 영어 문장에서 주절의 정동사를 먼저 찾은 뒤 '이 동사의 주어가 무엇인가'를 되물어야 합니다. 기준을 주절의 정동사로 잡아야 if 생략 가정법처럼 도치된 조건절이 앞에 붙은 문장에서도 주어를 놓치지 않습니다. 번역문만 훑는 검수는 도치 오독을 거의 잡지 못합니다.

② 생략은 반대 방향입니다. 영어는 반복되거나 예측 가능한 요소를 지우고, 지워진 자리를 되살리지 못하면 문장 구조가 통째로 어긋납니다. 대표적인 것이 목적격 관계대명사 생략입니다. The report the committee rejected was the only one based on field data. 에서 the committee rejected 는 the report 를 수식하는 관계절이고 본동사는 was 입니다. 이 자리를 놓치면 rejected 를 본동사로 잡아 '위원회가 보고서를 기각했다'로 끊어 읽고, 뒤에 남은 was 를 처리하지 못해 번역을 어색하게 봉합합니다.

주격 관계대명사와 be동사가 함께 생략된 축약 관계절도 자주 미끄러집니다. The students selected for the exchange program were notified in April. 에서 selected 는 과거분사 수식어이지 본동사가 아닙니다. 접속사 that 생략(She knew the deadline had passed.)과 반복 동사구 생략(Some cities banned the practice; others did not.)도 같은 계열입니다. 공통 증상은 하나입니다 — 결과물에서 한 문장에 본동사가 둘로 잡히거나, 있어야 할 주어가 사라진 것처럼 처리됩니다. 이 증상이 보이면 지워진 자리를 되살려 다시 읽으면 됩니다.

③ 삽입은 주어와 동사 사이를 벌려 놓습니다. The proposal, which the board had approved in March, was quietly withdrawn. 처럼 콤마로 묶인 관계절은 비교적 안전하지만, 관계절 안에 다시 삽입절이 들어가면 흔들립니다. the man who they believed was responsible 에서 was 의 주어는 they 가 아니라 the man 이고 they believed 는 삽입절입니다. 이 구조를 놓치면 책임의 주체가 the man 에서 they 로 옮겨 갑니다.

콤마가 동격인지 나열인지 갈리는 자리도 위험합니다. The director, a former teacher, and the treasurer met. 는 두 사람이 만난 것으로도, 세 사람이 만난 것으로도 읽힙니다. 대시나 괄호로 긴 삽입이 들어가 주어와 동사가 두 줄쯤 떨어지면 수일치 판단이 삽입구 안의 명사에 끌려가기도 합니다. 검수 요령은 하나입니다. 삽입 부분을 손으로 가리고 남는 뼈대만 읽는 것입니다.

④ 지시는 형태 단서가 아예 없는 자리라 오류가 몰립니다. it, this, that, they, one 은 형태만으로는 무엇을 가리키는지 알 수 없고, 앞 문장 전체나 앞 단락에서 제시된 개념을 받을 수도 있습니다. 후보를 좁혀 줄 단서가 없으면 도구는 가장 흔한 패턴, 즉 가장 가까운 명사구를 고르는 쪽으로 기웁니다. The engineer sent the report to the director before she left for the site. 에서 she 의 후보는 둘이고 문장 하나만으로는 확정되지 않습니다. The council delayed the vote for another month. This cost the project its funding. 에서 This 는 명사구가 아니라 앞 문장 전체, 즉 '표결을 한 달 미룬 사실'을 받습니다. 여기서 the vote 나 another month 를 지시 대상으로 잡으면 두 번째 문장의 뜻이 통째로 달라집니다.

학생에게 나가는 자료에서 이 오류가 특히 위험한 이유는 흔적이 남지 않기 때문입니다. 지시 대상을 잘못 잡아도 번역문 자체는 문법적으로 멀쩡하고 읽으면 말이 됩니다. 학생은 그 문장이 지문과 어긋난다는 것을 알아챌 방법이 없고, 시험장에서 지칭 추론 문항을 만나면 자기가 외운 연결을 그대로 답으로 고릅니다. 지칭 추론이라는 문항 유형 자체가 어떻게 설계되고 무엇을 묻는지는 「지칭 추론」 유형 글에 따로 정리해 두었으니, 이 지점의 검수 결과를 문항으로 이어 붙일 때 함께 보시면 됩니다.

⑤ 어휘는 성격이 다릅니다. 구조 오독이 아니라 확률 오독입니다. 도구는 그 단어의 가장 흔한 뜻을 고르는 쪽으로 기울고, 학술적이거나 비유적인 문맥에서 일상적인 뜻으로 미끄러집니다. subject 를 '과목'으로, practice 를 '연습'으로, address 를 '주소'로, account 를 '계좌'로, figure 를 '수치'로, capital 을 '수도'로, reservation 을 '예약'으로 잡는 식입니다. 문장 번역이 크게 어색해지지 않는 경우가 많아 눈에 잘 띄지 않습니다.

특히 어휘 정리표가 위험합니다. 번역문은 학생이 지문과 대조하며 읽지만, 어휘표는 지문에서 떼어 낸 상태로 외웁니다. 표에 박힌 뜻이 지문 문맥과 다르면 학생은 지문이 아니라 표를 외우게 되고, 그 뜻은 시험장까지 따라갑니다. 어휘표는 지문에서 분리되어 따로 유통되는 자료라, 틀린 뜻이 지문과 대조될 기회 없이 오래 살아남는 구조입니다.

⑥ 요약은 앞의 다섯과 성격이 또 다릅니다. 앞의 다섯은 지문의 한 자리를 잘못 읽은 것이고, 요약 오류는 지문에 없던 것이 들어온 것입니다. 도구는 빈자리를 비워 두지 않고 그럴듯한 문장으로 메우기 때문에, 요약문은 대개 지문보다 매끄럽고 결론이 선명합니다. 그 선명함이 신호입니다. 지문이 조건을 달아 둔 진술을 요약이 단정으로 바꾸거나, 대조 구조에서 한쪽을 지워 정반대의 주제문을 만들어 내는 일이 여기서 벌어집니다.

요약 검수에는 방법이 하나 있습니다. 요약문의 문장마다 '이 문장의 근거가 되는 지문 문장은 어디인가'를 지목하게 하는 것입니다. 근거 문장을 지목할 수 있으면 통과이고, 지목할 수 없으면 그 결론은 지문 밖에서 온 것입니다. 이 방법은 사람이 요약을 처음부터 다시 쓰는 것보다 훨씬 빠르고, 강사가 아니라 조교가 해도 결과가 같습니다. 아래 네 가지가 근거 없는 요약이 나타나는 전형적인 모양입니다.

여섯 지점이 모두 걸리도록 함정을 열 곳 심어 만든 창작 지문입니다. ① 도치가 두 곳(장소 부사구 도치·부정어 도치), ② 생략이 두 곳(목적격 관계대명사 생략·접속사 that 생략), ③ 삽입이 두 곳(절 단위 삽입·동격 명사구 삽입), ④ 지시가 한 곳, ⑤ 다의어가 두 곳, 그리고 ⑥ 요약을 겨냥한 함정이 한 곳입니다. 마지막 하나는 문장 안에 숨어 있는 것이 아니라 지문 전체의 논지에 걸려 있어서, 문장을 아무리 정확히 옮겨도 요약 단계에서 따로 걸립니다.

쓰시는 분석 도구에 이 문단을 그대로 넣어 보시면 어느 지점에서 미끄러지는지 곧바로 드러납니다. 문항은 지칭 추론 형식으로 붙였습니다. 학생용이 아니라 도구 점검용으로 만든 문항이므로, 해설에 정답 근거와 함께 심어 둔 함정 열 곳을 확인 지점 번호와 함께 표시해 두었습니다. 번호가 곧 뒤 절차의 줄 번호이므로, 어느 함정에서 틀렸는지가 그대로 어느 줄을 더 봐야 하는지가 됩니다.

검수는 전체를 처음부터 다시 읽는 일이 아닙니다. 틀리는 자리가 정해져 있으므로, 그 자리만 보는 절차로 만들면 검수에 드는 시간이 지문 길이가 아니라 위험 자리의 개수에 비례하게 됩니다. 아래 표는 새로운 목록이 아니라 앞에서 설명한 여섯 지점을 그대로 확인 동작으로 뒤집어 놓은 것입니다. 번호도 이름도 같습니다 — 앞은 '왜 여기서 틀리는가', 뒤는 '그래서 무엇을 보는가'입니다.

순서도 중요합니다. 구조(① 도치 · ② 생략 · ③ 삽입)를 먼저 확정하고, 그다음 ④ 지시를 보고, 마지막에 ⑤ 어휘와 ⑥ 요약을 봅니다. 구조를 잘못 잡은 상태에서 대명사부터 확인하면 잘못된 구조 위에서 판단하게 되어 검수가 헛돕니다. 같은 이유로 요약을 맨 뒤에 두는데, 문장 단위 오독이 남아 있는 상태에서 요약의 근거를 따지면 어디서부터 틀렸는지 가려낼 수 없기 때문입니다. 이 순서를 지키면 같은 지문을 두 번 검수하는 일이 줄어듭니다.

오른쪽 열은 오류 그 자체가 아니라 오류의 흔적입니다. 예컨대 번역문에 '그것'이 그대로 남아 있는 것은 그 자체로 틀린 것은 아니지만, 도구가 지시 대상 판단을 미뤘다는 신호입니다. 이런 흔적이 하나라도 보이는 지문은 나머지 부분도 함께 다시 보는 편이 안전합니다.

모든 지문을 전수 검수할 시간은 대부분의 학원에 없습니다. 그래서 검수를 등급으로 나눠 배치하는 편이 현실적입니다. 기준은 지문 난이도가 아니라 '학생 손에 그대로 가는가'입니다. 강사가 수업 중 참고만 하는 분석은 오독이 있어도 수업 중에 걸러지지만, 인쇄되어 나간 자료는 걸러 줄 사람이 없습니다. 시험 범위가 닫혀 있어 범위 전체를 전수 분석할 수 있는 내신에서는 이 배분이 또 달라지는데, 그 조건에서 분석 전략이 어떻게 바뀌는지는 「영어 내신 지문 분석」 글에 따로 정리했습니다.

표본 검수를 할 때는 지문 앞부분만 보는 습관을 경계해야 합니다. 긴 문장과 복잡한 구조는 지문 중후반에 몰리는 경우가 많습니다. 앞에서부터 읽다 마는 것보다, 아래 우선순위에 해당하는 문장을 지문 전체에서 뽑아 확인하는 편이 같은 시간에 더 많은 위험 자리를 덮습니다.

어떤 도구를 쓰시든 위 여섯 지점은 그대로 남습니다. 자동화가 줄여 주는 것은 초안을 만드는 시간이고, 사람이 남아야 하는 자리는 그 초안이 지문과 어긋나지 않는지 확인하는 자리입니다. 그래서 도구를 바꿀 때 물어야 할 질문은 '분석이 얼마나 좋아졌는가'가 아니라 '내가 확인해야 할 자리가 줄었는가'입니다. 도구를 고르는 기준 자체 — 문제은행형과 생성형 중 무엇을 쓸지, 학원 규모에 따라 판단이 어떻게 달라지는지 — 는 「내신 영어 문제 출제 프로그램」 글에 정리해 두었습니다.