시험은 응시자가 직접 문제를 풀고 답을 작성한다는 믿음 위에 성립한다. 시험 결과가 개인의 지식과 능력을 증명하고, 이를 바탕으로 성적과 자격, 합격 여부를 결정한다. 그러나 생성형 인공지능(AI)이 인간 대신 문제를 풀고 답안과 보고서까지 작성하는 시대에 이 전제는 흔들리고 있다. 시험을 잘 치른 사람이 실제로 그 능력을 갖췄는지, 시험 결과만으로 판단할 수 있는지 의문이 커지면서 시험이라는 제도 자체의 효용도 도전받고 있다.
2027학년도 수능을 앞둔 지난 11일 서울 용산구 서울시교육청에서 열린 스마트안경 전담 본부요원 연수에서 업체 관계자들이 스마트안경을 시연하고 있다. ⓒ연합뉴스
국내에서도 최근 세무사 수석 합격자가 초소형 카메라로 시험 문제를 촬영해 생성형 AI에 전송하고 스마트폰으로 답을 확인하는 방식으로 부정행위를 했다고 자백했다. 감독관이 가까이 있었는데도 적발하지 못한 사실이 알려지자 수능과 국가자격시험 전반으로 공정성 논란이 번졌다. 시험장 안에서 누가 답을 작성했는지조차 확인하기 어려워진 상황은 단순한 감독 실패를 넘어 시험 결과가 응시자 본인의 능력을 반영한다는 믿음에 균열을 드러냈다.
시험의 위기는 부정행위 적발만으로 해결하기 어렵다. 시험장에 반입되는 기기를 통제하고 탐지 장비를 늘리더라도 AI를 활용하는 방법은 계속 달라질 수 있다. 더 근본적 문제는 AI가 시험 문제를 풀고 과제물을 대신 작성할 수 있게 되면서 시험이 측정하려는 능력과 실제 평가 결과 사이의 연결이 약해지고 있다는 점이다. 정답을 맞히고 완성도 높은 결과물을 제출했다는 사실만으로 개인의 실력을 증명하기 어려워진 것이다.
영국은 이 문제를 시험 감독의 한계를 넘어 평가제도 자체의 과제로 다루기 시작했다. 영국의 자격·시험 규제기관 오프퀄(Ofqual)은 올해 AI와 시험 평가에 관한 정책 자료를 잇달아 내놓았다. 1월에는 고위험 시험에서 AI를 채점에 활용할 때 지켜야 할 원칙을 제시했고, 3월에는 시험기관에 휴대전화 등 전자기기 반입과 시험장 밖에서 하는 과제의 AI 오용에 대응할 것을 요구했다.
그 뒤 정책의 초점은 부정행위 예방을 넘어 평가의 유효성을 점검하는 데까지 확장됐다. 4월에는 평가별 AI 부정행위 위험을 진단하고 대응하도록 돕는 권고문을 발표했고, 7월에는 자격시험 분야의 AI 규제 접근법을 업데이트했다. 9월에는 이언 바우컴 최고 규제책임자가 영국 하원 교육위원회에서 AI에 취약한 평가를 줄이거나 대체하는 방안을 제시했다.
바우컴이 의회 증언에서 제시한 '회피·수정·억제(Avoid, Adapt and Deter)' 원칙은 이러한 접근을 구체적으로 보여준다. AI 부정행위 위험이 큰 장문의 글쓰기 과제는 가능한 한 피하고, 유지해야 한다면 응시자가 직접 수행했는지 확인할 수 있도록 평가 과정을 바꾸라는 것이다. 집이나 외부에서 장시간 작성하는 에세이와 과제물은 AI가 결과물을 대신 만들더라도 학생이 직접 작성했는지 확인하기 어렵다. 반면 전문가가 직접 확인할 수 있는 물리적 결과물이나 춤·체육·연극처럼 수행 과정을 교사나 전자기기로 기록할 수 있는 평가는 응시자 본인의 역량을 확인하기 쉽다. 부정행위에 대한 제재를 명확히 알려 억제력을 높이는 것도 원칙에 포함됐다.
여기서 한발 더 나아가 오프퀄은 기존 평가를 유지하는 것 자체에 의문을 제기했다. 4월27일 발표한 AI 부정행위 권고문은 시험기관이 기술적 탐지 도구만으로 부정행위를 확정하지 말고 추가 조사와 증거 확인을 거치도록 했다. 특히 효과적이고 비례적인 대응책으로 부정행위 위험을 줄일 수 없다면 기존 평가를 폐지하거나 다른 방식으로 대체하는 방안까지 검토하도록 했다. 새로운 법적 의무를 부과한 규정은 아니지만, AI 시대에 기존 시험 형식을 반드시 유지해야 하는 것은 아니라는 점을 명시한 것이다.
시험 환경에 대한 접근도 달라졌다. 바우컴은 컴퓨터 기반 시험과 온라인 시험을 구분하며, 외부 인터넷 접속과 시험장 안팎의 통신을 차단한 보안형 컴퓨터 시험을 대안으로 제시했다. 단순히 종이 시험을 디지털 화면으로 옮기는 것이 아니라 응시자가 외부의 도움 없이 자신의 지식과 판단력으로 문제를 풀 수 있는 환경을 확보해야 한다는 것이다. 다만 학교별 디지털 인프라와 학생들의 기술 접근성에 차이가 있는 만큼 도입 과정에서 교육 격차와 평가의 형평성을 고려해야 한다고 덧붙였다.
이러한 변화는 시험의 정의와 역할 자체를 다시 묻게 한다. 정해진 지식을 얼마나 많이 암기했는지, 주어진 문제의 정답을 얼마나 정확하게 찾아내는지를 평가하는 기존 시험은 AI 시대에 변별력을 잃을 수 있다. 방대한 정보를 검색하고 계산하며 여러 자료를 조합해 결과물을 만들어내는 일은 이미 AI가 빠르고 정확하게 수행할 수 있는 영역이기 때문이다. 인간이 AI와 같은 방식으로 정보를 기억하고 정답을 산출하는 능력을 겨루는 시험만으로는 개인의 역량을 제대로 구분하기 어려워졌다.
그렇다고 인간의 역할까지 사라지는 것은 아니다. AI가 정보를 찾고 결과를 도출하는 능력을 인간과 비교하기는 점점 어려워지고 있다. 그렇다면 인간의 역량은 정답을 얼마나 빠르고 정확하게 산출하는지가 아니라, 주어진 상황에서 어떤 정보를 신뢰하고 무엇을 선택할지 결정하는 데서 찾아야 한다. AI는 방대한 정보를 분석해 여러 대안을 제시할 수 있지만, 현실의 맥락과 이해관계, 상충하는 가치를 고려해 무엇을 우선할지 결정하고 그 결과에 책임지는 일은 인간에게 요구되는 역할이다.
시험도 이러한 능력을 검증해야 한다. AI가 제시한 정보가 사실에 부합하는지 확인하는 데서 그치지 않고, 관련 정보가 구체적 상황에 적합한지, 다른 선택지보다 나은 근거는 무엇인지, 예상되는 위험과 부작용은 무엇인지 설명하도록 평가할 수 있다. 세무·회계 자격시험이라면 규정을 얼마나 암기했는지보다 복잡한 사례에서 AI가 제시한 세무 처리 결과를 검토하고, 법적 요건과 고객의 상황에 부합하는지 판단해 근거를 설명하게 하는 방식이다. 정답을 산출하는 능력에서 판단의 타당성을 입증하는 능력으로 평가의 무게중심을 옮기는 것이다.
이때 평가의 핵심은 AI를 사용했는지 여부가 아니다. AI가 제시한 결과를 무비판적으로 받아들이지 않고 필요한 정보를 선별하며, 오류와 위험을 검증하고, 여러 대안 가운데 적절한 선택을 내릴 수 있는지다. AI 활용을 금지하는 시험과 AI를 활용하는 능력을 평가하는 시험을 구분해야 하는 이유도 여기에 있다. 독립적 지식과 사고력을 검증해야 하는 시험에서는 외부 AI 접근을 차단하되, 실제 업무에서 AI 활용이 중요한 영역에서는 도구를 활용해 문제를 해결하고 결과를 검증하는 능력까지 평가할 필요가 있다.
학교 교육도 예외는 아니다. 정답과 지식을 암기하는 데 집중한 평가에서 벗어나 학생이 정보를 어떻게 해석하고 자신의 논리를 구성하는지 확인해야 한다. 보고서나 과제의 완성도만으로 성취도를 판단하기보다 자료의 신뢰성을 검토하고, 서로 다른 주장을 비교하며, 자신의 결론을 근거와 함께 설명할 수 있는지를 평가하는 방식이다. 교사의 구술 질문과 토론, 실제 문제 해결 과정을 결합하면 학생이 AI의 결과물을 단순히 가져다 쓴 것인지, 내용을 이해하고 자신의 판단으로 발전시킨 것인지도 확인할 수 있다.
물론 판단력을 평가한다고 해서 모든 시험을 구술이나 실기로 바꿀 수는 없다. 평가자의 주관이 개입할 수 있고, 대규모 시험에서는 시간과 비용 부담도 크다. 평가 기준을 구체화하고 복수 평가자와 수행 기록을 활용하는 등 객관성과 신뢰성을 확보할 장치가 필요하다. 암기와 기초 지식의 중요성이 사라지는 것도 아니다. 전문적인 판단은 해당 분야에 대한 기본 지식과 이해를 전제로 하기 때문이다. 달라져야 하는 것은 지식의 양을 확인하는 데 그치지 않고, 이를 실제 상황에 적용해 문제를 해결하고 판단하는 과정까지 평가하는 방식이다.
시험이 사라질 것이라고 단정하기는 어렵다. 다만 정답을 맞히고 결과물을 완성하는 능력만으로 개인의 실력을 증명하던 기존 평가 방식은 한계에 직면했다. AI가 정보를 찾고 답을 도출하는 일을 대신할 수 있다면, 시험은 그 결과를 검증하고 상황에 맞게 해석하며 타당한 선택을 내리는 능력까지 살펴야 한다. 결국 AI가 흔드는 것은 시험의 형식만이 아니다. 무엇을 알고 있는지를 넘어 무엇을 근거로 판단하고 그 선택에 책임지는지를 실력으로 인정할 것인지, 시험이 능력을 증명하는 기준 자체가 바뀌고 있다.