챗 GPT 시대의 대안은 구술 시험? 구술 평가가 필수인 독일의 대학 입학 시험으로 본 미래의 평가 방식

지난 6월 1일, 미국의 종합일간지 월스트리트저널(WSJ)은 'As AI-Enabled Cheating Roils Colleges, Professors Turn to an Ancient Testing Method'라는 제목의 기사를 게재했습니다. 번역하면 'AI(인공지능) 기반의 부정 행위가 대학을 뒤흔들면서, 교수들이 고대의 시험 방법으로 전환하다'가 되는데요, 내용인 즉 챗GPT 등 생성형 AI를 편법으로 악용하는 학생들이 늘어남에 따라 이를 막기 위한 방식으로 '구술 시험'을 늘리고 있다는 것입니다.

이미 알려지다시피 챗 GPT의 능력은 나날이 발전하는 중으로 코로나 팬데믹으로 인해 기존 필기 시험이 원격으로 대체되자 챗 GPT 등을 이용해 답안지를 써내는 일이 잦아졌다는 보도가 이전에도 여러 차례 나온 바 있었는데요, 실제 상황을 겪어본 교수들이 심각성을 느끼면서 평가 방법을 전환, 학생을 일대일로 대면 평가하고 토론하는 '구술' 방식을 도입하게 됐다는 게 해당 뉴스의 핵심입니다. 고대 그리스 철학자들의 토론 문화까지 거슬러 올라가는 원초적 방식으로의 회귀인 셈입니다.

3년 간 구술 시험을 통해 얻어낸 결과들

기사에는 구술 시험의 효과적 측면에 대해서도 거론하고 있습니다. 미국 최대 공립대학인 캘리포니아대(UC) 샌디에이고 공대가 그 예인데요, 2020년 3월 모든 대학 수업이 원격으로 전환되었을 때 구술 시험을 도입한 기계 공학과 교수 Huihui Qi와의 인터뷰를 통해 7명의 교수 연구팀이 3년 간의 연구와 7000회 이상의 구술 시험을 통해 얻어낸 결과를 공유했습니다. 결과는 놀랍게도 학업 성취도의 향상, 그리고 부정 행위가 크게 감소하는 결과로 나타났다고 해요.

디지털 세대인 학생들은 처음에는 구술 시험에 당황했지만 결과는 구술 시험 학점이 필기 시험보다 평균 10% 더 높았다고 합니다. 또한 약 2/3의 학생들은 구술 시험을 통해 해당 과목을 배우려는 동기가 더 높아졌다는 평가를 하기도 했고요. '스스로 생각하도록 요청하는' 구술 시험은 개념을 말로 설명하고 이후 질의 응답을 통한 토론까지 이어지는데요, 따라서 더 깊은 이해가 필요하고 더 많은 공부를 해야 한다는 것을 뜻합니다. 이와 같은 효과적인 측면에 주목한 구술 시험은 최근 미국 대학가에 소문이 나면서 확산되는 추세라고 하네요.

아닌 게 아니라 챗 GPT 이후, AI가 시험에 악용되는 문제를 해결하기 위해 고육책을 짜내는 가운데 구술 평가가 주목받고 있다는 이야기를 곳곳에서 전해 듣습니다. 뿐만 아니라 수많은 지식과 정보가 넘쳐나는 데다 인공지능에게 질문만 하면 엄청난 양의 데이터와 정보를 일목요연하게 정리까지 해주는 시대에서는 더 이상 지식을 묻고 서술하는 형태의 시험이 아닌 얼마나 깊이 있고 창의적인 생각을 하는가를 묻고 평가하는 방향으로 바뀌어 갈 것이라는 예측도 들립니다.  

구술 시험이 고대 그리스의 철학자 소크라테스가 제자들과 토론하며 논리적, 창의적 사고를 자극하는 데서 유래했고, 영국 옥스퍼드대학이나 케임브리지 대학 등 전통과 유서가 깊은 유럽권 대학에서 오래 전 사용되던 평가 방식이라곤 하지만, 현대의 우리에겐 사실 필기 시험이 훨씬 익숙합니다. 대학 입학이나 입사 시험 절차에서 면접 형태의 구술 평가를 하기도 하지만 절대적인 평가를 위한 것이기보다 보완적이거나 참고용인 경우가 많죠. 물론 유럽의 여러 나라들은 여전히 대학 입학 시험에 구술 시험을 유지하고 있는 나라들도 있습니다. 프랑스의 대입 시험인 바칼로레아는 2021년 새로운 바칼로레아 시험을 도입하면서 20분의 구술 평가를 포함했고, 노르웨이 역시 고교생들이 연 3~4회의 구술 시험을 치른다고 하네요.

독일 대입 시험에서 적어도 한 과목 이상은 구술 평가 필수

독일은 구술 시험의 역사가 오래된 유럽 국가 중 하나입니다. 교육 과정에서 프로젝트 발표와 같은 '구술'이 성적에 중요하게 포함된다는 측면에서도 그렇지만, 보통 12학년에 치르는 독일의 대학 입학 시험인 아비투어(Abitur)에서도 구술 시험을 반드시 치러야 합니다. 연방 국가인 독일은 주마다 조금씩 차이가 있긴 합니다만, 아비투어에서 보통 4~5과목의 시험을 치르게 됩니다. 객관식 평가는 전혀 없고 과목당 4-5시간씩 글을 써야 하는 논술형 평가와 구술 평가로 이뤄지는데요, 보통 4과목을 치르는 경우에는 1과목이 구술, 5과목을 치르는 경우에는 2과목을 구술 형태로 시험을 봅니다. 경우에 따라서는 논술 시험을 치르는 과목에서 추가적으로 구술 시험을 실시할 수도 있다고 합니다. 즉, 적어도 하나의 구술 시험은 필수이지만 학생이 구술 시험을 위해 어떤 과목과 몇 과목을 치르는지는 주마다 차이가 있는 셈입니다.

(*독일의 '아비투어'에 대한 자세한 내용은 지난 2022년 10월에 발행한 <"12년 공부를 단 하루 시험으로 평가하다니 가혹하지 않나요?" 독일 아비투어로 돌아본 우리나라의 수능>을 참고해 주세요.)

구술 시험의 형식과 시간 등은 역시 주마다 조금씩 다른데요, 보통 20~30분 정도 구술 시험을 치르고 준비 시간은 별도로 주어집니다. 당연히 시험 문제는 당일에 주어지는데요, 대기하는 교실에서 시험 문제를 받은 후 감독관의 감독 하에 20분 혹은 30분 간 생각과 의견을 정리할 시간이 주어집니다. 그리고 구술 시험을 위한 교실로 이동해 감독관 앞에서 혼자 설명하고 말하는 시간을 갖습니다. 어떤 경우에는 온전히 말하기만 하고 끝나는 게 아니라 교사의 질문에 답하는 질의 응답 시간이 포함되기도 합니다. 일례로  우리집 아이가 다니고 있는 독일 학교의 경우에는 총 5과목의 아비투어 과목 중 2과목이 구술 평가인데요, 그 중 하나는 완전한 말하기 형태의 구술 시험이고, 또 한 과목은 발표 시험으로 20분 간의 준비 과정을 거친 후 10분 발표하고 10분 간 토의가 진행되는 방식으로 이뤄집니다.(*2017년 기준 '아비투어' 설명 자료 중.)

보통 구술 시험에는 복수의 인원이 평가자로 참여합니다. 해당 과목 담당 교사를 포함해 두 세 명의 교사가 참여하고, 경우에 따라서는 외부에서 오는 감독관이 포함되기도 합니다. 우리나라에서 논서술형 시험 제도에 대한 필요성이 제기될 때마다 평가의 공정성 문제가 거론되곤 하는데요, 복수의 평가자 혹은 외부 감독관 등의 장치가 평가를 보완하기 위한 방식이 아닌가 생각됩니다.

논술형 필기 시험도 그렇지만 독일 학생들에게 구술 시험은 따로 입시를 위해 따로 준비해야 할 대상이 아닙니다. 앞서 말했듯 학교에 다닐 때부터 수업 시간 중에 수시로 발표하고 토론하는 방식의 학습을 해왔기 때문입니다. 시험 당일에 어떤 문제가 주어지느냐에 따라 자신 있는 주제와 그렇지 않은 경우의 차이가 있을지 몰라도, 기본적으로 말로 설명하고(혹은 발표하고) 그에 대한 질문을 받고 토의를 하는 과정은 오랜 시간 몸에 밴 익숙한 방식인 것이죠.

토론은 논서술형 평가와 구술 평가에 최적화된 방식

다시 맨 앞의 월스트리트저널 기사로 돌아가 볼까요. 미국에서 챗 GPT에 대응하기 위한 방식으로 구술형 평가가 도입되고 확산되고 있다고 하지만  이러한 흐름은 결국 미국 바깥으로도 퍼져나갈 겁니다. 단지 챗 GPT 같은 지식과 정보 기반의 생성형 인공지능의 문제가 아니라, 앞으로는 '우리가 알고 있는 것'을 평가하는 게 더 이상 의미가 없는 시대가 된다는 점에서 지식이 아닌 생각을 묻는 평가가 주를 이룰 수밖에 없지 않을까요. 지식과 정보를 처리하는 능력은 인간이 인공지능을 넘어설 수 없습니다. 인간은 인공지능으로부터 그 정보와 지식들을 얻어내서(추출해서) 자신만의 창의적인 생각과 아이디어, 철학적 사고, 문제 해결력 등을 보다 강화하는 근거로 활용하거나 스스로의 사고를 발전시키는 데 사용해야겠죠.

많은 교육 전문가들이 '지식 습득 교육의 종말', 그리고 같은 맥락에서 '객관식 시험의 종말'을 이야기합니다. 필요성을 넘어 결국 그렇게 될 것이라는 예측도 포함입니다. (수많은 충돌과 갈등을 만들어낼 것으로 보이는 평가 방식이 결국 문제긴 합니다만, 그 또한 방법을 찾게 되겠지요.) 토론은 논서술형 평가와 구술 평가, 두 가지 모두에 최적화된 방식입니다. 지식과 정보를 집어넣는 교육이 아니라 생각과 창의를 깊게 만드는 교육입니다.

'시험에 자주 나올 법한' 토론 논제를 던지고 정답에 가까운 찬성 논리와 반대 논리를 펴는 토론 교육은 진짜 토론이 아닙니다. 그건 내 생각이 아니기 때문입니다. 입시 때문에, 공부 때문에 일찍 토론을 시작해야 한다는 논리는 제 방향성과 전혀 일치하지 않지만 어쩌다 보니 토론이 미래의 교육, 학습, 평가의 핵심이 되어가고 있는 것만큼은 분명해 보입니다.

<*커버이미지_©어나더씽킹랩 via 미드저니>