최근 영국은 코로나19 사태로 인해 대입 학력고사인 GCSE(General Certificate of Secondary Education)와 A레벨(level) 시험을 기존 방식대로 치르지 못하게 됐다. 그래서 영국 정부가 궁여지책으로 채택한 것이 컴퓨터 알고리즘을 이용한 채점과 등급 매기기였다. 교사들이 매긴 과목별 학생 예상 등급과 과거 석차 등 학교에서 제출한 몇몇 자료를 바탕으로 컴퓨터가 분석해 입시 사정에 활용할 학생의 점수와 등급을 매기는 방식이었다. 어찌 보면 세계 최초로 대입 성적 사정에 컴퓨터를 도입한 시도였다. 그런데 결과가 어땠을까?
결론부터 말하면 대참사로 끝났다. 예상보다 훨씬 나쁜 등급을 받아든 학생과 학부모들이 아우성을 치면서 정부를 공격했고, 결국 보리스 존슨 총리 정부는 ‘시험 대실패(exam fiasco, exam debacle)’를 인정하면서 ‘치욕의 급선회(shameful U-turn)’를 할 수밖에 없었다. 컴퓨터가 매긴 등급 대신 교사들이 매긴 등급을 사정 자료로 더 중요시할 수밖에 없게 된 것이다. 여론이 걷잡을 수 없이 악화되자 영국 정부는 지난 8월 13일 점수와 등급을 학생들에게 통보한 지 단 4일 만에 컴퓨터 채점 결과와 함께 교사가 매긴 예상 등급도 사정 자료로 인정하기로 급선회해서 위기를 수습해나가는 중이다. 그러나 영국 언론은 존슨 정권을 ‘컴퓨터 정부(Government by Computer)’라고 놀리는 등 이번 사태로 정부 신뢰도가 형편없이 추락해버렸다.
이번 소동은 고등학교를 졸업하는 학생들이 치르는 GCSE와 고교 졸업 후 대학 준비과정(식스폼·Sixth Form) 2년을 더 공부해서 치르는 A레벨 시험의 컴퓨터 채점 결과가 교사들이 제출한 학생의 예상 등급보다 무려 40%나 낮게 나오면서 시작됐다. 예년 기준에 비춰봐도 평균 등급이 30%나 낮게 나왔는데, 더욱 큰 문제는 이 결과마저 불평등하다는 점이었다. 일괄적으로 등급이 낮아졌어도 학생과 학부모들의 불만이 높을 터인데 사립학교 학생들 등급이 공립학교보다 좋게 나와 버린 것이다. 이것이 국민정서에 불을 질렀다.
사립고교 등급 우대? 국민정서 불질러
참고로 영국은 우리와 달리 6-5-2-3 학제를 채택하고 있다. 만 5살에 초등학교에 입학해 6년을 마친 후 중·고등 과정 구분 없는 5년 과정(secondary)을 16세까지 다니는데 여기까지가 무상 의무교육이다. 물론 영국 학생 중 5% 는 초등학교부터 학비를 내는 사립학교를 다닌다. 영국의 모든 고등학생들은 졸업하기 전 2년 동안 한국의 학력고사 같은 GCSE를 친다. 여기서 A스타(A*)부터 A, B, C, D, E, F, G까지의 성적을 받으면 통과(pass)이고 U를 받으면 낙제(fail)다. 2016년부터는 기존의 알파벳 대신 숫자로 9에서 1까지 등급을 매기기 시작했는데, 고점수대는 9점(과거 A스타)과 8~7점(A), 우등 합격(strong pass)이 6-5점(B-C), 평균 합격(standard pass)이 4-3-2-1점(D-E-F-G) 수준이다. 보통 10과목 정도를 선택하는 시험에서 과목당 9점 만점에 1점만 받아도 통과이다.
영국의 한인교포 자녀들은 대부분 전 과목 A를 받는다. GCSE 성적이 나오는 즈음 한국 엄마들 사이에서는 “자기네 애는 몇 개야?”라는 질문이 서로 오가는데 바로 ‘A스타가 몇 개냐’는 말이다. 전 과목 A는 너무 당연하고 A스타가 몇 개인지를 가지고 서로 뻐기는 것이다. 일반 영국 학생들이 이를 보고 ‘미친 짓(madness)’이라고 할 정도로 비정상적으로 우수한 성적이다. A스타 비율은 5%가 되지 않으니 그런 말이 나올 법도 하다. 그러나 이건 한국에서처럼 남들 보다 더 잘 살기 위해서 하는 노력이 아니다. 이민자 자녀로서 주류사회에서 살아남기라도 하기 위해서는 좋은 대학을 좋은 성적으로 졸업하는 수 밖에는 다른 방법이 없다. 생존의 필수 요소인 학연•지연•혈연 중 학연 밖에 가질 것이 없는 이민자 자녀로는 영국 주류 고급층 진입을 하기 위해서는 좋은 학교가 거의 생사의 갈림길의 이정표일 수 밖에 없다.
하지만 GCSE 증명서(certificate)에는 과목별 성적은 나오지 않고 무슨 과목 통과 여부만 표시된다. 대학을 안 가고 바로 취직을 하는 학생들은 졸업증명서나 성적증명서보다 이 GCSE 증명서가 더 필수적이다. 자신이 GCSE에서 무슨 과목을 이수했는지를 이력서에 반드시 적어야 하기 때문이다. 그래서인지 일반 영국인들에게는 솔직히 GCSE에서 1점만 받아 ‘턱걸이’로 합격해도 아무런 문제가 되지 않는다. 지적 능력을 요구하는 특수 직장이 아니면 과목별 합격, 불합격만 따지지 성적 자체를 요구하지 않기 때문이다. 그래서 영국인들에게는 9점을 받기 위해 아이들에게 쏟아붓는 한국 학부모들의 노력이 정말 쓸데없어 보인다.
복잡하고 이상한 영국의 대입제도
일단 GCSE 시험을 친 학생 중 대학을 가지 않는 학생들은 전문 기술 직업 학교에 가고, 대학 진학을 목표로 하는 학생들만 식스폼 과정에서 A레벨 공부를 2년간 더 한다. 이 A레벨 준비 단계부터는 선택과목이 급격하게 줄어 보통 3~4개 정도를 고르는데 여기서도 일부 한국 가정 자녀들은 5개 혹은 6개 과목까지 욕심을 낸다.
A레벨 이후의 영국 대입 과정은 명약관화하고 일목요연한 걸 좋아하는 한국인의 관점에서 보면 아주 복잡하고 이상하다. 자신이 가고자 하는 대학의 입학 조건이, 가장 중요한 입학 시험 결과가 나오기도 전에 이미 정해지기 때문이다. 시험 성적이 나온 후에야 성적에 맞는 대학을 고르는 한국과는 선후가 바뀌는 셈이다. 대학 진학을 하려는 학생은 우선 진학 상담 교사와 지원할 대학 5개를 의논해 선정한다. 평소의 학업 성적이 있기에 이 단계에서 어느 대학 정도면 합격 수준인지가 대개 나온다. 그리고는 공공기관인 대학입학지원 서비스 공공기관(UCAS·The Universities and Colleges Admissions Service)에 원서를 제출한다. 제출서류는 선택과목 교사가 작성한 A레벨 예상 등급(Predicted Grade), 평소 학업 수준과 성적을 포함한 교사의 학생추천서(Reference Letter), 지원 학생 본인이 쓰는 자기소개서(Personal Statement) 등이다. 물론 자기소개서에는 한국과 마찬가지로 특기, 취미, 각종 봉사활동, 경력, 자격증 같은 잡다한 사항이 기재된다. 그러나 가장 중요한 서류는 바로 교사의 A레벨 과목별 예상 등급서와 추천서이다.
이런 모든 서류를 5개의 대학이 공유하는데, 이 단계에서 아주 뛰어난 학생들에게는 해당 학생이 일순위로 선정한 대학부터 먼저 ‘무조건 입학허가(unconditional offer)’를 준다. 그렇지 않은 학생에게는 A레벨 시험에서 ‘A 2개, B 1개’의 성적을 받으면 입학을 허가하겠다는 등 ‘조건부 허가(Conditional Offer)’를 준다. 대학으로부터 이런 오퍼를 받는 때가 바로 11월 말 정도이다. 이후 열심히 A레벨을 준비해 그 다음해 5월에 시험을 치르고 나면 7~8월에 최종 결과가 나온다. 만일 대학의 합격 요구를 충족하는 성적이 나오면 바로 합격이 확정된다.
이번에 GCSE와 A레벨 성적 문제가 엄청난 논란을 일으킨 이유가 이런 영국의 독특한 입시 과정에 있다. 대학에서 제기한 합격 조건이 A레벨에서의 ‘AAB’ 성적인데 만일 ‘AAC’를 받으면 말할 필요도 없이 불합격이다. 그런데 지난 8월 13일 학생들이 받아든 A레벨 성적에서는 전체 학생의 36%가 교사가 매긴 예상 등급보다 한 단계 밑의 등급을, 특히 3%는 두 단계나 낮은 등급을 받았다. 인생의 진로가 완전히 바뀌는 판이니 전국이 난리가 날 수밖에 없었다. 더욱이 이런 등급 결정이 코로나19 사태 이전처럼 자신이 직접 고사장에 가서 본 지필시험 결과가 아니라 컴퓨터가 학교 제출 자료를 바탕으로 낸 것이니 더 난리가 나는 것이 당연했다.
보통 컴퓨터는 불편부당하고 편견이 없는 기계적 판단을 한다고 여겨진다. 그래서 컴퓨터의 판단에 이의를 제기하는 것은 거의 정신병자나 할 수 있는 일로 보인다. 그러나 이번 사태는 학생과 학부모의 항의를 정당화할 근거가 한두 개가 아니었다. 그만큼 컴퓨터 채점 기준에 허점이 많았다는 뜻이다. 예를 들면 전반적인 등급도 전해인 2019년에 비해 30% 이상 하향되었다. 등급의 비율이 정해져 있는 상대평가 방식이 아니라 각자 자기 점수를 받는 절대평가 방식인데도 불구하고 말이다. 만약 이전처럼 지필고사를 쳤다면 난이도가 어려워서 그런 결과가 나왔다고 할 수도 있다. 그런데 전국의 교사들이 사전에 학생들에게 부여한 예상 등급보다 낮게 받은 학생이 거의 40%라면 알고리즘 잘못으로 컴퓨터가 점수를 너무 짜게 주었다는 결론 말고는 다르게 설명할 방법이 없다.
작년 비해 30% 이상 하향 평가
영국 정부는 코로나19 사태가 악화하자 대입 시험을 치르지 못할 경우에 대비해 일찌감치 지난 3월부터 컴퓨터 알고리즘에 의한 등급 도출 제도를 도입했다. 종전의 지필고사 없이 교사가 매긴 예상 등급만 가지고 성적을 낼 경우 등급 인플레이션이 우려된다는 이유로 컴퓨터 채점을 도입하기로 한 것이다. 이번에 컴퓨터 알고리즘이 학생 개개인의 성적을 도출한 평가 자료는 세 가지다. 특정 과목 교사가 특정 학생에게 매긴 예상 등급, 같은 학교에서 이 특정 과목을 선택한 학생 중 특정 학생의 과목 석차, 그리고 해당 학교의 과거 3년간 특정 과목 성적 분포 등이다. 어찌 보면 상당히 합리적인 자료 선택이라 볼 수도 있다. 특정 학교에서 지난 3년간의 성적을 감안해 이 정도 석차면 이 정도 레벨의 성적을 받을 거라고 컴퓨터가 유추하면 전혀 논리적으로는 반박할 여지가 없다.
그런데 문제는 현실적으로 위의 세 가지 자료 외에 고려해야 할 사항이 너무 많다는 점이었고, 그 결과 빈부 차이에 따른 편향적인 등급이 매겨져 불만의 요소가 되었다. 스코틀랜드의 경우 가난한 지역 공립학교 학생들의 성적은 교사 예상 등급에서 15.2%나 하향된 데 비해 부자 지역 사립학교는 6.9%만 나빠졌다. 사후 분석에 의하면 공립학교는 학급당 학생 숫자가 많기 때문에 같은 수준의 성적이라고 해도 공립학교 학생은 석차가 뒤로 밀릴 수밖에 없다. 그런데도 컴퓨터 알고리즘은 단순하게 석차로만 계산해버렸다. 반면 정식 학교가 아니라 입시 전문 학원 같은 데서 공부한 학생들은 오히려 유리한 등급을 받았다. A레벨 시험 신청 인원이 5명밖에 안 되었기 때문이다. 특히 학원 교사들은 장삿속으로 무조건 좋은 예상 등급을 주기도 했다. 예년 같으면 지필시험을 거치면서 이런 주관적인 가중치가 제대로 잡혔겠지만 컴퓨터 알고리즘은 교사 예상 등급 그대로 성적을 내버렸다. 또 선택 학생이 많은 과목은 성적이 낮게 나오고 학생이 적은 과목은 좋게 나온 것도 논란을 일으켰다.
거기다가 학교별 최근 상황이 전혀 고려되지 않았다는 점도 문제로 지적됐다. 예를 들면 공립학교 한 곳이 2년 전 교장이 바뀌어 대대적으로 학교를 개선해서 작년 A레벨에서 아주 좋은 성적을 냈다고 하더라도 알고리즘은 나빴던 2년 전 자료까지 평가사항에 넣어 현실을 정확히 반영하지 못했다. 수준이 높아진 학교의 학생이 실제 시험을 쳤으면 좋은 점수를 받을 수 있었는데 단순한 기준에 근거한 알고리즘 평가로 부당한 성적을 받았다는 것이다.
자료의 공정성 문제도 알고리즘에 의한 평가가 공정할 수 없다는 근거가 됐다. 예를 들어 교사들의 예상 등급이 인종과 빈부를 대하는 편견에 따라 왜곡될 수 있다는 지적이다. 인종문제 단체들은 소수민족의 빈곤한 집안 학생들이 교사의 평가에서 부당한 대우를 받는다는 조사를 이런 근거로 제시하기도 했다. 이들에 따르면 소수민족 학생 중 60%가 교사들의 편견으로 불리한 대우를 받았다는 것이다.
기존에 영국 학교 교사들은 정기적으로 치르는 학교 시험이나 기출문제를 바탕으로 학교별로 만든 GCSE와 A레벨 모의시험(mock exam) 성적, 해당 과목 교육 과정(course work)에서 교사들이 내준 과제물 평가, 수업 시간의 토의 내용 등을 감안해서 학생의 과목별 예상 등급을 결정해 왔다. 특히 교사들이 UCAS로 밀봉해서 보내는 추천서 내용은 학생들이 알 수 없기 때문에 대학교는 공정하다고 보고 이를 입학 사정에 상당히 비중 있게 썼다. 추천서는 비공개지만 교사가 매기는 개개 학생의 과목 예상 등급은 학생들에게 통보를 한다.
그동안 학교 교사의 과목별 예상 등급은 실제 시험을 쳐서 나오는 성적과 크게 다르지 않다는 평가를 받아왔다. 옥스퍼드대, 케임브리지대, 런던정경대, 임페리얼대 같은 명문 대학들은 지금도 학생 대면 인터뷰를 고집하고 있지만 대다수 영국 대학교는 교사의 예상 등급과 추천서를 보고 입학 조건을 결정한다. 물론 대학교들도 평소 고등학교가 매기는 학생 예상 등급의 공정성에 대한 자료를 철저하게 확보하고 있다. 대학도 교사들의 등급 부풀리기에 놀아나지 않고 수준 높은 학생을 뽑기 위해 자구 수단으로 학교별 예상 등급과 사후 학생이 A레벨 시험에서 실제 받아오는 등급을 비교 분석하는 노력을 한다는 뜻이다. 어쨌든 교사의 예상 등급에 대한 믿음이 종전부터 있었기에 이번 사태를 해결하기 위해 영국 사회가 컴퓨터 채점 성적 대신 교사의 예상 등급을 더 비중 있게 사용하겠다는 결정을 내린 것이다.
등급 인플레이션에 곤혹스러운 대학들
지필시험 성적 없이 교사들의 예상 등급을 그냥 인정하기로 하면서 과거에 비해 상위 등급을 받는 학생들이 많이 늘어났다는 통계도 나오고 있다. GCSE의 경우 작년에 응시생 중 69.9%가 통과(9점 중 1점 이상)했는데 이번에는 78.8%가 통과를 했고, A레벨도 최상위 등급 숫자가 예년에 비해 많이 늘었다고 한다. 이 결과 영국 대학교들, 특히 상위권 대학들은 등급 인플레이션으로 곤혹스러운 상태에 처했다. 자격을 갖춘 학생들이 너무 많이 몰려들고 있기 때문이다. 물론 정부는 현재 과별 정원과 대학별 정원 제한을 없앤다는 특단의 조치를 취했지만 문제는 대학교가 늘어난 인원을 받아들일 능력이 안 된다는 점이다. 거기다가 영국 학생들로부터 받는 학비로는 경비를 충당할 수도 없다. 결국 정부나 외부 도움이 없으면 입학생을 받지 못하는 형편이다. 일부 대학교는 입학은 해놓고 바로 한 해를 휴학하고 다른 경험을 쌓는 갭이어(gap year)를 택하면 내년 학비 일부를 감해주겠다는 식으로 신입생들에게 휴학을 권하고 있을 정도다.
현재 영국 야당은 여름 휴가철이 끝나고 개원을 하면 조사위원회를 따로 구성해 이번 사태를 제대로 파악하고 관련자들에게 책임을 묻겠다고 벼르고 있다. 전국이 뒤집어지는 사태가 벌어진 와중에 보리스 존슨 총리는 측근들의 만류에도 불구하고 스코틀랜드로 가족과 여름 휴가를 가서 여론을 악화시켰다. 영국 언론은 ‘보리스는 어디 있는가?’라는 제목과 함께 100일이 갓 지난 아들을 가슴에 안고 배낭을 멘 존슨 총리의 모습을 지면에 내서 사태에 기름을 끼얹었다. 세계 최초로 입학 시험 성적 사정에 컴퓨터를 도입한 영국 정부의 시도는 대실패로 끝났다. 영국 언론은 컴퓨터는 아무런 편견 없이 공정하게 판단하리라고 믿은 영국 정부의 순진함을 힐난하고 있다. 수많은 학생의 장래가 걸린 중차대한 결정을 전문가들의 밀실 결정에 맡길 게 아니라 집단지성의 민주 절차를 거쳐 신중하게 결정지었어야 했다는 비판도 한다.
엄청난 소동 끝에 영국인들이 내린 결론은 하나다. 대입 입시에 관한 한 컴퓨터 알고리즘으로는 현실의 모든 경우의 수를 일일이 고려할 수 없다는 것이다. 수많은 근거 자료를 집어넣어 모든 경우의 수에 대비해 알고리즘을 아무리 잘 만들어도 결국은 완벽한 성적을 도출할 수 없다는 결론이다. 사회적 거리 두기를 하더라도 종전처럼 일괄적 지필시험을 치는 아날로그 방식이 최선이라는 목소리도 높다. 코로나19가 다시 극성을 부리면서 수능시험을 제대로 치를 수 있을지 우려가 높아지는 한국에서 반드시 참고할 필요가 있어 보인다.
주간조선
권석하
재영 칼럼니스트.
보라여행사 대표. IM컨설팅 대표.
영국 공인 문화예술해설사.
저서: 유럽문화탐사(2015)
번역: 영국인 발견(2010), 영국인 재발견1,2 (2013/2015)
연재: 주간조선 권석하의 영국통신, 조선일보 권석하의 런던이야기
