챗GPT가 한국에서 대학수학능력시험을 본다면 영어 2등급, 수학은 아직 낙제 수준을 받을 것이라는 흥미로운 분석결과가 나왔다. 

8일 시험평가 전문기업 애나와 연세대학교 인공지능대학 김시호 교수 연구팀이 실제 수능 문제를 통해 실력을 가늠해 본 결과 영어에서 2등급 수준의 능력을 보였으나 수학에서는 상반된 결과가 나와 수학 능력은 아직 현저히 부족한 것으로 나타났다고 밝혔다. 

최근 챗GPT가 미국 의사시험, 로스쿨과 MBA등 전문직 시험에 통과하였다는 결과가 세상을 놀라게 했다. 한국에서도 챗GPT가 실력을 발휘할 수 있을까? 애나와 연세대학교 인공지능대학 김시호 교수 연구팀은 실제 수능 문제를 통해 챗GPT의 실력을 가늠해 보았다.

이번 실험은 2023학년도 대학수학능력시험문제에서 그림이 포함되어 문항의 입력이 불가능한 경우를 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행했다. 

영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞추어 합산 점수 82점을 취득하였다. 수능 2등급 수준의 능력이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서는 모두 정답을 맞췄다.

반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞추었으나, 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력하여 챗GPT의 수학 능력은 아직 현저히 부족한 것으로 나타났다. 기계학습 방법으로 수학을 배우는 챗GPT의 연산 능력은 한자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에서 오답을 낼 정도로 정확도가 떨어진다.

챗GPT사례가 보여주듯, 최근 등장하고 있는 거대 인공지능의 능력은 환호와 동시에 우려를 낳고 있다. 신체의 힘을 사용하는 오래된 직업보다 오히려 전문직 일자리를 빠르게 대체할 가능성이 높으리라는 이야기가 있을 정도다. 그 양상을 예측하고 준비하는 일이 사회적으로 더욱 중요해질 것이다. 다만, 대학교육 현장에 있는 이들은 앞으로 대학교육에 어떤 변화가 일어날 것인지에 대해 관심이 많다. 

이번 벤치마킹을 주도한 애나의 이상호 CTO는 “챗GPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있으며 이러한 요약, 추론 기능을 활용하여 응용할 수 있는 서비스가 무궁무진할 것으로 보이고, 산업계에서는 이에 맞추어 인재 채용에 대한 요구사항이 머지않아 바뀌게 될 것”이라고 말했다.

연세대 공학교육혁신센터의 한경희 교수는 "멀지 않은 미래에 인공지능의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것이며 인공지능과 동행하게 될 앞으로의 교육에서 새로운 교육 목적과 방법을 고민하지 않는다면 미래사회에서 대학 교육은 존립의 근거를 잃게 될 지도 모른다"고 밝혔다. 

한편 애나는 2021년부터 VR/AR 시험평가 기술 개발을 시작으로 시험평가 및 기술검증 사업을 꾸준하게 추진해온 전문 시험평가 및 기술검증 기관이다. 현재는 메타버스를 포함한 XR 뿐만 아니라 인공지능, 그리고 블록체인까지 SW 전반에 대한 시험평가 및 기술 검증을 KS 및 ISO/IEC 등의 국제 시험평가 및 인증 표준에 기반하여 수행하고 있다.