카카오가 개발한 AI가 기계를 대상으로 한 한국어 독해능력평가에서 91.85점을 받았다. 주최측인 LG CNS 측은 인간의 독해능력 수준이 91.20점이라고 밝혔는데 이에 따르면 AI가 인간의 평균 독해능력을 앞지른 셈이다.
주최측이 제시한 문제는 이런 식이다. 예를 들어 “아이유는 1993년 5월 16일 서울특별시에서 태어났으며, 경기도 하남시와 의정부시를 거쳐 서울특별시 광진구에서 자랐다. 초등학교는 하남시의 하남천현초등학교에서 3학년까지 다니다가 서울 광진구의 서울양남초등학교로 전학가 졸업하였다”와 같은 지문을 주고, “아이유가 졸업한 초등학교는 어디인가?”라는 질문이 제시되면 그 답을 찾는다. 위 문제의 정답은 “서울양남초등학교”다.
카카오 관계자는 “이번 평가 결과는 인공지능 자연어 처리 기술을 활용해 인간의 독해 능력을 넘어서는 최초의 모델을 구현했다는 점에서 높이 평가받을 만하다”며 “이번 개발한 언어모델 기술을 스마트 스피커 카카오미니에 적용하기 위한 연구를 진행 중”이라고 밝혔다.