과학기술정보통신부가 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2단계 평가 결과를 발표한 가운데 참가한 기업별 점수는 구체적으로 공개할 수 없다고 밝혔다. 

'서바이벌' 형식의 진행이 예상됐던 독파모 단계가 대폭 수정될 수 있단 점도 시사했다. 독파모 경쟁 방식을 두고 업계 안팎에서 제기된 회의적 시선을 의식한 결과로 풀이된다. 

과기정통부는 업스테이지, SK텔레콤, LG AI연구원 정예팀이 독파모 2단계 평가를 통과해 다음 단계 진출에 성공했다고 8월18일 밝혔다. 

모티프테크놀로지스 정예팀은 진출 대상에서 제외됐다. 

류제명 과기정통부 2차관은 이날 서울 종로구 정부서울청사에서 열린 브리핑에서 선발된 세 개 팀을 발표하며 "독파모 2차 단계평가에서 우리의 AI 역량을 국내외에 알렸다"고 자평했다. 

다만 그는 참가 기업들의 역량을 구체적으로 비교하는 것을 꺼렸다. 

류 차관은 "네 팀 모두 독자성을 확보한 것으로 평가됐다"며 "특별히 어떤 항목이 결정적이었다고 보기 어려울 정도로 종합적으로 평가한 결과"라고 강조했다. 

이날 발표에서 기업들의 개별 평가 점수는 구체적으로 공개되지 않았다. 항목별 전체 평균 점수와 1위와 4위간 격차만 공개됐다. 

이번 2차 단계평가 점수 배점은 벤치마크 평가(40점), 전문가 평가(35점), 사용자 평가(25점)로 구성됐다. 

벤치마크 평가는 성능과 기술력을 검증한다. 아티피셜 애널리시스의 AAII 벤치마크 평가와 한국지능정보사회진흥원(NIA) 벤치마크 평가를 각각 25점, 15점 배점으로 반영했다.

4개 정예팀 평균은 22.5점, 1위와 4위간 점수 격차는 4.0점으로 나타났다. 

전문가 평가는 10명으로 구성된 전문가위원회가 AI 모델의 기술력부터 파급 효과를 종합적으로 평가한다. 평가 항목별 배점은 △개발전략 및 기술(10점) △개발 성과 및 계획(10점) △파급효과 및 기여계획(15점) 등이다. 

평가 결과 4개팀 평균은 28.8점, 1위와 4위간 점수 격차는 2.4점으로 나타났다. 

사용자 평가는 AI 모델에서 이용자들이 체감하는 사용성과 효능감을 평가한다. 전문 사용자(15점)와 일반 국민(10점)으로 나눠 평가를 진행했다. 

그 결과 4개팀 평균은 17.6점, 1위와 4위간 점수 격차는 5.0점으로 나타났다. 

류 차관은 "각 항목에서 일관되게 1등을 한 기업은 없었다"며 "기업들 순위나 점수 차이를 공개하면 해당 기업이 불이익을 받을 것이 우려되기 때문에 세세히 공개하기 어렵다"고 설명했다. 

현재의 독파모 프로젝트 평가 체계가 근본적으로 달라질 수 있다는 점도 시사했다. 최근 '프론티어(최정상급) AI' 모델 개발 속도를 따라가려면 정부의 독파모 프로젝트로는 역부족이라는 업계 안팎의 평가가 나오고 있다. 이를 염두에 두고 기존 방향 수정 가능성을 언급한 것으로 보인다. 

류 차관은 "원래 독파모 프로젝트의 표면적 목표는 최종적 승자를 가리는 것이었지만, 성공한 한두 개 기업을 뽑으려는 목적에 집중하기보다는 국내 AI 자체 경쟁력을 높이려고 한다"며 독파모 프로젝트가 '서바이벌'처럼 인식되는 것을 경계했다. 

그는 다음 3차 단계평가에 관해서도 "아직 구체적 계획을 말씀드릴 수 있는 단계가 아니다"라며 "조만간 정부 예산이 확정되는 대로 설명할 기회를 갖겠다"고 말했다. 

한편 모티프테크놀로지스 정예팀은 벤치마크 평가 가운데 AAII 평가에서 전 세계 10위를 차지하며 최고 점수를 기록했지만 다음 단계 진출에서 제외됐다. 

이를 두고 류 차관은 "모티프테크놀로지스는 기술력 측면에서 세계적 수준이라는 것 증명했다"면서도 "다만 사용성과 활용성 부분에서 다른 모델들에 비해서 평가가 낮았다"고 설명했다.