이 글은 다큐멘타리 작가이자 책 '우리의 마지막 발명품: 인공지능과 인류의 종말'(Author, Our Final Invention: Artificial Intelligence and the End of the Human Era)의 저자인 제임스 바랏의 블로그 Why Stephen Hawking and Bill Gates Are Terrified of Artificial Intelligence를 번역, 가공한 글입니다.

스티븐 호킹. 빌 게이츠. 일론 머스크 등 세계 최고의 두뇌들이 인류의 종말을 야기할 수 있는 뭔가에 대해 경고에 나섰다. 그렇다. 이거 너무 SF처럼 들린다고? 하지만 이게 사실이라면 우리는 대체 어떻게 해야 할까?

특히 지난 1년 사이에 인공지능에 대한 공격은 과열됐다. 노벨상 수상 과학자 두 명과 미래과학 사업가, 그리고 PC 사업 창업자 두 명이 - 그중 하나는 세계 최고의 부자다 - 좀 이상할 정도로 비슷한 시기에 인공지능에 대한 경고를 외치고 있다. 이들의 주장은, 인간이 인공지능에 대한 통제력을 잃으면서 인공지능에 의해 통제되거나 말살될 수 있는 가능성이 있다는 것이다. 이런 과학적인 불안감 표출은 이전 그 어느 시대에서도 찾아보기 힘든 사례다. 새로운 기술은 늘 긴장과 불안을 의미했지만 그렇다고 이토록 첨단 분야의 막강한 인사들이 공통적으로 위험 신호를 울린 적은 없었다.

그들의 경고가 더 놀라운 이유? 인공지능 출현이 가능하게 만든 지금의 정보 통신 시대를 개막한 사람이라고도 할 수 있는 빌 게이츠와 스티브 워즈니악이 이런 경고를 하고 나섰다는 사실이다. 또 한 사람은 2014년 5월에 스티브 호킹이 발표한 인공지능 경고문에 함께 서명을 한 스튜어트 러셀이라는 인공지능 전문가다. 그는 인공지능에 대한 교과서라고 할 수 있는 '인공지능: 현대적인 접근법'(Artificial Intelligence: A Modern Approach)의 작가이기도 하다.

위험하게 여겨질 만한 슈퍼 인공지능의 탄생은 아직도 수십 년 먼 이야기라면 이런 경고를 무시해도 된다는 사람들도 있다. 또 기계에게 권리나 인식을 부여해서 기계가 우리의 지배에서 벗어나게 만드는 일은 앞으로도 없을 테니 걱정하지 말라고 하는 사람들도 있다.

그렇다면 위에 언급한 과학계의 명사들과 기업 총수들은 왜 이렇게 큰 목소리로 미래를 걱정하고 있나? 우리도 함께 걱정해야 하는 건가?

"우린 슈퍼 지능을 갖춘 기계를 조절할 줄 모른다."

인공지능을 누가 통제하느냐가 단기적으로는 중요하다고 스티븐 호킹은 적절하게 문제를 설명한다. 그러나 장기적으로는 인공지능이 통제가 가능한지가 관건이다. 단기적인 면을 따지자면 인공지능은 두 가지 기능을 한꺼번에 가능케 하는 기술이라고 호킹은 암시했다. 즉, 좋은 점과 나쁜 점을 함께 지녔다는 거다. 예를 들자면 원자력 발전과 핵폭탄 제조를 가능케 하는 핵분열을 생각해보시라. 그렇다면 인공지능은?

가장 먼저 예로 들 수 있는 것 중 하나가 자동 살상 무기다. 이미 50개국 이상이 전투용 로봇 개발에 애쓰고 있다. 그리고 앞으로 인기가 가장 높을 로봇은 '살상 결정'을 자체적으로 할 수 있는, 즉 인간의 통제 없이 인간을 겨냥하고 생사를 결정할 수 있는 능력을 갖춘 로봇이다. 미국을 비롯해 영국, 독일, 중국, 인디아, 러시아, 이스라엘을 포함한 여러 국가에서 독립형 전투 로봇과 드론을 개발하고 있다.

이런 무기들은 국제법의 제재를 받지 않는다. 만약 그런 제재 방침이 존재한다고 해도 국제 인권법이나 분쟁 조정 차원에서 효력이 있을지 의심된다. 아군과 적군을 어떻게 구별할 것인가? 전투 세력과 민간인은 또 어떻게? 누가 책임을 질 건가? 독립적 살상 무기를 기반으로 한 거대한 무력 팽창이 일어나고 있는 현시점에 이런 질문들에 대한 답이 무시되고 있다는 사실은 이 분야에 대한 도덕적인 문제가 얼마나 심각한지를 증명한다.

거의 비슷한 수준만큼 복잡하고 어려운 주제는 미국 국가 안전국이 운영하는 첨단 데이터-마이닝(data-mining) 도구들이다. 예전의 미국에서는 개인 재산 보호를 정의하는 4번 수정조항에 따라 정부가 개인의 전화 기록을 탐지하려면 판사의 사전인가가 반드시 있어야 했다. 그런데 미국 안전국은 2009년 후부터 구글이나 야후의 해외 망에 직접 연결해 (주로 미국인들의 정보가 담긴) 데이터를 빼냄으로 그런 법 조항을 피해 나가고 있다. 그런데 스마트한 인공지능의 도움 없이 안전국은 이런 행위는커녕 우리의 연락처나 파일에 숨겨둔 나체사진 같은 것도 확보할 수 없었을 것이다. 미국 국가 안전국은 데이터-마이닝 프로그램을 이용해 그 많은 양의 정보를 추려내고 선별했다. 인간의 두뇌로는 몇백만 년이 다 지나도 못 할 일이다.

"할(HAL - 영화 2001: 스페이스 오디세이에 출연하는 인공지능 컴퓨터)이 자기를 더 스마트하게 만드는 피드백 회로 프로그램을 언제 작동시키지?"

데이터-마이닝과 살상 로봇의 발전을 가능케 하는 기술은 사실 우리의 삶도 편리하게 해준다. 우린 이런 기술을 쇼핑에, 번역에, 길 찾기에, 또 머잖아 운전에 도입하게 될 거다. 퀴즈 프로그램 제퍼디(JEOPARDY)에서 인간을 이긴 IBM의 왓슨 컴퓨터는 의사 시험 준비를 하고 있다고 한다. 또 왓슨 컴퓨터는 변호사들처럼 법정 사례를 찾는 작업을 하고 있는데, 그 속도가 첫해 근무를 시작한 변호사들보다 빠르다고 한다. 또 엑스레이를 보고 폐암을 구별해내는 능력도 인간보다 월등하고 최고 사업 분석가보다도 더 업무능력이 뛰어나다.

그러니 생각하는 기계가 인공지능과 관련한 기술 개발에 더 능숙해질 날이 멀다고는 장담할 수 없다. 그러니까 이를테면, 할(HAL - 영화 2001: 스페이스 오디세이에 출연하는 인공지능 컴퓨터)이 자기를 더 스마트하게 만드는 피드백 회로 프로그램을 언제 작동시키느냐가 문제라는 것이다.

위 질문은 사실 영국 수학자인 I. J. 굿(Good)이 60년 대 제시한 '지능 폭발'의 전제다. 굿은 지금의 '깊은 지능(deep learning)' 개발의 기본 토대가 된 초기 인공 신경망을 이미 50년 전에 연구했다. 그는 자체적으로 발전하는 기계가 인간과 동등한 지능을 획득하게 될 것이고 결국은 인간을 추월하는 기하급수적인 지능 성장을 이룩할 거라고 예측했다. 기아, 질병 그리고 전쟁 같은 어려운 문제를 해결하여 인간을 구할 것이라고도 했다. 그런데 내 책 '우리의 마지막 발명품(Our Final Invention)'에 썼듯이 그는 죽기 얼마 전에 미래에 대한 낙관적인 입장을 바꿨다. 그는 글로벌 경쟁을 걱정하면서 국가들이 보호 장치를 무시한 채 슈퍼 인공지능 개발에 몰입할 거라고 예견했다. 그리고 스티븐 호킹, 스튜어트 러셀, 일론 머스크, 빌 게이츠, 스티브 워즈니악과 마찬가지로 그런 인공지능이 우리를 파괴할 수 있다고 걱정했다.

"인공지능은 자체 방어적으로 변하면서 자기의 목표 달성을 위해 자원을 비축한다. 생존하기 위해 인간과 대립할 거다. 꺼지기를 거부할 거다."

맹점은 우린 슈퍼 지능을 조절할 줄 모른다는 것이다. 슈퍼 지능이 무해한 태도로 인간을 대할 거라고 믿는 이들도 있다. 그런데 인공지능 과학자인 스티브 오모훈드로의 중요한 연구에 의하면 기본적인 의지를 인공지능도 갖게 될 것이다. 유성에서 탄광 일을 하거나, 주식을 선별하거나, 에너지와 수자원에 필요한 주요 인프라를 운영하거나, 자체 방어적으로 변하면서 자기의 목표 달성을 위해 자원을 비축하고 생존하기 위해 인간과 대립할 거다. 꺼지기를 거부할 거다. 오모훈드로의 연구에 의하면 슈퍼 지능 기계를 아주 조심스럽게 디자인하지 않을 경우 인공지능의 의지와 인간 의지의 충돌은 불가피하다. 따라서 스티븐 호킹이 질문했듯이 다음 의문을 갖는 것이 우리에겐 합당하다. "인공지능이 불러들일 계산이 불가능한 엄청난 이익과 역시 계산이 불가능한 엄청난 위험을 눈앞에 둔 현시점에서, 어쨌거나 전문가들이 인간에게 이로운 방식으로 인공지능을 개발하고 있겠지? 그렇지?"

대답은, 아니올시다.

몇 가지 예외가 있지만 대부분의 기업과 과학자들은 안전과 도덕성을 고려하기보다는 제품 생산에만 연연하고 있다. 그리고 다음 10년 동안 인공지능을 이용해 생산되는 경제 가치만 조 달러 수준이 되리라는 전망이 나오고 있다. 그렇다면 그 어마어마한 돈 중 일부만이라도 인공지능을 통제하고 인간의 생존을 보호하는 데 투자되어야 하지 않을까?