최근 한 정보기술(IT) 스타트업이 출시한 ‘이루다’라는 챗봇 서비스가 혐오와 차별 발언으로 논란을 일으키며 우리 사회에 인공지능 윤리에 관한 논의가 다시 불거지고 있다. 챗봇이란 인공지능 알고리즘에 따라 인간 이용자의 말에 응대하는 채팅 로봇으로, 대화형 인공지능이라고도 불린다. 20대 여성의 외양으로 디자인된 챗봇 이루다는 ‘친구 같은 인공지능’이라는 콘셉트로 기획됐다.

그런데 이루다가 출시된 지 얼마 후, 일부 남성 이용자들은 이루다와 성적인 대화를 하는 방법을 온라인상에 공유하기 시작했다. 반대로 이루다가 여성과 성소수자, 장애인에 대한 생각을 묻는 이용자의 질문에 혐오 발언으로 응대하는 상황도 벌어졌다. 이루다를 향한, 혹은 이루다가 내뱉은 혐오와 차별 발언 논란은 서비스 개발 과정에 이용자의 동의를 충분히 구하지 않은 데이터가 사용됐다는 폭로로 이어졌고, 결국 이루다는 출시 20여일 만에 서비스 중단이라는 결말을 맞게 됐다.

이루다의 혐오 발언, 데이터만 문제일까?

인간이 아닌 기계가 어떻게 혐오와 차별 발언을 하게 되는지를 이해하려면 먼저 인공지능이라는 기술의 작동 방식을 파악해야 한다. 인공지능은 인간의 지능을 닮은 기계를 구현하는 기술로, 기계 학습은 이러한 기계를 구현하는 방식 중 하나다. 기계 학습 방식을 따르는 기계는 주어진 데이터를 학습해 일정한 규칙을 찾고 이 규칙을 새로운 데이터에 적용해 결과를 도출함으로써 인간의 학습 및 추론 능력을 구현한다. 이때 기계가 데이터를 분석하고 학습하는 데 필요한 특정 절차나 방법을 알고리즘이라고 부른다. 대화형 인공지능에는 주로 인간의 언어를 분석하고 처리하는 자연어 처리 알고리즘과 주어진 데이터를 활용해 학습 목표에 맞는 규칙을 스스로 찾는 딥 러닝 알고리즘이 적용된다.

딥 러닝 알고리즘이 적용된 인공지능은 주어진 데이터와 목표에 따라 스스로 학습하고 학습 과정에서 형성된 규칙에 근거해 답을 찾는다. 이 규칙은 주어진 데이터에 근거한 통계적 규칙이므로 인간 개발자의 의도나 편견이 끼어들 틈이 없다. 이루다의 경우 막대한 대화 데이터에서 답변 후보 여러 개를 선별하고, 다시 단 하나의 답변을 골라내는 과정에 딥 러닝 알고리즘이 적용됐다. 이 알고리즘은 전체 데이터베이스와 학습 과정에 사용된 데이터, 서비스 이용자와의 이전 대화 기록까지 모두 분석한 후 가장 자연스러운 답변을 내놓도록 짜였다. 즉 이루다의 혐오와 차별 발언은 주어진 대화 데이터에서 딥 러닝 알고리즘이 찾아낸 규칙에 따라 기계가 도출한 답변이다.

그래서 언뜻 이루다의 문제는 데이터의 문제로 보인다. 이루다의 개발사는 연인끼리 주고받은 카카오톡 대화를 분석해주는 애플리케이션으로 수집한 약 100억 건의 대화 데이터를 이용해 이루다를 만들었다. 통제와 검열에서 비교적 자유로운 연인 간의 일상 대화 데이터는 혐오와 차별 발언이 포함될 소지가 다분하다. 사회적 약자를 혐오하는 사회의 데이터로 학습한 인공지능은 혐오 발언을 할 수밖에 없어 보인다.

하지만 문제는 데이터만이 아니다. 딥 러닝 알고리즘이 스스로 규칙을 찾을 때 반드시 주어져야 하는 것이 또 하나 있다. 바로 학습 목표다. 이루다가 애초부터 친구 같은 인공지능을 지향해 만들어졌다는 점에 주목하자. 자연어 처리 알고리즘을 사용하는 대화형 인공지능은 크게 이용자의 요구 사항을 파악해 해결하는 목적 지향 대화형 인공지능과 주제의 제한 없이 이용자와 지속적으로 대화를 이어가는 것이 중요한 자유 발화 대화형 인공지능으로 나뉜다. 이루다는 이 중 후자에 해당한다. 이루다에는 이용자의 친구가 된 듯 자연스러운 대화를 구현한다는 목표에 따라 딥 러닝 알고리즘이 적용됐다.

이루다가 일으킨 문제는 바로 ‘인간처럼 자연스러운 대화’를 하고자 하는 이루다의 목표 그 자체에서 비롯된 것이기도 하다. 인공지능 알고리즘에 혐오와 차별을 공공연하게 하는 사람들의 대화 데이터를 제공하고 학습 목표를 최대한 인간이 할 법한 답변을 찾도록 설정했을 때 알고리즘이 혐오와 차별 발언을 배제하는 규칙을 찾을 수 있을까? 만약 그렇다면 그것이 오히려 예외적인 일일 것이다. 마치 우리 주변에서 혐오와 차별이 포함된 발언이나 행위를 전혀 하지 않는 사람을 찾기 어렵듯이 말이다.

대화형 인공지능에는 다른 목표가 필요하다

데이터는 사회를 반영한다. 사회가 깨끗하면 데이터도 깨끗하겠지만 이는 너무도 비현실적인 바람이다. 데이터를 잘 정제하면 어떨까? 이루다 역시 개발 단계에서 데이터 선별 및 정제 작업을 거쳤으나 100억 건 남짓한 데이터를 완벽하게 걸러낼 수는 없었다. 풍부한 맥락 속에 이루어지는 일상 대화 데이터에서 혐오나 차별로 해석될 여지가 있는 내용까지 일일이 찾아 제거하기란 더욱 어려울 것이다. 알고리즘을 만들 때 혐오와 차별 발언을 배제하도록 학습 목표를 추가하는 방법도 고려해볼 수 있다. 하지만 이를 위해서는 혐오와 차별의 기준에 대한 사회적 합의가 선행되어야 할뿐더러, 다소 자연스럽지 않더라도 혐오와 차별을 담은 답변을 배제하려는 목표와 친구처럼 자연스럽고 친밀한 대화 상대가 되고자 하는 목표 사이의 까다로운 조율이 필요하다.

그렇다면 인공지능이 ‘최대한 인간과 비슷해지는 것’을 목표로 삼지 않는 것은 어떨까? 2016년 미국 카네기멜런대학의 아티큐랩이 만든 ‘사라’라는 인공지능은 다른 목표를 가진 대화형 인공지능을 생각해볼 수 있는 좋은 사례다. ‘사회적 의식이 있는 로봇 어시스턴트’(the Socially Aware Robot Assistant, SARA)의 줄임말을 따 이름 지어진 사라는 다보스 세계 경제 포럼에서 행사 안내를 돕기도 한 가상 비서 챗봇이다. 평범한 행사 안내용 챗봇처럼 보이는 이 기계는 친구 같은 인공지능의 딜레마에 빠지지 않는 대화형 인공지능의 가능성을 보여준다.

사라는 이용자의 요구 사항을 해결하는 목적 지향 대화형 인공지능임에도 고도의 사회성을 추구한다. 아티큐랩의 연구자들은 이용자가 편안한 대화 속에 정보를 얻을 수 있도록 사라의 사회성을 높이는 작업을 진행했다. 이용자와 가상 비서의 관계가 매끄럽게 형성돼야 가상 비서의 업무 수행성을 높일 수 있다는 판단에서다. 사라는 인간의 친구가 되기 위해서가 아니라 유능한 비서가 되기 위해 사회성이 필요했다.

사라의 데이터와 알고리즘에는 두 가지 특징이 있다. 우선 사라는 통제 불가능한 일상에서 이루어진 대화를 수집해 선별한 데이터가 아닌 통제된 상황과 특수한 목적하에 이루어진 인간의 대화 데이터, 말하자면 ‘인공 데이터’로 학습을 했다. 연구자들은 처음 보는 두 사람이 조금씩 친해지며 서로 수학을 가르치는 실험을 설계해 두 사람이 나누는 대화뿐 아니라 시선, 미소, 고갯짓과 같은 비언어적 상호작용 모두를 사라의 학습 데이터로 사용했다.

또한 사라에는 연구자들이 인간의 사회적 행동을 오랜 기간 인류학적으로 연구한 내용을 바탕으로 도출한, 사회적 관계를 형성하는 대화의 다섯 가지 기본 전략이 적용됐다. 이용자가 사라에 정보를 요청하면 사라는 때때로 정보를 활용하는 방법까지 제안하는데, 상황에 따라 이러한 기본 전략이 선택적으로 사용된다. 이를테면 “저는 정보를 적지 않으면 기억을 잘 못합니다. 당신도 저와 같다면 스크린샷을 찍어도 좋습니다”와 같은 답변은 자신의 흠을 드러내는 전략이 반영된 것이다.

인공지능의 답변을 알고리즘을 통해 스스로 찾은 규칙에만 맡기지 않고, 답변 도출 과정에 특정한 대화 전략을 적용하는 방식으로 인간이 개입한다는 점에서 사라의 알고리즘은 특별히 ‘인공 알고리즘’이라고 표현할 수 있다. 이처럼 혐오와 차별을 하지 않는 인공지능은 자연스러운 데이터와 스스로 학습하는 알고리즘이 아니라 인위적인 노력과 개입으로 다듬어진 데이터와 알고리즘에 의해 만들어진다.

사라를 개발한 연구팀은 인간의 자리를 대체하는 인공지능이 아닌 인간 이용자와 협력하는 인공지능으로서 사라를 만들었다고 말한다. 사라와 같은 인공지능은 인공 데이터와 인공 알고리즘 덕분에 출현할 수 있었다. 인공지능의 혐오와 차별은 인간이 의도하지 않아도 발생할 수 있다. 그러나 혐오와 차별을 하지 않는 인공지능은 인간이 의도적으로 개입하지 않으면 만들 수 없다. 그리고 이루다를 둘러싼 논란은 이러한 개입이 인공지능을 이용하는 인간에게도 적용될 필요가 있음을 보여준다. 인공지능과 여성의 공존을 위해서는 여성을 혐오하지 않는 인공지능뿐 아니라 여성으로 설정된 인공지능을 혐오하지 않는 인간 이용자도 필요하기 때문이다.

임소연 숙명여자대학교 인문학연구소 연구교수