기계가 드러내는 편향, ‘이루다’만 문제였을까?

지난 1월 인공지능 챗봇 ‘이루다’는 남성 이용자들의 성희롱, ‘이루다’의 혐오 발언, 개인정보 활용 등 인공지능을 둘러싼 다양한 문제들을 제기했다. 이미 여러 곳에서 이 문제를 다루고 진단하고 보완책을 얘기했기에 여기서 더 자세히 언급할 필요는 없어 보인다. 다만, 솔직한 감상평 하나만 덧붙이자면, “왜 이제야 이게 문제”라고 하는 것인지 안타까웠다. 인간이 만들어낸 결과물을 데이터화 해 기계가 학습하는 과정에는 필연적으로 문제가 발생한다. 데이터 선정에 있어서 편향으로 인한 오류 가능성, 모든 것을 계량화할 수 있는 것은 아니기 때문에 생기는 데이터의 불완전성, 인간이 역사적으로 쌓아 온 암묵적 편향성, 학습과정과 학습 데이터의 불투명성 등이 대표적이다¹. 인간은 완전하지 않다. 완전하지 않기 때문에 인간은 역사적으로 봤을 때 이를 조금씩 보완하면서 진보해 왔다. 그런데 기계는 인간이 만들어낸 데이터를 학습한다. 이 데이터들은 현재 시점에서 봤을 때 언제나 과거의 데이터다. 과거의 인간은 현재 시점에서 봤을 때 언제나 문제의 소지가 있다.

조금은 극단적이지만 하나의 예를 들면, 최근 케이블TV에서 자주 재방송되고 있는 ‘전원일기’의 한 장면을 떠올려 보자. 여자와 남자가 밥상을 달리 해 밥을 먹는 장면은 방영 당시에는 자연스러웠지만 현재 시점에서는 굉장히 불편하다. 만약 ‘전원일기’의 대화를 학습한 챗봇이 나왔다면 ‘어디 여자가 감히’ 등과 같은 굉장히 구시대적 발언을 내 놓았을 것이다. ‘이루다’만 이런 문제를 드러낸 것이 아니다. 구글에서 뉴스 기사 수십만 개를 수집한 후 분석한 연구 결과²를 한 사례로 제시해 본다. 연구진이 수집한 기사들을 데이터화 해 기계 학습을 진행한 뒤 “남성의 직업이 프로그래머라면 여성의 직업은 뭐냐”라는 질문을 던졌는데 기계는 주부라고 답했다. 수집한 뉴스 기사에서 나타난 가장 극단적인 여성의 직업은 주부(homemaker), 간호사(nurse), 접수계 직원(receptionist), 사서(librarian) 등의 순이었다. 가장 극단적인 남성의 직업은 마에스트로(maestro), 선장(skipper), 철학자(philosopher), 기장(captain) 등이었다.

뉴스 기사는 사람이 그동안 쌓아 온 대표적인 데이터라고 할 수 있는데, 이를 기계가 학습하는 과정에서 과거 사람들의 편향성을 반영하고 나아가 증폭시킨다는 연구 결과다. 만약 현재 시점에서 저러한 질문을 사람에게 던졌을 때 “주부”라고 대답한다면 젠더 관점에서 문제라고 강하게 지적 받을 것이다. 기계가 드러내는 편향 혹은 문제들은 인공지능 등 기술의 결함이 아니라 인간이 역사적으로 쌓아 온 내용들을 학습하면서 생긴 결과인 경우가 대부분이다³. 이러한 젠더 편향의 문제는 현재도 여전하다.

국내 포털 사이트 이미지 검색에서 ‘병원 의사’와 ‘병원 간호사’로 각각 검색한 결과, ‘병원 의사’의 경우에는 남성이 다수로 제시되고 ‘병원 간호사’의 경우에는 여성이 절대 다수로 제시된다. (사진은 지난 2월 4일 이미지 검색 결과)

역사적으로 봤을 때, 의사의 경우 남성, 간호사의 경우 여성이 다수인 것은 맞다. 하지만, 성별에 따른 직업의 고착화에 대한 문제 제기에 따라 실제 교육 현장에서는 남성을 의사, 여성을 간호사로 고정해 인식하지 않도록 가르치고 있다. 그럼에도 포털의 검색 결과에서는 남성은 의사로 여성은 간호사로 결과적으로 표상되고 있다. 이는 검색 엔진의 설계 잘못은 아니다. 그동안 인간이 쌓아 온 데이터들을 검색 엔진이 수집한 결과이기 때문이다. 많은 데이터를 쌓다보니 그동안 인간이 쌓아 온 역사적 편향이 드러난 것일 뿐이다. ‘이루다’와 같은 언어 생성 알고리즘이 학습 데이터의 혐오표현과 허위정보를 반영한 결과를 내 놓는 것처럼 이미지 생성 알고리즘에서도 같은 결과가 반복될 수 있다는 점을 증명한 연구 결과⁴도 이러한 문제가 계속될 것임을 보여준다. 이 연구결과에 따르면, 증명사진처럼 목 부분 상단의 얼굴만 제시할 경우, 남성 이미지의 경우 양복을 입고 있는 전신사진을 만들어 낸 것이 가장 높은(43%) 반면에, 여성의 경우 비키니 등과 같이 속살을 많이 드러내는 의상으로 자동 완성하는 경우가 가장 높았다(53%)고 한다. 심지어 알렉산드리아 오카시오 코르테스(Alexandria Ocasio-Cortez) 미 하원의원 같은 유명 정치인의 얼굴 사진에도 비키니 사진으로 자동 완성한 것으로 나타났다.

젠더 편향과 함께 자주 드러나는 것이 인종적 편향이다. 미국 법원에서 사용하고 있는 콤파스(COMPAS, Correctional Offender Management Profiling for Alternative Sanctions) 시스템이 대표적 사례다. 콤파스는 노스포인테(Northpointe)⁵에서 만든 형량 선고 및 재범 확률 예측 시스템으로, 범죄 관련성과 함께 대인관계 및 생활방식(relationships/lifestyles), 성격 및 태도(personality/attitudes), 가족(family), 사회적 배제(social exclusion) 영역으로 구분해 측정한 후 이를 종합해 형량을 선고한다. 미국의 탐사보도 매체 프로퍼블리카(ProPublica)가 지난 2016년 콤파스를 활용해 플로리다에서 체포된 범죄자 1만 명을 대상으로 재범 가능성을 예측한 결과 ⁶, 비슷한 상황임에도 흑인을 백인보다 2배나 더 많이 재범 대상으로 예측했다. 콤파스는 역대 판결을 기계 학습한 결과에 따라 판정한 것으로 인간 판사들이 그동안 얼마나 인종적 편향을 갖고 판결해 왔는지를 보여주는 결과다.

영국 경찰이 범죄 예측에 활용하고 있는 ‘HART(Harm Assessment Risk Tool)’ 시스템에서는 인종적 편향과 더불어 빈부에 대한 편향도 나타났다. 실제 범죄 여부와 상관없이 ‘가난한 사람들(the poor)’이 부유한 사람들에 비해 더 범죄 확률이 높은 것으로 예측된 것이다⁷. 이 외에도 하낙 등⁸이 미국의 전자 상거래 업체들의 개인별 가격 정책에 대해 연구한 결과에 따르면, 같은 상품이더라도 수집한 개인 정보에 따라 상거래 업체들이 가격을 조정하는 것으로 나타났다. 연구진은 이용자 쿠키 등을 분석해 개인 맞춤형 가격을 제공하는 곳들의 가격 변동 폭을 조사했는데, 위치, 연령, 과거 구매 내역 등에 따라 가격이 차별적으로 제시되는 것으로 드러났다. 특히, 오르비츠(Orbitz)의 차량 렌트 가격은 같은 시간, 비슷한 지역에서 접속해도 개인별로 두 배 가량 가격 격차가 발생했다.

이렇듯 인간이 만들어낸 데이터를 기계가 학습함에 따라 드러나는 편향 문제를 해결하기 위한 기술적 시도들도 이뤄지고 있다. 앞서 구글 뉴스 학습 결과 등에서 발견된 남성과 여성의 직업 편향성의 경우, 기계 학습 전에 데이터에서 해당 편향성을 제거하는 방식이다. 이를 탈편향(debias) 알고리즘이라고 부르는데, 기계 학습에 사용되는 데이터들에서 편향성이 확인될 경우 이 데이터들을 제거하는 것이다. 예를 들어, 여성의 직업과 관련해 주부, 간호사 등 극단적 편향성이 있을 경우 이 직업들은 여성과 관련해서는 직업으로 인식하지 못하도록 조치한다. 한 사례로, 시카고 대학교에서 만든 툴킷인 ‘애퀴타스(Aequitas)’⁹는 기계 학습 모델의 편향성과 공정성 탐지를 목적으로 하고 있다. ‘애퀴타스’는 기계 학습 개발자, 분석자, 정책결정권자들이 기계 학습 모델에 있어서 차별과 편향을 탐지할 수 있도록 만든 오픈 소스 도구로 웹 사이트에서 편향성 탐지가 필요한 데이터를 업로드하고 편향 문제가 있어서는 안 될 집단을 선택한 뒤 툴킷이 제공하는 공정성 메트릭스(젠더, 연령, 인종 등)를 선택하면 해당 데이터가 갖고 있는 편향성에 대해 보고서를 발행해 준다. 웹 사이트에 검사가 필요한 데이터만 올리면 몇 가지 절차 뒤에 바로 편향성 보고서를 발행해 주기 때문에 코딩에 익숙하지 않은 사람들도 쉽게 학습 데이터의 문제 여부를 검증해 볼 수 있다. 보다 복잡한 검증을 원하는 사람들을 위해 소스 코드를 공개해 직접 실행해 볼 수 있도록 제공하는 한편, API도 함께 제공하고 있다. 편향성을 어떻게 계산했는지와 관련한 공식들도 홈페이지를 통해 모두 공개하고 있으며, 해당 계산을 이용자가 자신의 관점에 맞게 변경해 실행할 수도 있게 했다.

구글, IBM, 마이크로소프트 등 기술 기업들도 데이터 편향과 결과적 공정성 구현을 위한 서비스들을 출시하거나 만들어 나가고 있다. 구글의 ‘What-If Tool’¹⁰은 이용자들이 기계학습 과정에서 직접 다섯가지 공정성 유형¹¹을 시험해 볼 수 있도록 만든 도구다. 알고리즘 공정성 제약 조건을 테스트하고 추론 결과를 시각화하고 데이터 포인트를 편집해 피처(feature) 변경에 따라 모델의 성능이 어떻게 달라지는지를 볼 수 있게 한다. 데이터를 통해 기계 학습 모델에서 나타날 수 있는 다양한 유형의 편향과 모델을 학습시키기 전 데이터에 반영된 인간의 편향을 식별하는 방법과 편향이 반영된 모델의 성능과 예측을 평가할 수 있도록 하고 있다. IBM의 편향성 완화 툴킷인 ‘AIF 360(AI Fairness 360 Open Source Toolkit)¹²’은 편향성 평가 메트릭스를 제공하기 위해 개발된 오픈소스로 전처리 과정에서 가중치 조정을 수행하고 편향을 수치화해 제공한다. 70개의 알고리즘 공정성 지표와 10개의 편향보정 알고리즘을 제시하고 있으며, 콤파스, 신용평가알고리즘(automated credit-scoring algorithms), 성인 소득 분류 등 데이터를 기반으로 한 시험 과정을 제공해 편향을 예측해 볼 수 있게 했다. 마이크로소프트의 ‘페어런(Fairlearn)’은 평가 대시보드를 통해 모델의 예측이 다른 집단에 어떤 영향을 주는지 평가하기 위한 도구를 제공하고 공정성 및 성능 메트릭스를 사용하여 여러 모델을 시각화해 비교할 수 있게 한다.

여러 보완 방안이 시도되고 있지만 ‘이루다’ 등이 드러낸 문제가 쉽게 해결되지는 않을 것이다. 현재의 시점에서 “공정함이 무엇인지 정의할 수 없기도 하지만, 우리가 공정하다고 믿어온 것 자체가 역사적으로 볼 때 공정하지 않았으며, 인류의 역사는 결과에 대해 끊임없이 수정해 온 것이지 이상적인 공정함을 제시하고 실현한 것은 아니기 때문”¹³이다. 계량적 관점에서 공정성을 연구한 결과들을 분석한 발표¹⁴에 따르면, 수학적으로 공정성에 대한 정의는 20여 개 이상 내려졌지만 완벽한 공정성에 대한 정의는 없었으며 그 정의들 중 상당수는 서로 상충했다. 차별과 불공정성이라는 문제가 있다고 하더라도 우리는 인공지능 등 기술과 공생할 수밖에 없다. 윤리적, 법적 이슈로 인해 AI의 해석가능성(interpretability)에 집착하면, 최종 결정권자인 인간의 판단을 빠르고 정확하게 도와주는 AI의 기술적 발전을 저해시킬 수 있다¹⁵. 또한, 기술의 발전 방향을 예측할 수는 없기 때문에 어떠한 문제가 앞으로 나타날 것인지를 단언하기는 어렵다. 따라서 우리는 앞으로 인공지능 등 기술이 드러내는 혹은 드러낸 문제들에 대해 지금보다는 더욱 치밀하게 감시할 필요가 있다. ‘이루다’ 사례에서 그치는 것이 아니라 기술이 만들어내는 결과물에 대해 그 과정과 결과가 정당한지 끊임없이 질문하고 비판적으로 분석해야 한다.

1. 오세욱 (2016). 저널리즘과 알고리즘의 융합에 대한 탐색적 연구. <사이버커뮤니케이션학보> 33권 3호, 51-101쪽. [본문으로]
2. Bolukbasi, T., Chang, K.-W., Zou, J., Saligrama, V., & Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. arXiv:1607.06520 [cs.CL] [본문으로]
3. 오세욱 (2020). 자동화 결과물이 드러내는 편향에 대한 대응 방안으로서 저널리즘의 역할에 대한 탐색적 연구. <커뮤니케이션 이론> 16권 3호, 5~50쪽. [본문으로]
4. Steed, R. & Caliskan, A. (2020). Image Representations Learned With Unsupervised Pre-Training Contain Human-like Biases. arXiv:2010.15052 [cs.CY] [본문으로]
5. http://www.equivant.com/ [본문으로]
6. Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [본문으로]
7. Oswald, M., Grace, J., Urwin, S. & Barnes. G. (2018). Algorithmic risk assessment policing models: lessons from the Durham HART model and ‘Experimental’ proportionality. Information & Communications Technology Law 27(2), pp 223-250. [본문으로]
8. Hannak, A., Soeller, G., Lazer, D., Mislove, A. & Wilson, C. (2014). Measuring Price Discrimination and Steering on E-commerce Web Sites. In Proceedings of the 14th ACM/USENIX Internet Measurement Conference (IMC’14), Vancouver, Canada. [본문으로]
9. http://www.datasciencepublicpolicy.org/projects/aequitas/ [본문으로]
10. https://pair-code.github.io/what-if-tool/ai-fairness.html [본문으로]
11. Group Unaware : 데이터 속성 중 성, 연령 등 특정 집단 식별 불가, Group thresholds : 인간의 역사 편향성을 반영해 가중치 조정, Demographic parity : 데이터 내 남성 여성 비율을 동등하게 조정, Equal opportunity : 예를 들어, 대출 데이터에서 남성과 여성이 대출을 받을 수 있는 확률을 동등하게 조정, Equal accuracy : 예를 들어, 대출 상환 가능성에서 여성이 낮게 나오는데 이를 성 특성을 배제하고 조정함 [본문으로]
12. https://aif360.mybluemix.net/ [본문으로]
13. Ito, J. (2019. 2. 5). Supposedly ‘Fair’ Algorithms Can Perpetuate Discrimination. Wired. Retrieved from https://www.wired.com/story/ideas-joi-ito-insurance-algorithms/ [본문으로]
14. Narayanan, A. (2018). 21 Definitions of Fairness and Their Politics. Tutorial Presented at the First Conference on Fairness, Accountability, and Transparency (FAT∗). [본문으로]
15. Seif, 2018 [본문으로]