EU AI 법안이 주는 시사점

최근 이루어져 온 인공지능 기술의 급속한 발전과 광범위한 확산과 더불어 인공지능이 초래할 수 있는 위해에 대한 적절한 규율이 필요하다는 주장이 대두되고 있다. 이러한 배경하에서 EU 집행위원회가 2021년 4월 발표한 AI 규제법안¹은 국제적 관심의 대상이 되고 있다. 이제껏 논의돼 오던 사업자에 의한 자발적 인공지능 윤리 원칙 준수나 자율규제를 넘어, 인공지능에 대한 법적 규제를 정식으로 천명한 것이기 때문이다. 이제 법안이 제안된 단계이고 실제 입법까지는 상당한 시일이 소요될 것으로 보이지만, 제안된 법안 내용을 세밀하게 검토하는 것은 유의미한 일이 될 것이다. 이 글은 EU의 AI 규제법안의 주요 내용을 살펴보고 우리에게 주는 시사점을 살핀다.

1. EU AI 규제법안의 제안 배경

EU 차원에서 인공지능에 대한 법적 규제가 이루어질 것이라는 점은 EU 집행위원회의 이제까지의 행보에 비춰 예상돼 온 것이었다. EU 집행위원회는 2018년 6월 인공지능에 관한 고위 전문가 그룹(High-Level Expert Group on AI)를 구성하고 인공지능에 대한 규율 방안을 연구해 왔다. 그 성과물로 2019년 4월 “신뢰할 수 있는 인공지능을 위한 윤리 가이드라인” 발간했고², 이에 기초해 2020년 7월 “신뢰할 수 있는 인공지능을 위한 평가 리스트”를 통해 기업 현장에서 활용할 수 있는 인공지능 신뢰성 체크리스트를 제시하기도 했다.³

EU 집행위원회는 EU AI 규제법안을 마련하는 과정에서 광범위한 의견 수렴을 진행했다고 설명한다.⁴ 수렴된 의견 대부분은 현재 인공지능에 대한 입법상 공백 상태가 존재하고, 인공지능에 대한 법적 규율이 필요하다는 점은 동의하였는데, 다만 중복 입법의 가능성, 여러 법적 의무 간의 충돌 및 과잉 규제에 대한 우려도 함께 제기됐다고 한다.

한편, 현재 제안된 법안에 대한 다양한 입법 대안을 검토했다고 한다. 고려된 규제 옵션 중 하나는 사업자들로 하여금 자발적으로 위험성을 표기하도록 요구하는 것이었다. 일반적으로 이러한 라벨링 또는 공시 방식의 규제는 가장 낮은 수준의 규제로 여겨진다. 또 다른 선택지는 인공지능 응용 영역 전반을 규율하는 것이 아니라, 개별 분야별로 필요한 때만 해당 분야에서 인공지능을 규율하는 것이다(이른바 ‘ad-hoc’ 접근). 가령 채용 인공지능에서 발생하는 문제가 있다면 노동 관련 기관이 소관 법령을 통해 규율하는 방식이다. 다만 이 경우 법령 간의 통일성이 저해돼 의무 준수 비용이 오히려 증가할 위험이 있게 된다.

가장 강력한 규율 방안은 모든 인공지능 시스템에 대해 EU 차원의 의무를 부과하는 형태의 입법이다. 이는 인공지능에 대한 사회적 신뢰를 증진하는 데 효과적일 수는 있으나, 과잉 규제에 해당할 위험성을 피해가기 어렵다.

이러한 여러 입법 대안에 대한 고려를 거쳐 EU AI 규제법안이 선택한 입법 방안은 ‘비례적 위험기반 접근’이다. 즉, 개인의 보건·안전이나 기본권에 심대한 위험을 낳을 수 있는 경우에는 규제 부담을 부과하고, 만약 그 위험이 크지 않다고 평가되는 경우에는 제한적인 투명성 의무만 부과하거나 법적 의무를 부과하지 않되 다만 사업자들에 의한 자율규제를 권장하는 방식이다. 이를 통해 인공지능 시스템의 발전 및 활용을 촉진한다는 가치와 인공지능이 초래할 수 있는 위험에 대한 적정한 대응 사이에 균형을 달성하는 것이 주된 입법 목적이라 할 수 있다.

2. EU AI 규제법안의 주요 내용

가. 위험기반 접근법에 따른 인공지능 규제

EU AI 규제법안의 핵심적 체계는 인공지능이 초래할 수 있는 위험을 4가지 단계로 구분하는 것이다. 즉, 인공지능 위험은 “수용 불가능한 위험”, “고위험”, “제한적 위험”, “낮은 위험”으로 구분하고, 각 위험 단계마다 차등적으로 의무를 부과하자는 취지이다. 이는 새로운 규제 도입으로 발생할 의무 준수(compliance) 비용을 최소화하고 불필요한 가격 상승 방지하기 위한 방안으로 이해될 수 있다.

가장 높은 수준의 위험은 “수용 불가능한 위험”이다. 법안 상으로는 (a) 무의식적으로 인간을 조작할 수 있는 중대한 잠재성이 있는 경우, (b) 아동·장애인 등 특정한 취약 계층의 취약성을 악용하여 위해를 가할 수 있는 경우, (c) 공공기관에 의한 사회 평점 시스템, (d) 법 집행 목적의 공개 장소에서의 실시간 원격 생체인식 신원 확인 시스템에 인공지능이 활용되는 경우가 나열돼 있다(법안 제5조). 이와 같은 “수용 불가능한 위험”의 인공지능은 원칙적으로 금지된다.

특히 공개된 장소에 설치된 CCTV 영상에 얼굴 인식 AI 기술을 도입하여 공공기관이 대량 감시(mass surveillance)를 위해 활용하는 것을 제한해야 한다는 주장이 제기돼 왔고, 이에 이러한 인공지능 활용을 수용 불가능한 위험으로 분류한 점이 특기할 만하다. 다만 미아, 중대 범죄 피의자나 테러 예방 등을 위해서는 사법기관이나 독립 행정기관의 사전 승인을 얻는 것을 전제로 예외적인 경우에 한해 제한적으로 허용하고 있다.

다음 위험 단계는 “고위험 인공지능”이다. 이는 크게 2가지로 구분된다. 고위험 인공지능의 첫째 범주는 AI 시스템이 제품 안전과 관련돼 활용되는 경우이다(법안 제6조 제1항). 안전상 위험성이 있는 제품에 대해서는 이미 기존 EU 규제가 적용되고 있다. 완구, 레저기구, 승강기, 폭발물, 고압 기구, 케이블, 의료기기, 민간 항공 안전, 차량, 농업·임업 용구, 해상기구, 철도 등이 그러한 예이다. 만약 인공지능이 이러한 제품에 안전 부품으로 활용되는 경우는 해당 인공지능에 대해서도 추가적 규제를 적용한다는 취지로 이해된다.

고위험 인공지능의 두 번째 범주는 EU AI 규제법안 부속서 III에서 규정한 인공지능 활용 사례들이다(법안 제6조 제2항). 이는 개인의 보건·안전이나 기본권에 중대한 위험을 초래할 수 있는 경우인데, 일반적 생체인식 신원 확인 및 개인의 분류 시스템, 중요 인프라의 관리 및 운영, 교육 및 직업 훈련, 채용이나 근로자 관리 및 자기 고용에 대한 접근(이른바 플랫폼 노동에서의 작업 할당 및 성과 감독 포함), 핵심적 민간 및 공공 서비스 및 혜택에 대한 접근 및 이용(자연인에 대한 신용평가 포함), 법 집행, 이민·망명·국경 관리, 사법·민주적 절차에 인공지능 활용되는 경우가 나열돼 있다. 이는 대부분 최근 수년 동안 인공지능 활용의 위험성에 대해 문제 제기가 지속해서 이뤄져 온 분야이다.

이러한 고위험 인공지능을 제조, 수입, 공급할 때에는 여러 추가적인 규제가 적용되는데, 특히 인공지능이 위 규제를 준수하고 있다는 점에 대한 사전 적합성 평가(Conformity Assessment)가 강제된다. 특히 기존에 공산품에서 흔히 볼 수 있었던 ‘CE 마크’ 부착 의무를 인공지능에까지 확장한 것은 주목할 만하다.

세 번째 위험 단계는 “제한적 위험”이다. 이 경우에는 인공지능이 활용됐다는 사실을 고지해야 한다는 투명성 규제의 적용을 받는다. 제한적 위험으로 분류된 사례는 인공지능이 자연인과 상호작용하는 경우, 감성인지 시스템 또는 생체인식을 통한 분류 시스템, 인공지능에 의한 콘텐츠 생성 또는 조작(이른바 딥페이크)이 있다(법안 제52조). 다만 이러한 인공지능 시스템이 범죄를 탐지·예방·조사하는 데 사용되거나, 표현의 자유를 보장할 필요가 있는 경우에는 투명성 규제의 예외가 될 수 있다.

마지막 위험 단계는 ‘낮은 위험’이다. EU AI 규제법안 상 이러한 인공지능에 대해 적용되는 강제 의무는 없고, 다만 사업자들에 의한 자율규제를 권장하고 있을 뿐이다. EU 차원의 인공지능 규제로 인해 인공지능 산업이 위축될 수 있다는 비판을 의식해서인지, EU 집행위원회는 대부분의 인공지능은 ‘낮은 위험’에 속하고, 따라서 인공지능에 대해 추가적 규제 의무를 부담하는 사례는 많지 않을 것이라는 점을 강조하고 있기도 하다.

나. 고위험 인공지능에 대한 위험관리 시스템

무엇보다 EU AI 규제법안은 고위험 인공지능의 개발에 대한 다수의 의무사항을 부과하고 있다. 그 중 핵심적인 것은 위험관리 시스템을 구축, 유지해야 한다는 의무이다(제9조). 이러한 위험관리는 인공지능 전체 생애주기에 걸쳐 지속적이고 반복적으로 이뤄져야 하며, 주기적으로 업데이트될 필요도 있다. 고위험 인공지능에 대한 위험관리 시스템에 있어 핵심적 의무사항을 소개하면 다음과 같다.

우선, 인공지능에 사용되는 학습, 검증 및 평가 데이터는 관련성, 대표성, 무오류성과 완전성 등을 갖출 것이 요구된다(제10조). 또한 인공지능 시스템을 출시하기 전 법적 요구사항을 준수하고 있다는 점을 보여주는 기술문서를 작성해야 하고(제11조), 인공지능 시스템이 작동하는 동안의 자동적 사건 기록(로그) 기능을 구현해야 한다(제12조). 이러한 기록은 인공지능 시스템 기능을 생애주기 전체에 걸쳐 추적할 수 있는 수준이어야 한다.

다른 한편, 투명성 및 이용자에 대한 정보제공에 대한 의무도 규정되어 있다(제13조). 인공지능 시스템은 이용자가 시스템의 출력을 해석하고 적절하게 이해할 수 있도록 충분히 투명해야 한다. 이용자에게 제공해야 할 정보로는 공급자 정보, 인공지능 시스템의 성능(목적, 정확도, 오용 위험성, 성능 및 데이터 정보), 변경사항, 인간 감독, 예상 수명 등이 있다.

또한 인간 감독에 관한 의무도 있다(제14조). 인공지능은 그 사용 기간 중 인간에 의해 효과적으로 감독될 수 있도록 설계 및 개발돼야 하고, 정상 동작 또는 합리적으로 예견 가능한 오용 상황에서 위험의 예방 또는 최소화가 이뤄져야 한다. 이러한 인간 감독이 인공지능 시스템에 내재화될 수도 있고, 이용자에 의해 직접 수행될 수도 있다. 어떠한 경우라도 이용자가 인공지능 시스템의 능력과 한계를 이해하고, 인공지능 시스템에 의한 편향의 자동화 가능성을 인지하며, 인공지능의 결과물을 해석할 수 있고, 인공지능 시스템의 결정을 번복하거나 그 작동을 중지시킬 수 있는 기능을 포함해야 한다.

나아가 인공지능 시스템의 정확성, 강건성 및 사이버 보안에 관한 의무도 포함돼 있다(제15조). 인공지능은 그 사용 목적에 비추어 적절한 수준의 정확성 확보해야 하며, 시스템 오류나 외부 환경 상의 오류 혹은 외부 공격에 대한 저항성을 갖춰야 한다. 인공지능의 결과물이 다시 자신의 학습 데이터로 활용되는 경우에 발생할 수 있는 이른바 ‘피드백 루프’ 문제에 대한 적절한 저감 조치도 필요하다. 또한 데이터 오염공격(data poisoning), 적대적 사례(adversarial examples)에 대한 기술적 조치도 고려해야 한다.

3. 시사점

요컨대, EU AI 규제법안은 인공지능에 대한 사회적 신뢰를 증진하고, 인공지능 규율에서의 법적 안정성을 확보하려는 조치로 이해될 수 있다. 이를 위해 비례적 위험기반 접근법에 따라 4가지 위험 단계를 구분하고, 특히 고위험 인공지능에 대해서는 생애주기 전체에 걸친 위험관리 시스템을 구축할 것을 요구하는 것을 골자로 하고 있다.

하지만 EU AI 규제법안은 인공지능 신뢰성 확보 문제를 종결 짓는 것이 아니라, 오히려 이 문제에 관한 새로운 시작점이라고 평가할 수 있다. 어려운 문제는 누가 어떻게 인공지능의 위험 수준과 대응 조치의 적절성을 평가할 것인가 하는 점이다. 위 법안은 기존 안전성 적합성 평가 제도를 활용해 인공지능 위험성에 있어서도 이와 유사한 의무를 부과한다. 즉 제3자인 전문기관에 의해 평가받는 것이다. 다만 부속서 III에 규제된 고위험 인공지능의 사례와 같이 기존의 적합성 평가기관이 존재하지 않는 경우에 대해서는, 원칙적으로 인공지능 시스템 공급자에 의한 자기 적합성 평가에 의하도록 하고 있다. 즉, 공급자가 내부 통제 절차를 통해 사전적으로 EU 규제 준수 여부에 대해 완전하고, 효과적이며, 적절하게 문서화된 평가를 내리도록 하는 것이다. 현재 인공지능 위험 규제에 대한 적합성 평가를 수행할 평가기관이 존재하지 않지만, 향후 이러한 평가 업무를 수행할 전문기관이 늘어날 것으로 전망된다. 국내 인공지능 기업도 이러한 자기 적합성 평가를 수행할 역량을 높여 나갈 필요가 있을 것이다.

한편, 국내에서도 EU AI 규제법안과 유사한 입법이 필요할 것인지에 대해서는 섣불리 단정하기 어렵다. 위 법안은 EU 차원에서 수년 동안 이루어진 연구와 의견 수렴, 사회적 논쟁의 결과물이라고 할 수 있다. 이를 국내에 수용하는 것이 바람직할 것인지는 쉽게 답할 수 있는 문제가 아니다. 더 많은 연구와 사회적 논의, 민주적 숙고 절차를 거칠 필요가 있다.

1. 그 정식 명칭은 “Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE (ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION LEGISLATIVE ACTS”이다. 이하 “EU AI 규제법안”이라 한다. [본문으로]
2. High-Level Expert Group on Artificial Intelligence, “ETHICS GUIDELINES FOR TRUSTWORTHY AI”, (2019. 4. 8). [본문으로]
3. High-Level Expert Group on Artificial Intelligence, “Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment”, (2020. 7. 17). [본문으로]
4. 위 법안의 설명에 따르면 총 1,215건 의견을 수렴하였는데, 기업 352건, 개인 406건, 학계 152건, 공공기관 73건, 시민단체 160건 등이었다고 한다. [본문으로]