EU의 일반 개인정보 보호 규정(GDPR): 데이터 주도 혁신에 대한 제한인가?

현재 유럽을 비롯한 여러 국가에서 데이터 주도 혁신에 적절한 개인정보 보호법에 대한 논의가 한창이다. 이들 논의의 기저에는 특히 유럽연합(EU)에서 시행되고 있는 개인정보 보호법과 빅데이터 분석, 알고리즘에 의한 의사결정 등을 위한 데이터의 활용이 상충된다는 인식이 존재한다. 이 글에서는 개인정보의 방대한 수집과 활용에 의존하는 신기술의 관점에서 EU의 개인정보 보호법이 직면한 주요 비판을 논할 것이다. EU의 일반 개인정보 보호 규정(GDPR)은 실제로 데이터 집중적인 비즈니스에 제한을 가하는가? 만약 그렇다면 어떠한 제한을 제한하는가? 아니면 GDPR은 개인정보를 이용한 인간 중심의 혁신을 지원하여 개인과 사회 전반에 혜택을 가져오게 하는 것일까?

이 질문들에 대한 해답을 찾는 일은 결코 사소한 작업이 아니다. 오히려 GDPR과 데이터 주도 혁신 모두에 대한 섬세한 평가를 요구한다. 개인정보 보호와 데이터 주도 혁신 간의 새로운 균형을 확립하는 것이 시급히 요청된다고 해서 기술만능주의에 지나치게 의존하는 것은 그 자체로 위험을 수반한다.¹

우리에게 필요한 것은 결론을 도출하기 전에 법과 실무 사이의 상호작용을 철저히 이해하는 것이다. 이하에서는 GDPR에 대해 제기되고 있는 가장 논란이 많은 이슈들을 다루고, 대중적인 비판을 해소하는데 도움이 될 수 있는 설명을 제시할 것이다. 또한, 규제가 계속 적용될 것으로 예상되는 사안들도 아울러 짚어볼 것이다.

좋은 점, 나쁜 점, 보기 싫은 점

데이터 주도 혁신이 우리 생활에 크고 새로운 혜택을 가져올 수 있으며, 경제 생산성을 높여 개인과 전반적인 복지에 긍정적인 영향을 미칠 수 있다는 점은 의심의 여지가 없다.²일례로 의료 분야를 생각해보자. 인공지능(AI)은 질병의 진단을 지원하고, 수많은 생명을 구할 수 있는 치료와 처치 방법을 개선할 수 있다.³동시에 신기술들은 예상치 못한 부정적인 결과를 초래할 수 있다. 네덜란드 헌법상 자문기구인 국가평의회(Dutch Council of State)는 최근 알고리즘에 의한 의사결정이 개인적인 재량을 행사할 수 있는 여지를 거의 남겨두지 않는다는 경고가 담긴 정부-시민 상호작용에 대한 정견을 발표하였다.⁴이 경고는 AI 애플리케이션을 통해 개인과 단체들에 대해 전례 없는 영향력을 행사할 수 있게 된 산업계에도 동일하게 적용된다.

모든 기술과 마찬가지로 AI기술의 활용과 그에 따른 효과가 조직의 이익, 인간의 편견, 구조적 힘과 무관한 경우는 거의 없다. 특히, 빅데이터 분석과 알고리즘은 수많은 인간 문제에 대한 해결책으로 알려져 왔는데, 초기에는 이들의 잠재적인 리스크와 위험에 전혀 귀를 기울이지 않았다. 미국에서 유죄 판결을 받은 범죄자의 재범 가능성을 예측하기 위해 AI 시스템을 이용한 사례가 있다. 안면 인식 기술을 기반으로 한 이 시스템은 구조적으로 흑인이 백인에 비해 재범 가능성이 두 배나 높다고 결론지었다.⁵특기할 것은 법 집행 및 치안 유지와 관련하여서는 마이크로소프트(Microsoft)조차도 안면 인식 기술에 대한 엄격한 규제를 요구하고 있다는 사실이다.⁶

유럽연합의 개인정보 보호 방식

EU 법 체계에서 개인의 사생활과 개인정보는 기본권으로 보호된다. 개인정보의 처리는 관련 국가의 개인정보 보호법에 의해 규율되는데, 최근 신기술과 데이터 중심의 비즈니스 모델의 확산 현상을 따라잡기 위해 EU 회원국의 개인정보 보호법이 개정되었다. 지난 5월에는 99개 조항과 이들 조항을 지원하는 173항의 전문으로 구성된 GDPR이 발효되었다. 이 새로운 법은 많은 면에서 구 개인정보 보호 지침(the Data Protection Directive)의 태도를 유지하고 있지만, 몇 가지 중요한 변화를 주의해서 살펴볼 필요가 있다. 먼저 GDPR의 집행력이 강화되었다. 개인정보를 다루는 단체가 GDPR의 규정을 심각하게 위반하는 경우 직전 회계연도 전세계 매출액의 최대 4%에 이르는 과징금이 부과될 수 있다. 나아가 GDPR은 알고리즘에 의한 의사결정과 프로파일링에 대한 규제도 강화하였다.

일반적으로 GDPR은 리스크 기반 접근법을 취하고 있으며, 개인정보 처리에 관한 몇 가지 일반원칙을 규정하고 있다. GDPR은 대규모 데이터 처리를 “높은 리스크”로 간주하여 보다 엄격한 법적 요건을 적용한다. 개인정보를 다루는 단체는 개인정보 보호 영향평가를 통해 의도한 개인정보 처리를 개인정보 처리에 관한 일반원칙에 따라 수행할 수 있는 방법을 평가하여야 한다. 이하에서 소개하는 원칙들은 데이터 의존적인 사업들이 GDPR 준수에 있어서 가장 큰 도전으로 여기는 것들이다.

• 공정성 및 비차별 원칙
• 목적 제한의 원칙
• 개인정보 처리의 최소화 원칙
• 투명성 원칙

전술한 모든 원칙들이 방대한 양의 개인정보 처리에 의존하는 신기술과 긴장관계에 있다는 것은 쉽게 알 수 있다.

공정성 원칙에 따르면 모든 개인정보 처리 행위는 정보주체의 이익을 존중하여야 하며, 정보 주체가 선험적으로 합리적으로 예견할 수 없는 방식으로 개인정보를 처리하여서는 아니 된다. 또한 이 원칙에 따라 개인정보를 처리하는 단체는 정보주체가 임의적인 차별 대우를 받지 않도록 적절한 보호조치를 갖추어야 한다. 공정성 원칙은 빅데이터와 알고리즘이 편견을 재생산하고 증폭시킬 수 있다는 우려를 상쇄할 수 있다.

목적 제한의 원칙에 따르면 모든 개인정보의 추가 처리는 개인정보를 수집한 최초 목적에 부합하여야 한다. 즉, 개인정보의 추가 처리는 2차 처리 목적이 최초 처리 목적과 양립가능하다고 인정되는 경우에만 허용된다. 따라서 이 원칙은 데이터 주도 혁신과 상충될 수 있다. AI를 활성화하기 위해 필요한 데이터들은 대개 다른 목적으로 수집된 것들이기 때문이다. GDPR은 공익을 위한 기록 보존, 과학적·역사적 연구, 통계 등과 같은 특권적 목적의 경우와 정당한 이익으로 인정되는 경우에 개인정보의 추가 처리를 허용하는 법적 근거를 제공함으로써 이러한 제한의 효과를 어느 정도 완화시키고 있다.

개인정보 처리의 최소화 원칙에 따르면 개인정보의 수집 및 처리는 그 처리 행위의 최초 목적에 필요한 범위로 제한된다. 이 원칙에 의해 기업과 정부는 AI의 목적으로 개인정보를 무제한으로 수집할 수 없다. 개인정보 처리의 최소화 원칙과 달리 대부분의 AI는 최적의 성능을 위해 상당량의 데이터를 필요로 한다.

투명성 원칙에 의해 정보 주체에게 자신의 개인정보가 어떻게 사용되고 있으며, 그러한 사용이 정보주체에게 어떠한 영향을 미치는지 알려줄 의무가 확립되었다. 개인정보 처리 행위는 정보주체가 자신의 개인정보에 어떤 일이 발생할지, AI에 의해 내려진 의사결정의 이유 등을 이해할 수 있도록 용이하고 접근하기 쉬운 방법으로 설명되어야 한다. AI시스템을 이용한 의사결정은 대개 인과관계가 아니라 상관관계에 기초한다.⁷이러한 이유로 의사결정 과정에 적용된 논리에 대해 유의미하고 필요한 정보를 정보주체에게 제공하는 것은 특히 어렵다. AI제공자나 시스템 엔지니어들도 AI 시스템의 내부 작동 논리를 제대로 설명하거나 입증하지 못하는 경우가 적지 않다.⁸

AI를 이용하여 개인에 대한 차별과 편견이 없는(중요한) 의사결정을 하기 위해서는 방대한 양의 개인정보가 필요하다. 따라서 AI가 편견을 식별해내고 그에 대한 적절한 조치를 취하도록 하기 위해서는 개인정보의 가용성과 자유로운 흐름이 필수적이다. 일각에서는 이러한 요구가 차분 프라이버시, 데이터 세트 집적과 같은 프라이버시를 고려한 설계(Privacy by Design) 원칙을 이용하여 적절하게 해결될 수 있을 것이라고 주장한다. 그러나 다른 일각에서는 유능한 AI는 GDPR의 관련 원칙들과 점점 더 양립할 수 없게 될 것이라고 주장한다.

또한, GDPR는 개인정보를 이용한 자동화된 의사결정이 자신에게 법적 영향을 미치거나 이와 유사하게 중대한 영향을 미치는 경우 그것을 거부할 수 있는 정보 주체의 권리를 규정하고 있다. 자동화된 의사결정이란 인간의 개입 없이 자동적인 수단에 의해서만 이루어지는 의사결정을 말한다. GDPR은 수학적, 통계적 방법이 개인 사정에 민감하지 않다는 우려를 고려하여 정보주체를 보호하기 위하여 이와 같은 권리를 보장하고 있다. 자동화된 의사결정에는 프로파일링도 포함되는데, 프로파일링이란 “자연인에 관한 사적인 측면을 평가하기 위하여, 특히 자연인의 직장내 업무 수행, 경제적 상황, 건강, 개인적 취향, 관심사, 신뢰성, 행태, 위치 또는 이동 경로에 관한 측면을 분석하거나 예측하기 위하여 이루어지는 모든 형태의 자동화된 처리”⁹를 의미한다. GDPR은 자동화된 의사결정과 프로파일링을 무조건 금지하지 않는 대신 정보 주체에게 권리구제 수단을 제공하는 방식을 채택하였다.

알고리즘에 의한 의사결정에 관한 GDPR 규정들의 적용범위가 협소하기 때문에, 이들 규정을 가지고 최첨단 AI 애플리케이션을 규율하는 것은 관련성이 낮아 적절하지 않다.¹⁰이미 현재 활용되고 있는 대부분의 AI 애플리케이션에 있어서 입력된 데이터와 그 데이터의 적용은 동일한 정보주체에 대한 것이 아니다. 그러나 이것(입력 데이터와 그 적용이 동일한 정보주체에 대한 것)이 자동화된 의사결정을 규율하는 GDPR규정의 논리이다. 이러한 측면에서, 알고리즘이 특정 인구의 데이터세트로 학습된 후 다른 개인에게 적용되는 현실을 고려할 때, 이 법이 더 이상 실무에 부합하지 않을 가능성이 매우 농후하다. GDPR의 자동화된 의사결정에 관한 규정들이 최첨단 AI 애플리케이션에는 적용조차 되지 않을 수 있다는 점을 유념하여야 한다.

마지막으로 GDPR은 주류적 규제로는 너무 복잡하다는 비판이 제기되어 왔다.¹¹중소기업에 대하여 일부 특례를 적용하고 있다는 점을 감안하더라도, GDPR을 온전히 준수하는 것 자체가 대부분의 단체에게 상당한 규제 부담으로 작용하고 있어서 법과 실무가 일치하지 않는 상황이 발생할 수 있다. 또한 GDPR이 역외 적용된다는 점에 유의하여야 한다. EU에 사업장을 가지지 않은 기업이라 할지라도 EU에 거주하는 개인을 대상으로 영업행위를 하는 경우에는 GDPR의 적용을 받는다. 그러나 EU회원국이 아닌 국가에서 GDPR을 효과적으로 집행하는 것은 거의 불가능하고 할 수 있는데 법집행은 일반적으로 EU 회원국의 영토 내로 제한되기 때문이다.¹²효과적인 역외 법집행의 부재와 법과 실무 사이의 불일치는 궁극적으로 GDPR에 대한 존중과 권위를 약화시킬 것이다.

결론

혁신이 전통적인 견해와 관념에 의해 제한되지 않고 융성하게 일어날 수 있도록 규제를 완화하여야 한다는 주장이 자주 제기된다. 한편으로 GDPR의 일반원칙 중 일부는 분명히 데이터 주도 혁신에 제한을 가하지만, 그 원칙들은 정보주체를 보호하기 위해 필요하다고 할 수 있다. 다른 한편으로 개인정보 보호법만으로 데이터 주도 혁신에서 제기되는 모든 문제를 다룰 수 없다. 신기술이 장기적으로 우리 삶에 어떠한 영향을 미칠지는 아직 밝혀지지 않았다. AI의 잠재력에 대한 열광적인 설명들과 나란히 AI의 위험성에 대해 경고하는 중요한 목소리들이 늘어나고 있다. 컬럼비아대학 교수이자 노벨 경제학상 수상자인 조셉 스티글리츠는 영국 왕립학회의 ‘당신과 인공지능’ 시리즈 강연에서 AI 환경에서 무제한적인 데이터 파워에 대해 경고했다.¹³어떻게 AI의 부정적인 효과를 수용할 것인가에 대한, 미국의 방식과 다른, 그의 생각들 중 다수는 GDPR의 일반원칙들의 중요성을 재인식시킨다. 어쩌면 개인정보 보호법과 데이터 주도 혁신 사이의 새로운 균형에 대한 요구는 시기상조인 것이지 GDPR이 구시대적인 패러다임을 따르고 있기 때문이 아닐 수 있다. 인간 중심의 AI는 규범 체계를 필요로 한다. 그리고 이를 운에 맡겨서는 안 된다. GDPR에 대한 충분한 이해를 갖춘다면, EU 법과의 충돌을 피하면서 최첨단의 기술의 구축이 가능할 것이다.

<원문>

번역 : 윤혜선 한양대 법학전문대학원 부교수

The General Data Protection Regulation: a limitation to data-driven innovation?

In Europe and beyond there is at this moment an intense discussion about the fitness of data protection law to adequately address data-driven innovation. There is in particular a perceived trade-off between the protection of personal data as it is practiced in the European Union (EU) and making the data trove fruitful for big data analyses and algorithmic decision-making. In this contribution, I will shortly discuss the major criticism that EU data protection law faces in view of new technologies that rely on large scale accumulation and exploitation of personal data. Is the General Data Protection Regulation (GDPR) indeed failing data-intensive business, and if so, in which ways? Or can the European Union’s approach help create human-centric innovation involving personal data that would benefit individuals and society at large?

Finding answers to these questions is by no means trivial and requires a nuanced assessment of the regulation and data-driven innovation alike. Calls for a new balance between personal data protection and data-driven innovation are quickly at hand, however, overreliance on technological solutionism carries its own risk.[1] What we need is a thorough understanding of the interaction between the law and the practice before drawing conclusions. In the following, I will deal one by one with the most contentious issues being raised about the GDPR and offer some explanation that can help to debunk some of the popular criticisms, while flagging those issues that will likely remain regulatory red tape.

The good, the bad and the ugly

Without doubt, data-driven innovation can bring large and novel benefits to human life and increase the productivity of the economy, thereby positively affecting individuals and overall welfare.[2] Think for examples of the healthcare sector, where artificial intelligence (AI) has the capability to support the diagnoses of illnesses, improve therapy and treatments that could save thousands of lives.[3] At the same time, new technologies can have unforeseen negative consequences. Recently, the Dutch Council of State – a constitutionally established advisory body – issued an opinion on government citizen interaction, warning that algorithmic decision-making leaves little to no space for individual human discretion.[4] The same applies to the industry, which can exercise unprecedented power over individuals and other organizations by means of AI-applications.

As with all technology, its use and effects are rarely agnostic to organizational interests, human bias and structural power. Especially big data analyses and algorithms have been heralded as solutions to a myriad of human problems, with an initial disbelief in the potential risks and pitfalls. An example from the US is an AI-system which was used to predict the risk of whether convicted individuals would commit a new crime. Based on facial recognition, the system structurally concluded that black individuals had twice a risk of recidivism compared to white individuals.[5] Especially concerning law enforcement and policing even Microsoft is pleading for a strict regulation of facial recognition technologies.[6]

European Union-style data protection In the EU legal system individuals’ privacy and personal data are protected as fundamental rights. The processing of personal data triggers the application of local data protection laws which have recently been updated in order to catch-up with new technologies and the prevalence of data-driven business models. In May this year, the GDPR with its 99 articles and supported by 173 recitals entered into force. In many ways, this new law continues the approach of its predecessor, the Data Protection Directive, but a few important changes should be highlighted. At the outset the new regulation has much more teeth with sanctions that can amount to up to four percent of the global annual turnover of the organization handling the personal data. Furthermore, under the new law algorithmic decision-making and profiling are much more regulated.

Generally, the GDPR takes a risk-based approach and sets out several principles governing the processing of personal data. The GDPR considers large-scale data processing as a “high risk”, placing stricter requirements on legal compliance. Organizations handling personal data are required to assess with data protection impact assessments how to align the intended data processing with these principles. The following principles are deemed to pose the biggest challenges for the compliance of data-driven operations with the GDPR:

• Fairness and non-discrimination;
• Purpose limitation;
• Data minimization; and
• Transparency.

As we shall see, all of the aforementioned principles are in tension with new technologies that rely on the processing of vast amounts of personal data.

The fairness principle requires that all data processing activities respect the interests of the individual, and that personal data cannot be processed in a way that the individual cannot reasonably expect a priori to the processing activity. In addition, this principle requires that organizations implement measures safeguarding the individual from arbitrary discriminatory treatment. Such would counterbalance the concern that big data and algorithms can reproduce and amplify biases.

The principle of purpose limitation requires that any further processing of personal data is not incompatible with the initial purpose of the collection of the data. In other words, further processing is only allowed in cases where the secondary purpose is considered to be compatible with the initial purpose of the processing activity. Hence, this principle is at odds with data driven innovation as data that is needed to fuel AI is in often cases initially collected for other purposes. To some extent these restrictions are counterbalanced in the GDPR providing a legal bases for privileged purposes, such as research, statistical records and what is deemed legitimate interests.

The principle of data minimization limits the collection and processing of personal data to what is necessary for the initial purpose of the processing activity. Following from this principle business and government cannot simply collect unlimited amounts of personal data for AI purposes. Perpendicular to this, most AI requires substantial amounts of data to perform optimally.

The transparency principle establishes an obligation to inform individuals about how their data is being used and how it affects them. The data processing operations must be explained in an easily and accessible way, ensuring that the individual understands what will happen with his data and the reasons underlying AI-based decisions. More often than not, decisions emerged from AI-based systems are based on correlations and not on causations.[7] This makes it particularly challenging to provide individuals meaningful and required information about the logic involved in the decision making process. Even the providers and system engineers of AI can often not explain and demonstrate the inner workings of an AI-system.[8]

In order for AI to foster for unbiased (critical) decisions, which affect individuals in a non-discriminatory manner, AI requires extensive amounts of personal data. Therefore, the availability and free flow of personal data is essential for AI to identify and guard against bias. On the one hand, this trait could be meaningfully addressed using Privacy by Design, such as differential privacy and aggregated datasets. On the other hand, it could be argued that effective AI seems to be increasingly incompatible with the relevant principles of the GDPR.

Also, under the GDPR individuals have the right to not be subject to automated decisions using personal data which produce legal affects or have similarly significant effects for the individual. Automated decisions are decisions which are solely based on automatic means without any human intervention. The law hereby aims to protect individuals in view of the concern that mathematical and statistical methods are not sensitive to individual circumstances. As a subset, automated decision-making includes profiling, which consists of any form of automatic evaluation of “personal aspects relating to a natural person, in particular to analyze or predict aspects concerning the individual’s performance at work, economic situation, health, personal preferences or interests, reliability or behavior, location or movements.[9] The GDPR does not categorically forbid any automated decision-making and profiling, but offers a redress mechanism for individuals.

The narrow scoping of the GDPR provisions on algorithmic decision-making make them less relevant in governing state of the art AI-applications.[10] Already today, for most AI-applications input data and its application are not relating to the same individual. However, this is the logic of the GDPR’s provision on automated decision-making. It is very likely that in this aspect the law no longer aligns with the practice given that algorithms can be trained with datasets of one population and are then applied to any other individual. Mind that the GDPR provisions on automated decision-making might not even apply to state of the art AI-applications.

Finally, the GDPR has often been considered too complex for a mainstream regulation.[11] Even considering that the GDPR exempts SME’s from certain provisions, it remains a heavy regulatory burden for most organizations to fully comply with the law, leading to a discrepancy of the law and practice. Additionally, it should be noted that the GDPR has an external effect applying to businesses outside of Europe when they target individuals residing within the EU. However, effective enforcement outside the territory of Europe is close to impossible, as law enforcement is generally contained to EU countries’ territory.[12] The lacking of effective extraterritorial enforcement and the discrepancy between the law and practice ultimately pose harm to the respect for, and authority of the GDPR.

Round-up

In order for innovation not to be limited by legacy views and ideas, it is often argued that regulatory red tape should be cut so that innovation can flourish. On the one hand, certain principles from the GDPR clearly pose limitations on driven innovation but may be necessary to protect individuals. On the other hand, data protection law cannot itself address all the challenges posed of data-driven innovation. How new technologies will affect our lives on the long run has yet to be seen and understood. Next to the enthusiastic accounts of the potential of AI, there is a growing number of important voices warning against its dangers. In a talk at the British Royal Society’s “You and AI” series Joseph Stiglitz, Professor at Columbia University and Nobel prize winning economist, warned against unfettered data power in the context of AI.[13] Many of his ideas, set against the background of the US, how to come to terms with AI’s possible negative effect rekindle substantive principles of the GDPR. Perhaps the calls for a new balance between data protection law and data-driven innovation are pre-mature and not that the GDPR is following an outdated paradigm. Human-centric AI requires a normative framework, and should not left to a chance. With some GDPR-savviness it is possible to build state of the art technology while avoiding a clash with EU law.

1. See https://www.economist.com/babbage/2013/05/02/the-folly-of-solutionism [본문으로]
2. See https://www.pwc.com/gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html [본문으로]
3. See https://www.pwc.com/gx/en/industries/healthcare/publications/ai-robotics-new-health/transforming-healthcare.html [본문으로]
4. See https://www.raadvanstate.nl/adviezen/zoeken-in-adviezen/tekst-advies.html?id=13065 [본문으로]
5. See https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [본문으로]
6. See https://blogs.microsoft.com/on-the-issues/2018/07/13/facial-recognition-technology-the-need-for-public-regulation-and-corporate-responsibility/ [본문으로]
7. See https://www.nytimes.com/2013/06/11/books/big-data-by-viktor-mayer-schonberger-and-kenneth-cukier.html. [본문으로]
8. Pasquale, Frank, The Black Box Society (2016). [본문으로]
9. General Data Protection Regulation, Recital 71, Article 4 (4) and Art 22. [본문으로]
10. Oostveen, Manon and Irion, Kristina, The Golden Age of Personal Data: How to Regulate an Enabling Fundamental Right? (December 15, 2016). [본문으로]
11. https://www.ft.com/content/f9a273a6-5e92-11e8-ad91-e01af256df68. [본문으로]
12. Svantesson, Dan Jerker B, Extraterritoriality in Data Privacy Law, (2013). [본문으로]
13. https://www.theguardian.com/technology/2018/sep/08/joseph-stiglitz-on-artificial-intelligence-were-going-towards-a-more-divided-society. [본문으로]