인공지능 산출물에 대한 식별표시 의무화 논란

1. 인공지능 산출물 표시의 필요성

최근(2024.12.17.) ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안’이 법사위를 통과해 본회의 처리를 앞두고 있다. 위 법안 제31조는 인공지능 투명성 확보 의무라는 표제하에 인공지능 사업자에게 ① 고영향 인공지능 또는 생성형 인공지능을 이용한 제품 또는 서비스가 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전 고지하여야 하고(제1항) ② 생성형 인공지능의 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시하여야 하며(제2항) ③ 인공지능시스템을 이용하여 만든 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등이 인공지능시스템에 의하여 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시하여야 한다(제3항)는 의무를 부과하고 있다. 이와 같이 인공지능 산출물에 대해 일정한 수준의 표시가 필요한 이유는 무엇일까?

생성형 인공지능이 만든 딥페이크 영상, 가짜 뉴스 등이 이용자 내지 소비자를 기만하거나 혼란에 빠트릴 수 있기 때문에 이용자 보호를 위해 인공지능 산출물 표시가 필요하다는 점이 표시의무의 가장 큰 논거라고 할 수 있다. 나아가 이용자에 대한 구체적 위험을 제거한다는 차원을 넘어서, 인공지능 윤리와 관련해 사회질서를 유지한다는 관점에서 인공지능 산출물에 대한 투명성을 요구한다는 의미도 크다고 생각된다. 위 인공지능 기본법안은 투명성 확보라는 표제를 채택하고 있는데, 제1항 및 제2항은 생성형 인공지능 산출물에 대한 일반적인 투명성 의무를 규정하는 것으로, 제3항은 이른바 딥페이크 영상에 대한 구체적인 이용자 보호 의무를 규정하는 것으로 이해할 수 있다.

또한 저작권 등 권리 보호의 관점에서 인공지능 산출물 표시를 논하는 관점도 있다. 최근 생성형 인공지능 산출물의 표현력이 급속하게 향상됨에 따라 인공지능 산출물과 인간의 작품을 거의 구별하기 어려운 상황에 이르렀다. 이는 인간 중심의 저작권법 체계에 대한 중대한 도전이라고 할 수 있는데, 관련 문제로 인간의 창작적 기여가 없는 인공지능 산출물에 대해서도 저작권과 같은 법적 보호를 해야 하는지 논의가 진행 중에 있다. 인간의 창작적 기여가 없는 인공지능 산출물에 대해서도 일정 수준의 법적 보호가 필요하다는 견해는 대체로 인공지능 산출물임이 외부로 표시될 것을 요건으로 하고 있고, 인공지능 산출물에 대해서 일체의 법적 보호가 불필요하거나 없어야 한다고 보는 견해에서도 인간의 작품과 인공지능 산출물을 구별하기 위해 인공지능 산출물 표시가 필요하다고 보고 있다. 다만, 이와 같은 권리보호 체계와 관련된 표시의무는 상대적으로 이용자 보호 및 투명성 확보 차원의 필요성보다는 그 중요성이 약하다고 볼 수 있다.

2. 이해 관계인의 입장

이와 같은 인공지능 산출물 표시에 대해 저작권자, 산업계 등 이해관계자의 입장은 다양한 스펙트럼을 보여주고 있다. 미국 저작권 오피스(US Copyright Office)가 2023년 시행한 공개 의견 수렴의 결과를 보면, 작가조합, 저작권 집중관리 단체는 인공지능 산출물 표시에 적극적으로 찬성하고 있다. 저작권자의 권리 보호를 위해서는 우선 인간의 창작물과 인공지능의 산출물을 구별할 필요가 있기 때문인 것으로 추측된다. 반면 마이크로소프트, Stability AI 등 인공지능 산업계는 산출물 표시의 필요성은 긍정하면서도 이를 법제화하는 것에는 신중한 입장을 보였다. 이들은 인공지능 산출물 표시제도의 직접적인 수범자로서 이러한 규제가 기술발전에 저해가 될 수 있음을 우려한 것으로 보인다. 한편 저작권자이면서 AI 기술을 적극 활용하는 입장인 미국 영화협회, 뉴스미디어 연합은 표시의무를 긍정하되 표시의무의 대상을 고위험의 기만적인 서비스 등으로 특정하고 표현의 자유 및 이용자의 감상의 편의를 고려해 표시의무의 예외를 인정해야 한다는 중도적인 입장을 취했다. 이용자 보호를 위해 일정 수준의 표시의무가 필요하다는 점은 이해관계자들이 대체로 동의한다고 보이나, 표시의무의 대상을 전반적으로 일반화할 것인지 아니면 특정한 고위험에 한정하여 적용할 것인지에 대해 논란이 있고, 표시의무의 강제가 창작과 표현의 자유에 미칠 부정적인 영향과 표시의무가 필요하지 않은 예외적 상황에 대한 인식의 차이가 있다고 보인다.

3. 국내외 법제 동향

현재 입법적으로 인공지능 산출물 표시제도를 채택한 국가는 EU, 중국이 있다. 이중 세계 최초로 인공지능에 대해 상세한 법적 규율을 시도한 EU의 인공지능법(AI Act)이 비교법적으로 중요하게 참고되고 있다. EU 인공지능법은 합성 오디오·이미지·비디오 또는 텍스트를 생성하는 인공지능시스템의 제공자(provider)와 배치자(deployer)에게 인공지능 산출물 표시의무를 부과하고 있다. 위 법률에서 주목되는 점으로는, 표시의무의 내용에 관해 인공지능시스템 제공자와 배치자의 의무가 일부 상이하다는 것, 표시의무의 예외를 설정하고 있다는 것, 오디오·비디오 등의 딥페이크와 텍스트 산출물을 구분하고 있다는 것을 들 수 있다. 인공지능시스템 제공자는 일종의 솔루션 공급자로서 그에 따른 책임이 설정되어야 하고 인공지능시스템 배치자는 기관책임자의 지위에서 인공지능 솔루션을 대내외적으로 활용하는 것에 대한 책임이 인정돼야 한다. 표시의무는 표현 및 창작의 자유를 저해할 수 있으므로 이에 대한 예외가 설정돼야 하는데, 해당 콘텐츠(딥페이크)가 명백히 예술적·풍자적 작품인 경우에는 표시의무의 방법을 완화할 필요가 있고, 또한 해당 콘텐츠(텍스트 산출물)가 인간의 검토 또는 편집 통제 과정을 거쳤고 자연인 등이 해당 콘텐츠 게시에 대한 편집 책임을 부담하는 경우에는 이를 굳이 인공지능 산출물이라고 표시할 필요가 없으므로 표시의무 적용이 제외된다(EU 인공지능법 제50조 제4항). 또한 텍스트 산출물은 딥페이크 영상과 대비해 그 위험성과 기술적 통제수단이 다르다는 점이 고려돼야 한다. 위험성의 정도 관점에서 보면 딥페이크영상이 텍스트 산출물보다 일반적 상황에서 이용자에게 위해를 가할 가능성이 높고, 텍스트 산출물에 대한 워터마킹은 현재 시점에서 기술적인 어려움이 있다(특히 콘텐츠 유통과정에서 편집이 있는 경우 워터마크의 보존이 어렵다).

국내의 경우 특정 고위험 분야에서는 이미 인공지능 산출물 표시의무가 도입된 바 있다. 2023년 12월 28일에 신설된 공직선거법 제82조의8(딥페이크 영상 등을 이용한 선거운동)은 선거일전 90일부터 선거일까지 딥페이크 영상(인공지능 기술을 이용하여 만든 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상을 의미함)을 제작ㆍ편집ㆍ유포ㆍ상영 또는 게시하는 행위를 금지하고(제1항), 제1항의 기간이 아닌 때에 딥페이크 영상 등을 제작ㆍ편집ㆍ유포ㆍ상영 또는 게시하는 경우에는 해당 정보가 인공지능 기술 등을 이용하여 만든 가상의 정보라는 사실을 명확하게 인식할 수 있도록 중앙선거관리위원회 규칙으로 정하는 바에 따라 해당 사항을 딥페이크 영상 등에 표시하여야 한다고 규정하고 있다(제2항). 여기의 ‘딥페이크 영상 등’은 음향, 이미지, 영상 또는 이에 준하는 것을 포함하는 것으로서, 텍스트만으로 이루어진 것은 포함되지 아니한다고 중앙선거관리위원회는 해석하고 있다(법규운용기준 3면). 최근 법사위를 통과한 인공지능 기본법안의 인공지능 산출물 표시제도는 이러한 공직선거법의 내용과 실무 경험을 참고한 것이라고 할 수 있다.

4. 표시의무의 예외 내지 한계

인공지능 산출물 표시제도에 대해서는 이미 비교법적으로 선행 입법이 있고, 국내에서도 인공지능 기본법안이 법사위를 통과한 상태이므로 어떠한 내용으로든 법제화가 될 것으로 예상된다. 현재 국내 인공지능 기본법안은 표시의 방법 및 예외에 관한 사항을 대통령령에 위임하고 있으므로, 실제 표시제도의 운영은 관련 시행령의 내용에 달려있다고 보인다.

인공지능 산출물 표시의무는 몇 가지 제약요인이 있다고 생각된다. 첫 번째로는 표시의무를 실제로 수행해야 할 인공지능 산업계는 표시의무 이행에 관하여 경제적·기술적 동기가 부족하다는 점이다. 법적 의무의 설정과 이행은 경제적 동기에서만 비롯되는 것은 아니므로 사회적 관점에서 어떠한 법적 의무가 설정된다면 사회 구성원은 경제적 유불리와 무관하게 그에 따를 의무가 있다. 그러나 어떠한 법적 의무가 수범자의 이해관계나 행위상황을 적절히 반영하지 못하는 경우 법률의 집행력은 저하될 수밖에 없다. 인공지능 산출물 표시제도는 일반적으로 필요하다고 할 수 있으나, 산출물의 유형(딥페이크, 텍스트)에 따라 위험상황이 다르다는 점이 고려되어야 하고, 이용자가 이미 인공지능 산출물임을 명백히 인식할 수 있는 구체적 상황에서는 표시의무의 방법이 완화될 필요가 있다. 또한 표시의무의 수단을 강력하게 통제하는 것은 기술 중립성 원칙에 반할 수 있고 최종적으로 인공지능 기술의 발전을 저해할 우려가 있다. 인공지능 산업계의 니즈를 고려하여 표시의무의 집행력을 높이는 방안을 모색해야 한다고 생각된다.

두 번째로는, 인공지능 산출물 표시를 이행하는 과정에서 이용자의 창작 내지 표현의 자유가 제약될 수 있다는 점이 충분히 검토돼야 한다. 이는 텍스트 산출물에서 현저할 수 있다. 현재 텍스트 산출물에 대한 워터마크 삽입 방식은 ① 특정 문법 구조(수동태, 능동태)나 특정 문구를 의도적으로 일정 비율로 삽입하여 정보를 인코딩하는 구문적 워터마킹 ② 단어나 구문의 선택을 특정 확률 분포에 따라 조절하는 통계적 워터마킹 등으로 구분할 수 있는데, 이러한 워터마크 방식은 인공지능을 활용하는 이용자의 창작 내지 표현내용을 상당히 제약할 가능성이 있다.

마지막 세 번째로는, 워터마킹의 기술적 한계를 고려하여야 한다. 예를 들어 텍스트 산출물에 대해서는 워터마크를 삽입한다고 하여도 해당 텍스트가 변형되거나 토큰 단위로 분해되어 유통되는 경우 워터마크가 손상될 수 있어 궁극적으로 인공지능 산출물 표시제도가 유지되기 어렵다. 인공지능 산출물 표시제도는 이와 같은 현실적·기술적 제약조건을 가지고 있다는 점이 향후 제도 운영 과정에서 충분히 숙고돼야 한다고 생각한다.

5. 맺음말

인공지능 산출물에 대한 식별표시 의무화는 투명성과 이용자 보호, 그리고 사회적 신뢰를 증진하기 위한 중요한 제도적 장치로 이해된다. 딥페이크 및 가짜 뉴스 등 고위험 상황에서의 오남용을 방지하고, 인간 창작물에 대한 저작권 보호에 기여할 수 있다는 점에서 그 필요성은 크다고 할 수 있다. 그러나 인공지능 산업계와 이용자 사이의 이해관계 조정, 표현의 자유와 기술 발전에 미칠 영향을 고려한 신중한 설계가 요구된다. 특히, 산출물의 유형과 행위 상황에 따른 위험성을 검토하고 표시 방식을 규정할 필요가 있다.

향후 인공지능 산출물 표시제도의 구체적인 실행 과정에서는 워터마킹의 기술적 한계와 현실적 제약을 반영해 효과적이고 지속 가능한 방식으로 제도가 운영될 수 있도록 해야 한다. 이를 통해 인공지능 기술은 사회적 신뢰를 얻으며 발전할 수 있을 것이다.