연관검색어 및 자동완성검색어 관련 정책결정 리뷰

1. 개인화 검색서비스기술의 특성

KISO 정책결정 제15호인 ‘연관검색어 및 자동완성검색어 관련 정책결정’은 개인화 검색 서비스의 중요 운영원칙을 포함하고 있는 서비스정책이다. 그동안 웹의 방대한 자료를 검색할 수 있게 도와주는 검색서비스는 다양한 유형으로 발전해 왔다. 1990년대 야후가 주도했던 인덱스형 검색서비스는 구조화된 주제목록을 보여줘서 이용자들이 순차적으로 정보를 찾을 수 있도록 하는 방식이었다. 이후 정보량이 보다 방대해지면서, 웹 검색은 특정 검색어를 입력해서 이것이 들어간 문서를 추출하는 키워드형 검색엔진으로 발전했다.

키워드 검색엔진의 등장과 함께 다양한 검색 연산자를 활용한 고급검색기법들이 소개되었지만, 일반 이용자들이 이를 이용하기에는 어려움이 많았다. 검색엔진들간 경쟁이 치열해지는 가운데 각사의 고유한 검색 알고리즘이 개발되고 이용자들이 인지적으로 용이하게 검색결과를 찾아갈 수 있도록 도와주는 연관검색어와 같은 부가 서비스들이 발전하기 시작했다.

연관검색어 및 자동완성검색어(이하 연관검색어) 역시 이러한 부가서비스의 하나이다. 이 서비스는 다수 이용자들이 입력한 과거 검색어 자료를 분석해서 특정 검색어와 상호 긴밀히 연관된 검색어를 검색 입력창 또는 그 인접영역에 자동적으로 제시하는 서비스를 말한다. 검색엔진별로 서비스 양식이 다양하기 때문에 연관검색어와 자동완성검색어를 명확히 구분해서 정의하기는 쉽지 않다. 서비스 특성에 기반해서 정의내려 본다면, 연관검색어는 특정 키워드와 공통되게 발생할 확률이 높은 검색어 목록을 검색창 또는 그 인접영역에 제시하는 것을 말한다. 자동완성검색어는 이용자가 입력하고 있는 검색창에 검색어의 입력이 끝나기 전에 그 입력한 문자열을 포함한 검색어 리스트를 자동으로 제시하여 사용자의 수고를 덜어주는 기능이다. 본질적으로 이 두 서비스는 동일한 검색 알고리즘에 의해 구현된다는 점에서 유사서비스로 간주할 수 있으며 이를 연관검색어로 통일해서 불러도 무방하다고 하겠다.

검색 서비스 관점에서 연관검색어는 개인화검색 서비스에 해당된다. 개인화검색이란 이용자의 관심을 보다 빠르게 반영해서 데이터 분석을 통해 검색행동에 맞춤형으로 서비스하는 추천형 서비스를 말한다. 개인화서비스에는 다양한 기술적 방식이 적용된다.

예를 들어, 웹 문서의 메타데이터를 분석해서 검색결과를 범주화하여 제공하는 ‘시멘틱웹 검색’, 이용자의 개인정보가 담긴 프로파일 데이터를 이용하여 이용자의 패턴이나 관심 주제를 판단해서 검색효율을 증대시켜 주는 서비스인 ‘이용자 정보에 기반한 개인화검색’, 이용자가 웹에서 보고 있는 문서의 특징을 추출해서 관심분야를 추정하고 이를 바탕으로 검색어를 추천하여 검색범위를 확장시키는 ‘웹 페이지를 이용한 개인화 검색’, 그리고 검색어를 자동적으로 확장시켜 주는 ‘쿼리 확장방식’ 등이 있다.

일반적으로 연관검색어는 쿼리확장방식을 의미한다. 쿼리확장방식이 작동되는 구조 역시 다양하다. 사용자가 처음 입력한 검색어를 주제범주별로 제시한다거나, 데이터마이닝 기법 등을 통해 이전에 방문했던 웹상의 문서들을 분석해서 추천하는 단어추출기법을 사용하거나, 동의어나 관련어 어휘사전인 시소로서(thesaurus)를 이용하거나, 유사한 빈도로 추출되는 검색어를 클러스터링(clustering)하는 방식 등이 있다. 클러스터링은 검색어가 동시출현하는 빈도(co-occurrence frequency)를 측정하고 색이어간 유사도(analogous map)를 측정하여 검색어와 유사한 용어를 제시하는 방식을 사용한다.

연관검색어가 구현되는 알고리즘은 개별 검색사업자의 상품경쟁요소로서 사별로 차이가 크다. 동시출현하는 검색어의 발생빈도를 계산하는 방식이나 새로운 검색어를 결합시키는 방식에서 큰 차이가 존재한다. 그러나 공통적인 것은 다수의 이용자들이 입력한 방대한 정보값(입력 검색어에서부터 웹문서상의 메타데이터까지)을 분석해서 사용한다는 점이다. 그런 점에서 이들 서비스는 이용자들의 집합적 행동에 대한 데이터마이닝의 결과가 반영된 것이라 말할 수 있다.

연관검색어는 설계된 수학적 알고리즘에 기반해서 작동한다는 점에서 인위적 장치라고 말할 수 있으나 사람에 의한 필터링이나 편집이 아니라는 점에서 자동화된 서비스로 이해할 수 있으며 개별 키워드에 대한 사람의 개입이 최소화되어 있다고 말할 수 있다.

2. 정책결정의 배경과 내용

정책결정 제15호는 이러한 연관검색어서비스로 인해 발생할 수 있는 권리침해와 그에 따른 피해구제요청에 대한 처리방안을 담고 있다. 이 결정이 내려진 배경은 앞서 언급한 연관검색어 서비스가 보편화되면서 검색행동에 큰 영향을 미치고 있고, 다수의 대중에게 특정 검색어를 노출시키는 인지적이고 태도적인 효과를 갖고 있기 때문이다. 특히, 연관검색어로 인한 개인정보 노출, 사생활 침해 또는 명예훼손 등 권리침해의 가능성과 상업적 목적 등으로 인하여 연관검색어 생성이 비정상적으로 남용되는 문제도 실제로 나타난바 있다.

또한 사회 일부에서 포털서비스의 의제설정기능과 관련하여 연관검색어서비스를 의도적 영향력행사와 연결지어 바라보고 있다. 지난 9월 네이버의 연관검색어였던 ‘안철수 룸싸롱’을 둘러싼 정치적 해석이 여기에 해당한다. 이에 KISO는 연관검색서비스에 따른 이용자 피해예방 및 구제를 위해 처리기준을 마련함으로써 사회적으로 보다 투명한 운영원칙을 공개하기 위해 이 정책결정을 마련하게 되었다.

연관검색어와 관련한 정책결정이 처음은 아니다. 이미 정책결정 제9호인 “선거기간 중의 연관검색어 및 자동완성 검색어 목록에 관한 정책 결정”이 이에 해당한다. 여기서는 선거기간¹⁾ 중에 국민은 자신을 대변하는 대리인의 도덕성이나 청렴성을 검증하기 위해 다양한 정보에 접근할 권리가 있으므로, 선거기간 중에는 연관검색어와 자동완성 검색어 목록에 대하여 권리침해를 이유로 삭제하지 않음을 원칙으로 하고 그 예외조항을 제시한 바 있다. 정책결정 제15호는 선거라는 특수시점에 국한되지 않는 일반 운영원칙이라는 점에서 차이가 있다.

가. 연관검색어 서비스에 대한 정의

이번 정책결정에서는 연관검색어 서비스를 “다수 이용자들의 검색활동자료를 바탕으로 이용자가 입력하는 검색어와 관련성이 높은 검색어를 제시해 주는 서비스로서 이용자들의 검색 편의성을 증진시키고 인터넷상 관련 이슈를 손쉽게 알 수 있게 해주는 것을 그 목적으로 한다”고 정의함으로서 그 목적을 이용자 편익서비스로 정의하고 있다.

결정문에는 이 서비스가 이용자들의 검색 편의성을 높이고, 사회적 이슈나 문제에 대한 유수접근성을 높인다는 점에서 정보이용을 촉진시키는 장치로 해석하고 있다. 또한 상업적 남용 가능성, 불법 및 유해정보 노출 및 사생활 침해 우려 등을 적시함으로써 이 서비스의 고유한 효과를 고려하고 있다.

나. 연관검색어의 인위적 생성 및 변경금지를 원칙으로 함

정책결정은 연관검색어를 인위적으로 생성 또는 변경하지 아니한다고 밝히고 있다. 이 같은 결정은 연관검색어가 갖는 기술적 특성을 고려했기 때문이다. 연관검색어는 다수 이용자들의 검색행동이 축적된 결과물이다. 수학적 알고리즘을 통해 추출되는 검색어의 순서나 추천검색어는 달라질 수 있지만, 인위적으로 특정 용어를 검색어로 포함시키는 것과 같은 일종의 ‘자의적 배치’ 또는 ‘편집’행위로서 이 서비스의 기본 작동원리를 위배하는 것이다.

즉 연관검색어는 이용자의 행동데이터에 기반한 것으로서 사업자의 편향성이 작동될 수 있기에 이에 대한 인위적 생성이나 변경을 금지시킴으로써 운영의 객관성과 투명성을 높이려는 것으로 이해할 수 있다.

다. 연관검색어 제외 및 삭제에 대한 예외조항 제시

정책결정 제15호는 원칙적으로 연관검색어가 제외 및 삭제되지 않는다는 것을 밝힌 후, 그 예외조항을 제시하여 이 서비스로 인한 이용자의 피해를 구제할 수 있도록 하고 있다. 모두 7개 항으로 구성된 예외조항은 아래와 같다.

<연관검색어 제외 및 삭제에 대한 예외조항>

① 연관검색어 등 또는 해당 검색결과가 특정인을 식별할 수 있는 개인정보를 노출하는 경우

② 연관검색어 등 또는 해당 검색결과가 공공의 이익과 관련이 없는 영역에서, 특정인의 사생활을 침해하거나 허위의 사실을 적시하여 명예를 훼손하는 등 권리를 침해하여 그 피해자가 삭제를 요청한 경우

③ 연관검색어 등 또는 해당 검색결과가 저작권을 명백히 침해하는 경우

④ 연관검색어 등 또는 해당 검색결과가 음란ㆍ도박 등 불법정보 또는 선정적인 정보를 노출하는 경우

⑤ 법원이 결정 또는 판결에 의하여 또는 행정기관이 법령 및 적법한 절차에 따른 행정처분, 결정 등에 의하여 연관검색어 등의 삭제를 요청한 경우

⑥ 연관검색어 등이 오타, 욕설 등을 포함하여 현저하게 이용자의 불편을 초래하고 서비스의 질을 저하하는 경우

⑦ 연관검색어 등의 생성이 상업적인 용도 및 이에 준하는 그 밖의 사유로 비정상적인 절차에 의해 남용된 경우

위의 7개 조항은 연관검색어의 제외 및 삭제를 명백히 불법적이거나 유해성이 비교적 명확한 검색어로 국한하고 있음을 알 수 있다. 정책결정 제15호의 예외조항은 정책결정 제9호보다 더 상세하게 제시되어 있다. 제9호에서는 선거 후보 및 예비후보를 대상으로 ▷ 공직후보의 적격성 판단과 관계없이 오로지 사생활 침해가 심각하게 우려되는 경우, ▷ 허위사실임이 명백하게 증명된 게시물 등에의 접근을 조장함으로써 명예훼손의 피해를 확대하는 결과를 초래하는 경우로 한정해서 삭제할 수 있도록 제시하고 있다. 즉, 사생활 침해와 허위사실에 근거한 명예훼손에 국한하고 있다. 이는 선거기간동안 후보자 또는 예비후보자를 스스로 국민으로부터 검증받고자 하는 자로서 일반시민과 다른 한시적 공인으로 간주해서 공직선거법상 불법의 영역이 아니라면 후보자에 대한 게시물은 보다 폭 넓게 표현의 자유가 인정되어야 한다는 논거에 근거해 있다.

한시적 시점에 적용되는 제9호와 다르게 제15호는 연관검색어에 대한 일반운영원칙으로서 불법의 영역을 보다 명시적으로 나타내고 있다. 불법의 영역으로 ▷개인정보침해, ▷공공의 이익과 관계없는 사생활침해 및 허위에 근거한 명예훼손, ▷저작권 침해, ▷청소년보호법에서 금지하고 있는 음란ㆍ도박 등 불법정보, ▷사법부의 판결 또는 행정기관의 처분 및 결정을 포함시키고 있다. 그 외에도 서비스 품질 및 사회적 유해성 관점에서 ▷오타와 욕설, ▷상업적 오용 등이 포함된다.

제15호의 7개 조항 가운데 명시적인 불법행위가 아닌 2개 조항은 부정확한 정보(오타), 사회적 유해(욕설)와 상업적 어뷰징과 같이 일반적으로 수용 가능한 서비스사업자의 사회적 책임에 해당한다. 이러한 결정은 불법적인 내용을 배제하는 가운데 최대한 이용자의 검색 편의성과 관련 이슈 접근권을 보장하기 위해서이다.

3. 정책결정의 의의와 과제

이번 정책결정을 통해 KISO 회원사인 다음커뮤니케이션, 야후코리아, SK커뮤니케이션즈, NHN 등 주요 포털은 각 사의 고유한 기계적 알고리즘에 의해서 연관검색어 및 자동완성 검색어를 생성·변경할 뿐, 인위적으로 생성, 변경하지 않으며, 특별한 예외사유에 해당하지 않는 한 원칙적으로 삭제하지 아니하는 기존의 원칙을 재확인하였다. 그동안 회원사별로 약간씩 달랐던 연관검색어 등의 예외적 삭제 기준이 이번 결정을 통해 통일적으로 시행됨으로써 자율규제의 예측가능성을 높였다.

또한 인터넷자율규제의 범위를 게시물심의에서 검색서비스영역으로 확대했다는 데 의의가 있다. 그동안 KISO는 제3자 게시물에 대한 심의 및 피해구제 절차에 초점을 맞추어 왔다. 그러나 이번 정책결정을 중심으로 다양한 포털서비스 영역으로 그 역할을 넓힘으로써 자율규제기구로서의 기능이 보다 확장되었다.

그러나 이번 결정을 실제 심의과정에 적용하는 데 있어 몇 가지 과제가 있다. 첫째, 연관검색어는 쿼리 또는 질의어로서 하나의 용어형태를 띠고 있어서 그 자체만으로 불법성 여부를 판단하는데 어려움이 따른다. 검색어는 의미가 생성되기 위한 최소단위로서 검색어 조합 자체만으로 명확한 불법성을 띠는 경우는 그 용어가 청소년보호법상의 청소년유해물에 해당되는 등 그 범위가 매우 제한적이다.

따라서, 권리침해신고가 들어온 연관검색어를 심의함에 있어서 검색어 자체 보다는 검색어와 연관된 게시물을 동시에 고려해야 하는데 그 맥락성을 어느정도까지 판단해야 하는지 어려움이 있다. 한편, 피해구제 차원에서 연관검색어와 관련한 자율규제 활동은 게시물의 임시조치절차처럼 권리침해를 주장하는 자의 신고를 통해 심의가 개시되는 것이 현실적이며 타당하다고 하겠다.

둘째, 게시물에 대한 삭제는 표현의 자유에 대한 통제로 이어지지만 연관검색어에 대한 삭제는 이용자의 편리성을 제한하는 것으로 표현물 자체에 대한 직접 규제는 아니다. 검색개인화서비스는 부가서비스의 일종으로서 연상작용을 통해 검색경로를 단축시키기 위한 것이기 때문이다. 그렇기에 연관검색어로 인한 피해구제는 법률적 문제라기보다 포털사의 답책의 영역 즉, 자율적으로 책임을 구현하는 자유결정 영역이라고 판단된다.

연관검색어가 갖는 기술적 특성, 이용자에게 보다 많은 정보나 이슈를 인지시킨다는 장점, 그리고 표현의 자유와 직결되지 않는 부가서비스라는 이질적인 특성들을 복합적으로 고려해야 하는 어려움이 뒤따른다. 포털의 자율규제활동에서 책무의 폭과 깊이를 구획하는 큰 과제와도 맞닿아 있는 문제이기도 하다.

1) 적용 기간은 공직선거법에 따른 예비후보자 등록 개시일부터 선거관리위원회를 통해 당선자가 확정된 시점(후보를 중도에 사퇴한 경우에는 그 사퇴시점)이다. [본문으로]