‘만병통치약 AI’ 돌팔이 약장수 판별법

AI 에이전트, AI 반도체, AI 슬롭(AI slop), 피지컬 AI, AI 워싱(AI washing), 소버린 AI, 섀도우 AI…2022년 말 오픈AI의 챗GPT가 등장하며 시작된 AI 열풍은 새로운 현상과 신조어들을 탄생시키고 있다. 딥엘, 미드저니, 소라, 노트북LM 등 실제 생활에서 업무용으로 사용할 수 있는 AI 에이전트 서비스들이 잇따라 등장함에 따라 모든 사람이 경탄하면서 자신들의 일자리를 걱정하게 만드는 상황이 펼쳐졌다. 개인들의 미래 일자리 걱정은 이내 기업들의 사업 모델 붕괴 우려로 이어졌다. 2026년 2월 초 공개된 앤트로픽의 AI 에이전트 서비스 ‘클로드 코워크(Claude CoWork)’는 웬만한 기업들이 앞으로는 업무용 소프트웨어 서비스를 구매, 설치해 사용할 필요 없게 되는 환경을 가져올 것이라며 세계적인 소프트웨어 기업들의 주가를 폭락시킨 ‘사스포칼립스(SaaS-pocalypse)’ 현상으로 이어졌다.

지금과 같은 AI 열풍이 지속될지에 대해서는 시선이 엇갈린다. 보스턴 다이내믹스의 아틀라스 로봇과 같은 휴머노이드에 피지컬 AI가 장착되어, 기업용·가정용으로 출시될 미래엔 수요가 더 늘어날 것이라며 반도체와 AI 산업에 대한 투자자들의 관심은 커져만 간다. 그런가 하면, 막대한 투자에도 불구하고 실질적 수익을 내지 못하는 AI 산업이 붕괴할 수 있다며 ‘AI 거품론’을 경고하는 목소리도 주목받고 있다.

이러한 AI 열풍 속에서 《AI 버블이 온다》가 2025년 12월 말 국내에서 번역 출간됐다. 프린스턴대 정보기술센터 소장 아르빈드 나라야난 교수와 연구원 사야시 카푸르가 공저한 책으로, 원제는 ‘AI Snake Oil(AI 뱀 기름)’이다. ‘AI 뱀 기름’이라는 제목은 과거 미국 서부 개척 시대에 돌팔이 약장사들이 ‘뱀 기름’을 만병통치약으로 속여 판 것처럼, 현재의 AI가 ‘만병통치약’처럼 과장과 오해로 뒤범벅돼 통용되는 현상을 의미한다. 저자가 책 제목으로 말하는 ‘AI 거품’은 AI 투자와 주식 시장에서의 AI 산업의 거품을 가르키지 않는다. 주식 시장 거품보다 훨씬 넓은 의미다.

‘AI 담론’, 생성형 AI와 예측형 AI 구분해야

저자들은 ‘AI’라는 단어를 두고 서로 다른 걸 지칭하는 용어의 부정확성 지적에서 출발한다. 만약 자동차, 자전거, 비행기, 킥보드 같은 구체적 단어 없이 오직 ‘탈것(Vehicle)’이라는 단어 하나만 존재한다고 상상해보자. 누군가는 ‘탈것’이 친환경적이라고 주장하고(자전거를 생각하며), 다른 누군가는 ‘탈것’이 환경을 파괴한다고 반박할 것이다(트럭을 생각하며). 또 다른 누군가는 ‘탈것’을 타고 달에 갈 수 있다고 믿으며 자전거 판매상에게 우주여행을 예약하려 들지도 모른다.

저자들은 현재의 인공지능 담론이 바로 이러한 오류에 빠져 있다고 진단한다. 우리는 챗GPT와 같은 ‘생성형 AI’와 범죄 예측 알고리즘 같은 ‘예측형 AI’를 모두 ‘AI’라는 하나의 단어로 뭉뚱그려 부른다. 이 언어적 혼란 속에서 기술의 실체는 가려지고, 그 틈을 타 ‘뱀 기름’을 파는 사기꾼들이 활개 치고 있다.

책은 단순히 AI 기술을 비판하거나 거품론을 주장하지 않는다. 오히려 기술이 할 수 있는 일과 할 수 없는 일을 명확히 구분함으로써, 집중해야 할 혁신이 무엇인지 그리고 경계해야 할 사기는 무엇인지를 파헤치는 ‘AI 리터러시’ 서적이다.

책이 비판하는 AI는 대중과 투자자의 관심을 집중시킨 챗GPT, 제미나이와 같은 생성형 AI가 아니다. 그보다 사람들 눈에 잘 띄지 않는 곳에서 삶을 좌지우지하는 ‘예측형 AI’다. 저자들은 예측형 AI야말로 현대판 ‘뱀 기름’이라고 말한다. 예측형 AI는 과거의 데이터를 학습해 미래의 결과를 예측한다고 홍보하지만, 사회 속에서 사람들이 상호작용하며 만들어내는 결과를 예측하는 것은 근본적으로 불가능하다는 게 저자들의 주장이다.

“예측형 AI는 현대판 뱀 기름” 경고

책에는 예측형 AI로 인해 빚어진 다양한 실패 사례가 실려 있다. 이 사례들은 예측형 AI의 민낯을 보여준다. 대표적인 예시가 폐렴 환자들의 결과를 예측하며 고위험 환자의 치료 우선순위를 결정하는 AI 모델이다. 이 AI 모델은 병원들로부터 많은 임상 데이터를 확보한 뒤 폐렴 환자 중 누가 합병증이나 사망에 직면할 위험이 높은지를 학습했다. 그 결과, AI 모델은 “천식은 폐렴 때문에 생기는 합병증 위험을 낮춘다”는 판단을 얻었다. 이 모델을 사용하게 되면 천식 환자를 귀가시키고 천식이 없는 환자를 중환자실에서 집중 치료해야 한다는 결론을 얻게 된다. 이런 결과는 폐렴에서 천식은 사망 위험을 높이는 중증 증상이므로 병원에서 곧바로 중환자실로 보내져 집중 치료를 받았고 합병증 사례가 크게 줄어들었다는 임상 사례들 때문이었다. 문제 없이 작동했던 기존의 병원 시스템이 AI 모델의 효율화 명분으로 도입될 경우, 의료적 재난이 일어날 수 있는 상황이다.

채용 시장에서도 ‘뱀 기름’은 넘쳐난다. 일부 기업은 지원자의 30초짜리 소개 영상을 분석해 성실성이나 업무 적합성을 파악할 수 있다고 주장한다. 하지만 저자들은 사이비라고 비판한다. 배경에 책꽂이가 있는지, 안경을 썼는지와 같은 사소한 요소들이 AI 면접 점수를 뒤바꿨다. 이전 데이터에서 배경에 책꽂이를 둔 지원자나 안경 쓴 지원자들의 합격률이 높았던 게 원인이다. 이러한 예측형 AI의 잘못된 활용은 지원자들로 하여금 직무 능력을 키우는 대신 AI의 비위를 맞추는 ‘최적화 게임’에 몰두하게 만든다. 국내 일부 대학에서 AI를 활용한 부정 행위나 AI만 읽을 수 있는 화이트 캐릭터를 심은 논문과 입사 지원서도 그 사례다.

예측형 AI의 더 큰 문제는 차별을 자동화하고 강화한다는 점이다. 2013년 미국의 보험사 올스테이트는 AI를 활용해 가격 최적화 모델을 도입했다. 그 결과 62세 이상 노인들의 보험료가 급격히 인상되는 ‘호구 명단’이 만들어졌다. AI가 노인들은 보험사를 잘 바꾸지 않는다는 행동 패턴을 간파하고 이를 수익화 수단으로 악용한 것이다.

또한, 미국 법원에서 판사들이 형사범의 범죄 재범 위험을 예측하기 위한 보조 수단으로 사용하는 ‘콤파스(COMPAS)’ 알고리즘은 흑인 피고인에게 더 높은 위험 점수를 부여하는 경향을 보였다. 흑인이 백인보다 체포될 확률이 높은 미국 사회의 편향된 데이터를 그대로 학습했기 때문이다. 이러한 치명적 문제에도 불구하고 예측형 AI는 ‘객관적’이라는 명분 아래 판사, 의사, 채용 담당자들의 책임을 회피하는 도구로 전락하고 있다. 효율성을 핑계로 인간의 판단을 알고리즘에 외주화한 결과, 차별은 은밀해지고 피해자는 항의할 곳을 잃었다.

‘생성형 AI’, 유용하지만 위험한 ‘확률적 앵무새’

저자들은 예측형 AI에 대해서는 매우 비판적이지만, 챗GPT와 같은 생성형 AI에 대해서는 “새롭고 흥미로운 기술”이라며 가능성을 인정한다. 그러나 이 역시 맹목적 찬양 대상은 아니다. 생성형 AI는 거대 언어 모델을 기반으로 그럴듯한 문장을 만들어내지만, 이는 다음에 올 단어를 확률적으로 예측하는 ‘확률적 앵무새’에 가깝다.

생성형 AI의 가장 큰 함정은 사실과 거짓을 구분하지 못한다는 점이다. 책은 변호사가 챗GPT가 지어낸 가짜 판례를 법정에 제출했다가 자격 정지를 당한 사례나, 정보기술 매체 <시넷>이 몰래 AI 작성 기사를 내보냈다가 많은 오류가 드러나 신뢰를 잃은 사례를 제시한다. 이러한 ‘환각’ 현상은 AI의 버그가 아니라 생성형 AI의 작동 원리인 확률적 조합에서 기인하는 본질적 특성이다.

저자들은 상업적 목적으로 AI가 생성한 스팸성 정보가 인터넷을 뒤덮는 ‘거짓말쟁이의 배당금’ 현상을 우려한다. 이미 숏폼 플랫폼과 소셜 미디어에는 무가치한 조작 영상으로 시선을 사로잡는 ‘AI 슬롭’을 대량 생산해 수익을 만들어내는 현상이 심각하다. 미국 연방통신위원회가 망 중립성 이슈에 대한 여론 수렴을 위해 개설한 공개 토론방에는 수백만 건의 댓글이 달렸는데, 대부분이 AI가 만들어낸 자동 생성 댓글이었다. 국내 뉴스 댓글과 커뮤니티에서도 벌어지고 있는 현상이다. AI를 이용해 사람들을 속여 돈벌이를 하고 여론을 왜곡해 이익을 추구하려는 행위가 범람하고 있다. 진실과 거짓의 경계가 희미해지는 정보 환경 속에서 민주주의적 의사 결정은 심각한 위협을 받고 있다.

인간의 취약점 ‘불확실성에 대한 공포’

저자들은 우리가 엉터리 AI에 속는 심리적 기저에는 ‘불확실성에 대한 공포’가 깔려 있다고 지적한다. 인간 두뇌는 ‘예측 기계’라는 연구가 알려주듯, 사람은 본능적으로 무작위성을 견디기 힘들다. 인류의 진화 역사에서 미래를 예측하는 능력이 생존 능력을 획기적으로 높여준 까닭이다. 그래서 사람은 미래가 예측 불가능하다는 사실을 인정하는 대신, 설령 틀리더라도 무언가 예측해주는 기계에 의존하고 싶어 한다.

하지만 저자들은 “사회적 현상은 예측하기 어렵다”는 진실을 직시해야 한다고 강조한다. ‘80억 문제’라 불릴 만큼 인간 사회의 변수는 무한하며, 데이터가 아무리 많아져도 이 근본적인 무작위성은 제거될 수 없다. 예측할 수 없는 것을 예측할 수 있다고 파는 것이야말로 사기이며, 이것이 바로 ‘AI 뱀 기름’의 본질이다.

《AI 버블이 온다》는 단순히 거품 붕괴를 경고하는 예측서가 아니다. 저자들은 AI가 인류를 멸망시킬 것이라는 공포도, AI가 모든 문제를 해결해 줄 것이라는 기술 만능주의도 모두 경계한다. 대신 저자들이 제안하는 해법은 ‘AI 리터러시’다. 그 구체적인 방법은 생성형 AI와 예측형 AI를 구분하고 이용하는 것이다. 또한 AI의 효율성과 정확성을 내세운 홍보에 현혹되지 말고 의심하는 길이다. 드러나지 않지만 일상에 스며든 알고리즘을 찾아내 감시하는 것도 중요하다. 이를 위해서는 투명성과 접근성 보장이 필요하다.

책은 AI 이용자들의 힘으로 세상을 바꿀 수 있다고 말한다. 맞춤법 검사기가 과거에는 고도의 AI 기술로 여겨졌으나 지금은 아무도 AI라고 부르지 않는 것처럼, 진정 유용한 기술은 배경으로 사라져 우리 삶을 조용히 돕는다. 사용자가 ‘AI 뱀 기름’을 걷어내고 진정한 혁신을 요구해야 하는 이유다. 저자들은 AI 열풍에 올라탄 뱀 기름 약장수들의 손에 들린 병을 깨뜨리고, 그 안의 내용물이 무엇인지 보여주고자 한다. 기술에 압도당하지 않고 기술을 나를 위한 도구로 사용하기 위해서는, 이용자가 그 기술의 ‘거품’과 ‘실체’를 구분하는 법을 배우는 게 먼저다.