오펜하이머 모멘트, 파멸의 버튼을 누가 눌렀는지 묻는 순간이 온다.

“대통령님, 내 손에 피가 묻어있는 것 같습니다.”

영화 ‘오펜하이머’의 한 장면이다. 원자폭탄의 아버지로 불리는 로버트 오펜하이머가 울상을 짓자 해리 트루먼(당시 미국 대통령)이 쏘아붙인다.

“핵폭탄을 누가 만들었는지, 그딴 거 신경이나 쓸 것 같소? 투하 명령을 내린 건 납니다. 히로시마와 나가사키가 당신과 무슨 상관이란 말이요?” 문을 닫고 나가는 오펜하이머 뒤로 트루먼의 짜증 섞인 목소리가 들려온다. “저 울보를 다시 보이지 않게 해.”

말은 그렇게 했지만, 트루먼도 큰 부담을 느꼈던 게 분명하다. 최근 한국을 방문한 군사 전략 전문가 에이드리언 루이스(캔자스대 교수)는 “1950년 한국 전쟁에서 미국이 핵폭탄을 쓰지 않은 건 기적이었다”고 평가했다. 트루먼은 핵폭탄을 터뜨려서 전쟁을 끝내라는 강한 압박을 받았지만 버텼다. “지고 있는 전쟁에서 핵무기를 쓰지 않는 건 정말 어려운 결정이었고 그 결정으로 트루먼은 정치적 생명이 끝났다”는 게 에이드리언 루이스의 평가다.

에이드리언 루이스는 한국 전쟁이 ‘인위적 제한전(limited war)’의 시초였다고 본다. 한국 전쟁에서 핵무기를 쓰지 않았기 때문에 베트남 전쟁에서도 쓰지 않을 수 있었다. 린든 존슨(당시 미국 대통령)은 베트남에 핵무기를 배치할 경우 중국이 참전할 가능성을 우려했다. 핵폭탄은 흩어져 있는 게릴라(베트콩)들을 공격하기에 효과가 크지 않지만 역공을 당할 경우 미군에 훨씬 치명적이라는 판단도 있었다.

오펜하이머와 힌턴의 후회

트리니티 실험이 성공했을 때 오펜하이머는 이렇게 말했다. “나는 이제 죽음이요, 세상의 파괴자가 됐다(Now I am become Death, the destroyer of worlds).” ‘오펜하이머 모멘트(moment)’란 새로운 기술로 의도치 않은 결과가 초래되면 과학자에게도 책임이 따른다는 의미다. 세상의 파괴자가 됐다는 사실을 깨달았으면서도 오펜하이머는 핵폭탄 투하를 막지 못했다. 오펜하이머가 직접 버튼을 누른 건 아니지만 책임에서 자유로울 수 없다.

인공지능의 아버지라고 불리는 제프리 힌턴도 비슷한 ‘오펜하이머 모멘트’에 빠졌던 것 같다. 지난 4월 구글에 사표를 던지고 나온 뒤 뉴욕타임스와 인터뷰에서 이런 말을 했다. “나의 일생을 후회한다. 내가 하지 않았다면 다른 누군가가 했을 일이라고 생각하며 스스로를 위로할 뿐이다.” 오펜하이머는 “나치보다 빨리 핵폭탄을 만들어야 한다”고 강조했고 “감당하지 못해도 선택의 여지는 없다”고 했지만, 힌턴의 후회는 더 빨랐다는 게 차이다.

헨리 키신저와 에릭 슈미트, 대니얼 허튼 로커가 같이 쓴 ‘AI 이후의 세계’는 특이점(singularity)을 지난 세상에서 우리가 겪게 될 윤리적·존재론적 딜레마를 다룬 책이다. 챗GPT 열풍이 불기 전인 2021년에 나온 책이고 그사이에 수많은 AI 관련 책들이 쏟아져 나온 뒤라 벌써 해묵은 내용이 많지만 그래도 날카로운 통찰과 혜안이 돋보인다. 특히 5장 ‘안보와 세계 질서’는 “새로운 시대의 오래된 경쟁”이라는 무거운 질문을 남긴다.

트루먼과 존슨이 한국과 베트남에서 핵폭탄을 쓰지 않았던(못했던) 것처럼 극단적인 파괴력은 강력한 억지력을 갖는다. 스톡홀름국제평화연구소(SIPRI) 연감에 따르면 미국과 러시아, 중국, 북한을 포함한 9개 나라가 보유하고 있는 핵무기 수는 1만 2705기에 이른다. 어느 한 나라가 선제공격할 경우 두 나라가 모두 궤멸적인 피해를 볼 수 있다는 두려움이 군비 통제와 비확산 조치로 이어졌다.

키신저가 ‘영구적 난제’라고 부르는 건 단순히 우리를 공격하면 상대방도 끝장난다는 위협만으로 핵무기 사용을 억제할 수 있다는 믿음이 없기 때문이다. 핵무기가 3,000개든 10개든 위협이 되는 건 마찬가지다. 상대방을 궤멸시키지는 못하더라도 심각한 타격을 줄 수 있다는 믿음이 있을 때 힘의 균형이 만들어지지만, 그 균형은 언제라도 무너질 수 있고 지속 가능한 합의라는 것도 존재하지 않는다.

눈에 보이는 핵탄두와 추적 불가능한 AI

이 책에서는 디지털 시대의 분쟁이 왜 다른지를 깊게 파고든다. 핵폭탄 제작에는 엄청난 과학 기술과 뛰어난 인력이 필요하다. 비용도 많이 든다. 인공위성으로 감시도 할 수 있다. 너무 강력해서 설령 전쟁에서 지더라도 섣불리 핵무기를 쓸 수 없는 힘의 균형이 존재한다. 반면 사이버 무기는 경계도 모호하고 통제와 감시도 쉽지 않다. 은밀한 군비 경쟁을 막을 방법도 없고 애초에 세력 균형이나 군사력 억지라는 개념조차 없다.

이 책에서 소개하고 있는 시나리오는 무시무시하다. AI 기반 무기의 위력이 전투 중에 AI가 상황을 인식하고 도출하는 결론에 따라 달라진다면 그 전략적 효과는 실전에서만 확인할 수 있다. 실제 분쟁이 발생하기 전까지 군비 경쟁에서 앞서는지 뒤지는지조차 알 수 없는 상황이 계속될 수 있다는 이야기다. 과거에는 적의 심리에 초점을 맞춰 전략적 행동을 구상할 수 있었는데 알고리즘에는 주어진 명령과 목적만 있을 뿐 전의도 의심도 없다.

키신저 등은 이 책에서 “핵무기는 국제 사회에서 인정받는 금지 조약이 있고 억지의 개념이 명확하게 정의돼 있지만 AI와 관련해서는 넘지 말아야 할 선을 누구도 합의한 바 없다”고 지적한다. “무기의 활용 범위나 성격이 당초 예상했거나 위협했던 것과 달라진다면 억지와 격화의 셈법이 무용지물이 될 수 있다”는 이야기다. 군비 경쟁을 멈출 수도 없을뿐더러 궤멸적 파괴를 막을 최소한의 합의조차 작동하지 않는 상황이다.

에이드리언 루이스가 말한 ‘실존적 위협(existential threat)’을 에릭 슈미트도 말한다. 냉전 시대의 ‘실존적 위협’이 핵 버튼을 누르면 우리도 죽는다는 공포였다면 지금의 ‘실존적 위협’은 가까운 미래에 AI가 통제권을 장악하고 인간을 공격할 거라는 디스토피아적 전망을 말한다. 에릭 슈미트는 MIT테크놀로지리뷰와 인터뷰에서 “핵무기 사용에 미국과 중국이 합의한 것처럼, AI의 실존적 위협에 맞서 국제적인 협력을 끌어내야 한다”고 강조했다.

이 책에서 거듭 강조하는 건 AI 시스템에 대한 인간의 감독과 적시 개입이다. 자율 시스템은 인간이 수동으로 관리하는 ‘온 더 루프(on the loop)’ 시스템과 특별한 행동에만 인간의 승인이 요구되는 ‘인 더 루프(in the loop)’ 시스템으로 나뉜다. 자율 살상 무기를 ‘인 더 루프’에 맡겨서는 안 된다는 국제 협약을 만들 수도 있겠지만 모든 나라가 참여하지 않는다면 의미가 없다. 읽다 보면 등골이 서늘해지는 책이다.

1945년 8월 일본이 핵폭탄을 개발하고 있다는 확실한 의심이 있었다면 미국은 가장 먼저 그곳을 폭격했을 것이다. 일단 폭격이 시작된 뒤에는 검증할 수 없는 의심이다. 만약 합의와 규제가 작동한다는 믿음이 없다면 상대방이 ‘인 더 루프’ 기반의 살상 무기를 만들고 있다는 의심이 들 때 선제적으로 공격할 가능성도 있다. 이 책에서는 그래서 “의도하지 않은 분쟁을 방지하려면 검증 가능한 한계에서 경쟁해야 한다”고 거듭 강조한다.

“공포심을 잃은 것 같아서 두렵다”

문제의 정의와 방향은 명확하지만, 이 책에서 내놓는 해법은 여전히 모호하고 선언적이다. 키신저 등은 여섯 가지 현실적인 가이드라인을 제시하고 있다.

첫째, 경쟁이나 적대 관계에 있는 국가의 지도부가 서로 어떤 형태의 전쟁을 원치 않는지 주기적으로 대화할 준비가 돼야 한다. 우리가 아직 알지 못하는 다가올 위험에 대한 가상 시나리오를 충분히 점검하고 대비해야 한다는 이야기다.

둘째, 핵전략을 둘러싸고 아직 해결되지 않은 난제들이 전략적·기술적·도덕적 차원에서 중요한 문제라는 사실을 인정해야 한다. 조지 슐츠(전 미국 국무부 장관)가 이런 말을 했다. “사람들이 공포심을 잃은 것 같아서 두렵다.” 우리는 지구를 수십 번 날릴 수 있는 분량의 핵폭탄을 이고 산다. 그리고 이제는 여차하면 AI가 그 버튼을 누를 수 있는 시대에 진입하고 있다.

셋째, AI 기반의 살상 무기 개발의 독트린과 한계선을 명문화하고 공유해야 한다. 공격보다는 억지 효과를 강화해야 하고 최악의 경우에도 전면적인 분쟁보다 제한적인 분쟁에 그치도록 우선순위를 합의해야 한다.

넷째, 핵보유국은 특히 사이버 공격에 대비해 지휘 통제 체계와 조기 경보 시스템을 점검하고 보완해야 한다. 함장과 부함장이 목걸이 열쇠를 나눠 갖는 것만으로는 충분하지 않다.

다섯째, 최악의 위기 상황에서도 최종 승인은 인간이 해야 한다. 핵폭탄의 버튼을 누르는 것 같은 돌이킬 수 없는 결정을 내릴 때는 인간이 충분히 숙고할 수 있는 속도로, 그리고 생존할 수 있는 속도로 결정을 내리게 하는 안전장치가 필요하다는 이야기다.

여섯째, 핵확산 방지처럼 군사용 AI 확산을 제한할 방안을 모색해야 한다. “윤리 의식이 없는 정권이 혁신적이고 잠재적 파괴력을 가진 신기술로 전력을 강화한다면 전략적 균형을 이루기 어렵게 된다”는 지적이다.

이 책이 결론으로 남기는 ‘메타적 질문’은 심오하다. “AI의 도움을 받는 인간들이 과연 이 시대에 필요한 철학을 수립할 수 있을까? 혹시 우리를 기다리는 숙명은 인간이 완전히 이해하지 못하는 기계와 협력해 세계를 바꿔나가는 미래가 아닌가?”

우리는 이제 인간이 답하지 못했던 질문에 대한 답을 찾게 될 것이다. 하지만 여기에서 새로운 질문이 시작될 것이다. 오펜하이머는 자신이 무엇을 만들고 있고 그게 어떤 결과를 초래할 거라는 걸 잘 알았다. 하지만 지금 우리는 다가올 위험에 대해 잘 알지 못한다.

키신저 등은 이 책에서 “지금처럼 복잡한 전략적 기술적 문제에 봉착했는데 문제의 본질과 심지어 그 문제를 논의하는 데 필요한 어휘에 대해서도 이렇게 합의가 결여된 시대는 없었다”고 지적한다. “최소한 공통된 어휘로 개념을 정의하고 대략적이나마 서로의 제한선을 확인해야 한다”는 이야기다.

힌턴의 주도로 지난 5월, 350여 명의 과학자들이 성명을 냈다. “AI로 인한 인류 멸망 위험을 줄이는 것은 전염병이나 핵전쟁 같은 사회적 위협과 마찬가지로 세계적인 우선순위가 돼야 한다.” 단 한 문장이었지만 메시지는 강력했다. IAEA(국제원자력기구) 같은 글로벌 감시·규제 기관이 필요하다는 지적도 나온다. 얀 르쿤(뉴욕대 교수) 같은 사람들은 “시장 진입을 막으려는 사다리 걷어차기나 마찬가지”라며 빅 테크 중심의 논의를 경계하기도 했다.

이 책의 대표 저자 헨리 키신저는 1923년생으로 얼마 전 100세 생일을 지냈다. 50세에 노벨 평화상을 받았고 50년이 더 지났다. 에릭 슈미트는 한때 AI의 미래를 이야기하던 사람이지만 지금은 앞장서서 규제를 요구하고 있다. 우리는 사람을 믿지 못하지만, 시스템을 믿는다. AI를 믿지 못하는 건 시스템의 통제를 벗어나 있기 때문이다. “경쟁을 막을 수는 없겠지만 그 근저에는 인류의 생존을 고려한 윤리적 판단이 버티고 있어야 한다”는 조언이 의미심장하다.