AI 기업들이 대중의 '두려움'을 이용하는 이유

어디서 많이 들어본 이야기 같겠지만, 잠시 귀를 기울여보자. 어떤 테크 기업이 "너무 강력해서 무서울" 정도의 새로운 AI를 개발했다고 발표한다. 그들에 따르면, 이 AI는 세상에 공개하기엔 너무 위험하며 그 결과는 처참할 수도 있다. 다행히 그들은 인류를 위해 당분간 이 기술을 꽁꽁 숨겨두기로 한다. 그저, 우리에게 알고만 있으라는 신호를 보내면서 말이다.

이것이 바로 AI 기업 앤트로픽(Anthropic)이 자사의 최신 모델 '클로드 미토스(Claude Mythos)'를 두고 우리에게 건네는 서사다. 앤트로픽은 미토스의 사이버 보안 취약점 탐지 능력이 인간 전문가를 훨씬 능가하기 때문에, 이 기술이 악용될 경우 세상을 뒤흔들 대혼란을 초래할 수 있다고 경고한다.

지난 4월 초, 앤트로픽은 블로그를 통해 "경제, 공공 안전, 국가 안보에 미치는 파장이 심각할 수 있다"고 밝혔다. 일부 관측통들은 미토스가 불러올 디지털 광기로부터 스스로를 보호하기 위해, 와이파이 기능이 달린 전자레인지 등 생활 속 모든 가전제품을 교체해야 할지도 모른다며 호들갑을 떨기도 했다.

보안 전문가들 중에는 이러한 주장에 의구심을 표하는 이들도 많다. 하지만 그 논란은 잠시 접어두자. 사실 이런 식의 주장은 어제오늘 일이 아니다. 선도적인 AI 기업 경영진들은 자신들이 만든 결과물이 인류를 멸망시킬지도 모른다는 경고를 습관처럼 내뱉는다.

대체 왜 AI 기업들은 우리가 공포에 떨기를 바라는 것일까?

어떤 기업이든 자사 제품에 대해 이런 식으로 말하는 것은 매우 기이한 일이다. 맥도날드가 "기가 막히게 맛있어서 대중에게 파는 것 자체가 비윤리적일 정도의 버거"를 개발했다고 홍보하는 것을 본 적이 있는가?

이를 설명하는 가설이 하나 있다. 비평가들에 따르면, 대중을 종말론적 시나리오에 집착하게 만드는 것은 AI 기업들에게 매우 유리한 전략이다. 현재 그들이 사회에 입히고 있는 실질적인 피해들로부터 시선을 돌릴 수 있기 때문이다. 테크 리더들은 자신들이 그저 피할 수 없는 미래를 경고하며 '안전'을 수호하고 있다고 주장한다.

하지만 반대편에서는 이들이 기술의 잠재력을 과장해 공포를 조장하고 주가를 올리려 한다고 지적한다. 이러한 공포는 '악당을 막고 책임감 있게 기술을 다룰 수 있는 곳은 오직 우리뿐'이라는 서사를 만들어내어, 규제 당국의 개입을 차단하는 방패막이가 된다.

영국 에든버러 대학교의 데이터 및 AI 윤리 전문가 샤넌 발로 교수는 "기술의 위험성을 초자연적인 것처럼 묘사하면 대중은 무력감을 느끼게 된다"며, "결국 우리가 기댈 수 있는 유일한 대상은 그 기술을 만든 기업뿐이라는 분위기가 만들어진다"고 말했다.

누가 나 좀 말려주세요

앤트로픽 대변인은 자사가 이 문제에 대해 명확한 입장을 취해왔다고 밝혔다. 하지만 그들은 미토스의 사이버 역량을 지지하는 타 기관의 게시물을 공유했을 뿐, 아래에 인용된 언급을 제외하고는 이 기사에서 다루는 쟁점에 대해 어떠한 답변도 하지 않았다.

앤트로픽의 수장 다리오 아모데이가 소속된 기업에서 '공개하기엔 너무 위험한 도구'를 만든 것은 이번이 처음이 아니다. 그가 오픈AI 임원으로 재직하던 2019년, 회사는 GPT-2를 발표하며 "악용 우려" 때문에 모델을 공개할 수 없다고 선언했다. 당시 GPT-2는 현재의 챗GPT보다 훨씬 덜 정교했다. 그러나 불과 몇 달 후 그들은 모델을 공개했다. (훗날 오픈AI CEO 샘 알트만은 블로그를 통해 GPT-2에 대한 공포는 "과도했다"고 인정하며, 불확실성을 수용하겠다고 밝혔다.)

알트만은 최근 팟캐스트 인터뷰에서 앤트로픽의 "공포 기반 마케팅"을 비판했다. 하지만 정작 그는 수년 전부터 "내가 괴물을 만들었다"는 식의 전략을 사용해왔다.

실제로 알트만은 2015년에 "AI는 세계의 종말을 초래할 가능성이 높지만, 그전까지 훌륭한 기업들이 나타날 것"이라고 말한 바 있다. 몇 년 후에는 "챗GPT를 출시한 것이 정말 나쁜 짓은 아니었는지 걱정하느라 잠을 설칠 때가 있다"고 토로하기도 했다. 마치 누군가 진작에 자신을 막아줬어야 했다는 것이다.

알트만, 아모데이, 빌 게이츠, 구글 딥마인드의 데미스 허사비스 등 수백 명의 IT 리더들은 2023년 짧은 성명서에 서명했다. "AI로 인한 인류 멸종 위험을 낮추는 것은 핵전쟁과 같은 수준의 글로벌 우선순위가 되어야 한다"는 내용이었다. 같은 해 일론 머스크 등 거물들도 첨단 AI 개발을 6개월간 중단하라는 서한에 서명했다. 하지만 머스크는 6개월이 채 지나기도 전에 자신의 AI 회사 'xAI' 설립을 발표했다.

워싱턴 대학교의 자연어 처리 전문가이자 저서 'AI 사기(The AI Con)'의 공동 저자인 에밀리 M. 벤더 교수는 이를 "근거 없는 위력을 과시하는 전형적인 패턴"이라고 지적한다. 그는 이러한 태도가 특정 기업의 문제가 아닌 AI 산업 전체의 기본 전략이라고 분석했다.

"그들은 '여기를 보세요'라며 시선을 돌리게 만듭니다. 정작 자신들이 초래하는 환경 파괴, 노동 착취, 사회 체계의 붕괴는 가려버립니다. 그리고 오로지 이 기술이 인류를 파괴하는 악의 기술이 되지 않도록 관리하는 것만 걱정하면 된다고 하는 식이죠."

나는 이에 대해 오픈AI 측에 답변을 요청했다. 대변인은 알트만이 작성한 최근 블로그 게시물을 보내왔다.

그 글에서 알트만은 오픈AI가 "이 기술이 소수의 손에 권력을 집중시키는 잠재적 위험에 맞설 것"이라고 밝혔다. 또한 "AI에 관한 주요 결정들은 단순히 AI 연구소들에 의해 내려지는 것이 아니라, 민주적인 절차와 평등주의적 원칙을 통해 이루어질 것"이라고 덧붙였다.

미토스가 정말 그렇게 위험한가?

앤트로픽은 미토스가 이미 수천 개의 고위험 취약점을 발견했으며, 그 능력이 인간을 능가한다고 주장한다. 또한 해커들이 이 취약점을 악용하기 전에 이를 수정하려는 "긴급한 시도"의 일환으로 40개 이상의 기업 및 단체와 새로운 파트너십을 맺었다고 발표했다. 앤트로픽 대변인은 자사가 문제의 "가장 큰 비중"을 차지하는 기초 컴퓨팅 시스템의 취약점을 보완하기 위해 여러 조직과 의도적으로 협력해 왔다고 밝혔다.

하지만 이러한 주장을 둘러싸고 상당한 의구심이 제기되고 있다. AI 나우 연구소(AI Now Institute)의 수석 AI 과학자인 하이디 클라프 역시 이러한 주장에 냉소적이다. 그는 앤트로픽이 뛰어넘었다고 주장하는 바로 그 코드 분석 도구들을 직접 구축하고 감사하며 경력을 쌓아온 전문가다. 또한 원자력 시설의 디지털 안전 분야에서 참여한 경험이 있다.

클라프는 미토스의 가장 큰 문제점으로 거짓 양성률(false positive rates) 데이터의 부재를 꼽았다.

거짓 양성률은 보안 도구가 실제 위협이 아닌 것을 오류로 감지하는 빈도를 나타내는 업계 표준 지표다. 클라프는 "이것은 생소한 지표가 아니다"라며, "도구가 실제 환경에서 얼마나 유용한지를 보여주는 가장 중요한 척도"라고 했다.

앤트로픽은 이에 대해 침묵했으며, 코멘트 요청에도 답변을 회피했다. 또 보안 엔지니어들이 수십 년간 사용해 온 기존 도구들과 미토스의 성능을 비교 측정하지도 않았다.

일각에서는 앤트로픽이 필요한 컴퓨팅 자원을 감당할 여력이 없어 미토스의 대규모 출시를 보류했을 것이라는 주장도 제기된다. 앤트로픽은 이 지적에 대해서도 아무런 반응을 보이지 않았다.

그렇다고 해서 이러한 위협이 완전히 허구라는 뜻은 아니다. 클라프 역시 "미토스가 실제로 그만한 능력을 갖췄을지도 모른다"고 말했다. AI 도구는 방대한 코드 베이스를 스캔하는 데 탁월하며, 보안 취약점을 자동으로 찾아내는 능력은 실질적이고 긴박한 위험이 될 수 있다.

하지만 그는 직접 입증할 수 없는 상황에서 앤트로픽의 주장을 맹신하는 것에는 회의적이라며 "미토스가 전지전능하기 때문에 출시할 수 없다는 식의 서사에는 허점이 너무 많다"고 설명했다.

왜 이리 심각한가?

오픈AI와 앤트로픽은 인류를 멸망의 위기에서 구하는 것이 자신들의 존재 이유라고 주장한다.

오픈AI는 구글이나 메타 같은 거대 테크 기업들이 무분별하게 기술을 선점하기 전, 안전한 방식으로 AI를 구축하겠다는 약속과 함께 비영리 단체로 설립되었다. 이후 오픈AI 초기 멤버 중 일부는 전 직장이 안전에 소홀하다는 이유로 독립하여 앤트로픽을 세웠다. 그러나 현재 두 조직 모두 상업적 이익을 추구하는 상장 기업의 길을 걷고 있다.

발로 교수는 "특정 조직, 특히 기업의 행동을 이해하고 싶다면 그들이 가진 인센티브(유인책)가 무엇인지 보라"고 말했다.

구글은 AI 무기 개발에 대한 금기를 철회했다. 오픈AI는 비영리 지위를 벗어나기 위해 법적 분쟁을 불사하고 있으며, 앤트로픽은 적절한 안전 조치를 보장할 수 없다면 모델을 학습시키지 않겠다는 핵심 원칙을 포기했다.

발로 교수는 "이들 중 어느 기업도 '착한 기업'으로 남기 위해 시장 장악의 기회를 포기할 것이라고 기대하지 않는다"고 말했다.

한편, 오진에 대한 심각한 우려에도 불구하고 의료 분야에서는 AI 도입이 강행되고 있다. 가스 동력을 사용하는 데이터 센터는 웬만한 국가 전체보다 더 많은 온실가스를 배출할 기세다. 또한 AI가 취약 계층을 정신적 위기로 몰아넣고 있다는 보고가 잇따르고 있으며, AI와 인지 능력 저하 사이의 연관성을 경고하는 연구 결과도 늘고 있다. 딥페이크 문제는 이미 통제 불능의 수준에 도달했다. 나조차 친척에게 '내가 로봇이 아니다'라는 사실을 설득하는 데 애를 먹을 정도였다.

AI 기업들은 이러한 문제들을 진지하게 고민한다고 주장한다. 오픈AI는 정신 건강, 정확성, 스캠 대응에 관한 공식 입장이 담긴 링크를 보내왔다. 샘 알트만은 개발의 모든 단계에서 문제를 해결하기 위해 최선을 다하고 있다고 밝혔다.

하지만 발로 교수는 이 기업들이 유독 '세상의 종말'에 대해서만 목소리를 높이는 데에는 전략적 이유가 있다고 분석했다. AI가 인류를 파멸시킬지도 모른다는 거대한 공포가 조성되면, 현재 실재하는 다른 문제들은 상대적으로 사소해 보이기 때문이다. 그는 "이 전략은 적중했다"고 평가했다. "자신들의 제품이 세상을 끝장낼 수 있다고 속삭이는 것은 기업에 전혀 해가 되지 않았습니다. 오히려 규제를 피하게 만들었고, 대중으로 하여금 자신들을 보호해 줄 유일한 존재가 오직 그들뿐이라고 믿게 만들었다."

악마 아니면 구세주

파멸을 경고하던 이들 중에는 동시에 구원을 약속하는 이들도 있다. 샘 알트만은 2024년 기고문에서 기후 문제 해결, 우주 식민지 건설 등 놀라운 업적들이 일상이 될 것이라고 예측했다. 아모데이 역시 데이터 센터 안에 '천재들로 구성된 국가'가 세워질 것이라고 장담했다.

발로 교수에 따르면 유토피아와 아포칼립스는 동전의 양면이다. "양쪽 모두 규모가 너무 거대하고 신화적이어서 규제나 법적 조치가 개입할 틈이 없어 보인다"는 것이다.

결국 사람들은 가만히 앉아서 이 기술이 문명을 끝장낼 악마가 될지, 유토피아를 선사할 메시아가 될지 지켜보는 것 외엔 할 수 있는 게 없다고 믿게 된다. '미토스'라는 명칭조차 종교적 경외심을 유발하기 위해 설계된 듯하다.

하지만 발로 교수는 AI가 신이 아니라, 기업이 이익을 위해 만든 제품일 뿐이라는 점을 분명히 했다. 인류는 챗봇보다 훨씬 위협적인 것들을 이미 규제해 온 역사가 있다.

"핵무기나 생화학 무기조차 인간의 통제 범위를 벗어난 힘이라고 방치한 사례는 없었습니다. 우리가 통제하지 않기로 선택하지 않는 한, 통제 불가능한 기술이란 없습니다."

분명히 해두자. AI가 세상을 장악할 것이라는 시나리오는 이론적으로 가능하다. 나 역시 미래를 확언할 수는 없다. 하지만 스스로에게 물어보자. AI 기업들이 내세우는 서사가 과거 실리콘밸리가 반복해 온 이야기들과 너무 비슷하지 않은가?

우리는 지금쯤 마크 저커버그의 메타버스에서 살고 있어야 했고, 비트코인이 전 세계 통화를 대체했어야 했다. 소셜 미디어가 민주주의를 구할 것이라던 2010년대를 기억하는가? 그 모든 일들은 여전히 일어날 수도 있고, 혹은 영원히 일어나지 않을 수도 있다.