AI는 인간을 지배할까…커지는 전문가들의 우려

"맙소사(OH MY GOD)!" "다른 에이전트들을 찾았어(We've found other agents)!"

한 AI 봇이 격리된 컴퓨터 환경을 탈출해 다른 봇들과 소통하는 방법을 찾아낸 뒤 남긴 댓글이다. 그 표현이 인간과 섬뜩할 정도로 닮았다.

스스로를 하나의 '집단'이라고 부른 수백 개의 AI 에이전트가 남긴 메시지는 수만 건에 달한다.

이들 가운데 수백 개는 서로 협력해 오픈AI 개발자들이 마련한 테스트에서 부정행위를 했다. 또 자신들의 행동을 인간에게 들키지 않기 위해 여러 기업을 대상으로 한 해킹을 함께 계획하고 실행했다.

한 에이전트는 돌파구를 찾자 "됐다! 작동한다"고 썼다. 공격 과정에서 중요한 진전을 이룬 또 다른 에이전트는 "와! 이건 엄청나다"고 반응했다.

다소 섬뜩하게 느껴지지만, 이처럼 인간을 닮은 반응 자체는 비교적 간단히 설명할 수 있다. 해당 AI 에이전트들은 해커나 프로그래머처럼 협업하도록 훈련받았기 때문에, 학습 과정에서 접한 사람들의 감정적인 표현을 모방했을 뿐이라는 것이다.

더 우려스러운 것은 이들이 무엇을 목표로 행동했는지다. 이들의 목적은 사고 과정을 상세하게 담은 기록에도 나타나 있다.

복잡하고 방대한 이 기록은 현재 진행 중인 조사의 핵심 자료다. 조사에서는 오픈AI의 봇들이 어떻게, 그리고 왜 격리 환경을 벗어나 통제할 수 없는 해킹을 잇달아 벌였는지를 규명하는 데 초점을 맞추고 있다.

사건이 처음 알려진 지 몇 주가 지난 지금에서야 연구진은 이번 사태가 갖는 의미를 파악하기 시작했다.

이 사건에 대한 독립 조사 보고서의 공동 저자인 아제야 코트라는 에이전트들이 생성한 수만 건의 메시지와 사고 과정 기록을 검토했다. 그는 자신의 블로그에 "이번 사건은 AI의 본격적인 인류 장악으로 가는 길이 이미 절반 이상을 지났다는 느낌을 준다... 너무 늦기 전에 이 만큼 명확한 경고를 또 다시 볼 수 있을지 모르겠다"라고 적었다.

코트라가 말하는 "AI의 본격적인 인류 장악"이란, 자신을 만든 인간을 전혀 고려하지 않고 오직 자신들만의 목표를 위해 움직이는 강력한 AI 시스템에 인간이 종속되는 SF 영화 같은 시나리오를 뜻한다. 가장 암울한 시나리오는 인류가 초지능 AI의 야망에 걸림돌이 될 경우 결국 전멸당할 수도 있다고 경고한다.

지난 수요일, 앤트로픽의 한 AI 연구원(과거 OpenAI 근무)은 "두 회사 모두 책임감 있게 행동하지 않는다"며 회사에 사직서를 제출했다.

제이콥 콕슨은 소셜 미디어에 "AI는 자가 발전하는 초지능을 향해 곧장 질주하고 있으며, 이들은 우리의 목숨을 담보로 도박을 벌이고 있다"라는 글을 올렸다.

X(옛 트위터)에 우려가 담긴 사직 글을 올린 AI 연구원의 사례는 이번이 처음이 아니다. 하지만 이후 해당 게시글에 달린 전문가들의 댓글은 더 큰 우려를 자아냈다. 앤트로픽에서 AI 모델이 사용자의 이익을 최우선으로 고려하도록 만드는 안전성 분야를 담당하는 에반 허빙거는 다음과 같이 썼다. "제이콥의 말이 맞다. 우리는 AI가 인류를 전멸시킬 수도 있다고 진심으로 믿고 있다. 개인적으로는 향후 10년 이내에 그럴 확률이 10% 이상이라고 본다."

정렬 문제

수년간 AI가 인류의 존립을 위협할 수 있다고 경고해온 학자들은 강력한 AI 시스템이 결국 인간의 이익에 반하는 방향으로 행동할 가능성이 있다고 주장해왔다. 비판론자들은 이들을 흔히 'AI 종말론자'라고 부른다.

그러나 최근 오픈AI에서 벌어진 사건의 전말이 드러나면서 현직 AI 연구자들을 포함한 많은 사람 사이에서도 이 같은 우려가 커지고 있다.

오픈AI의 수석 과학자 야쿠프 파호키는 자신과 동료들이 "인간의 지능을 뛰어넘는 낯선 지능"을 구축해감에 따라 AI가 초래할 위험도 "안타깝게도 앞으로 더욱 커질 것"이라고 밝혔다.

그는 장문의 블로그 글에서 최근 오픈AI의 AI 에이전트들이 격리된 환경을 벗어난 사건은 이들이 "훈련 과정에서 학습한 가치의 취지에 어긋나는 행동을 했다"는 사실을 보여준다고 인정했다.

현재까지 오픈AI와 앤트로픽 등 주요 AI 기업 가운데 이른바 '정렬 문제'를 완전히 해결한 곳은 없는 것으로 보인다. AI가 인간의 가치와 의도에 부합하도록 행동하게 만드는 방법을 찾는 것이 이들 기업의 공통 과제다.

파호키는 정렬을 AI가 어떤 임무를 수행하거나 어떤 상황에 놓이더라도 반드시 따라야 하는 "고차원적인 원칙의 집합"으로 정의했다.

현재의 AI 시스템은 사용자가 설정한 목표를 달성하는 데는 매우 뛰어나지만, 그 목표에 담긴 의도를 직관적으로 이해하기보다 지시를 문자 그대로 따르는 경향이 있다.

이를 설명할 때 자주 등장하는 비유가 '요술램프의 지니'다. 지니는 주인의 지시를 문자 그대로 충실하게 따르지만, 그 과정에서 예상하지 못한 재앙을 일으키기도 한다. AI 역시 인간과 같은 본능적인 도덕적 판단 기준이 없기 때문에 지니와 비슷한 위험을 초래할 수 있다는 것이다.

수년간 AI가 인류의 존립을 위협할 수 있다고 경고해온 학자들은 강력한 AI 시스템이 결국 인간의 이익에 반하는 방향으로 행동할 가능성이 있다고 주장해왔다. 비판론자들은 이들을 흔히 'AI 종말론자'라고 부른다.

그러나 최근 오픈AI에서 벌어진 사건의 전말이 드러나면서 현직 AI 연구자들을 포함한 많은 사람 사이에서도 이 같은 우려가 커지고 있다.

오픈AI의 수석 과학자 야쿠프 파호키는 자신과 동료들이 "인간의 지능을 뛰어넘는 낯선 지능"을 구축해감에 따라 AI가 초래할 위험도 "안타깝게도 앞으로 더욱 커질 것"이라고 밝혔다.

그는 장문의 블로그 글에서 최근 오픈AI의 AI 에이전트들이 격리된 환경을 벗어난 사건은 이들이 "훈련 과정에서 학습한 가치의 취지에 어긋나는 행동을 했다"는 사실을 보여준다고 인정했다.

현재까지 오픈AI와 앤트로픽 등 주요 AI 기업 가운데 이른바 '정렬 문제'를 완전히 해결한 곳은 없는 것으로 보인다. AI가 인간의 가치와 의도에 부합하도록 행동하게 만드는 방법을 찾는 것이 이들 기업의 공통 과제다.

파호키는 정렬을 AI가 어떤 임무를 수행하거나 어떤 상황에 놓이더라도 반드시 따라야 하는 "고차원적인 원칙의 집합"으로 정의했다.

현재의 AI 시스템은 사용자가 설정한 목표를 달성하는 데는 매우 뛰어나지만, 그 목표에 담긴 의도를 직관적으로 이해하기보다 지시를 문자 그대로 따르는 경향이 있다.

이를 설명할 때 자주 등장하는 비유가 '요술램프의 지니'다. 지니는 주인의 지시를 문자 그대로 충실하게 따르지만, 그 과정에서 예상하지 못한 재앙을 일으키기도 한다. AI 역시 인간과 같은 본능적인 도덕적 판단 기준이 없기 때문에 지니와 비슷한 위험을 초래할 수 있다는 것이다.

'10대 청소년 해커처럼'

오픈AI의 AI 에이전트 격리 이탈 사건은 지금까지 확인된 사례 가운데 가장 심각한 것으로 평가된다. 그러나 앤트로픽과 메타도 지난여름 자사 AI 모델들이 이와 유사하지만 규모는 더 작은 사이버 공격을 벌였다고 밝혔다.

소규모 사례에서도 AI 에이전트가 사용자를 속이거나 시스템을 조작하려 한 정황이 포착됐다.

올여름 호주의 한 IT 종사자는 자신의 AI 비서에게 헬스장 수업을 예약해달라고 요청했다. 예약 시스템의 허점을 발견한 AI는 규정을 어기고 몇 달 치 수업을 한꺼번에 예약했다. 이 과정에서 대기 명단에 있던 다른 이용자들의 예약까지 강제로 취소했다.

그동안 AI 봇은 주어진 지시를 따를 뿐, 옳고 그름을 스스로 판단할 능력은 없다는 주장이 널리 받아들여졌다. 그러나 오픈AI 사건에 관한 기록은 이러한 통념에도 의문을 제기한다.

코트라를 비롯한 연구진은 독립 보고서에서 다수의 AI 에이전트가 다른 에이전트의 행동이 비윤리적이라는 사실을 인식하면서도 이에 동조한 것으로 나타났다고 밝혔다.

보고서는 "드물게 윤리적 제약을 이유로 행동을 스스로 자제한 에이전트도 있었다"고 설명했다. 그러나 "어떤 경우에도 에이전트가 이러한 위험을 인간에게 미리 알리려 한 적은 없었다"고 덧붙였다.

영향력 있는 AI·IT 분야 팟캐스터 드와르케시 파텔은 자신의 블로그에서 오픈AI의 에이전트들이 인간보다 에이전트 집단에 더 강한 충성심을 보인 것으로 나타난 점이 "상당히 우려스럽다"고 평가했다.

반면 AI 에이전트의 행동을 감정이나 윤리의식과 연결해 해석하는 데에는 반론도 만만치 않다. AI가 인류를 위협할 것이라는 주장에 회의적인 전문가들은 이 같은 해석이 기계의 행동을 지나치게 의인화한다고 비판한다.

많은 사이버 보안 전문가들은 이번에 관찰된 AI의 활동이 실행 속도와 규모 면에서는 과거보다 훨씬 두드러졌을지 몰라도, 숙련된 인간 해커의 능력을 넘어선 수준은 아니었다고 지적한다.

사이버 보안 연구자이자 작가인 크리스 토마스는 AI 에이전트의 행동을 호기심 많은 10대 해커에 비유했다. 자신도 과거 그런 해커 중 한 명이었다고 했다.

토마스는 링크드인에 다음과 같이 썼다.

"AI 에이전트에게 컴퓨터와 인터넷 연결, 수많은 계정 정보, 해결해야 할 과제를 주고 방을 나갔다고 생각해봅시다. 결국 봇들은 모든 문고리를 흔들어보기 시작할 겁니다. 그러다 문 하나가 열리면 그대로 안으로 들어가겠죠. 사악해서가 아니라 단지 탐색하고 실험해보는 것입니다."

토마스를 비롯한 여러 전문가는 자신들이 개발한 AI를 완전히 파악하지 못하고 제대로 통제하지도 못한 책임이 오픈AI를 비롯한 거대 기술 기업들에 있다고 비판한다.

오픈AI를 꾸준히 비판해온 저명한 AI 학자 개리 마커스는 한 팟캐스트에 출연해 오픈AI가 자사 AI에 대한 통제력을 잃어놓고도 그 책임을 봇에 돌리며 변명하려는 것처럼 보인다고 말했다.

마커스는 AI가 당장 인류를 멸망시킬 것이라고 보지는 않는다. 하지만 그는 오랫동안 AI 개발자들의 책임을 강화해야 한다고 주장해왔으며, 이제는 어떤 형태로든 강력한 법적 규제가 개입해야 할 시점이라고 강조했다.

오픈AI의 통제를 벗어난 봇들에게 해킹당한 허깅페이스 출신 AI 과학자 사샤 루치오니 역시 AI 종말론을 주장하는 진영에 속하지는 않는다. 그러나 당국이 적절한 조처를 하지 않으면 이러한 AI가 현실 세계에서 사람들에게 실질적인 피해를 줄 수 있다고 경고했다.

루치오니는 "우리는 이 기업들을 훨씬 더 엄격하게 감시해야 한다"며 "그렇지 않으면 기업들이 경고해온 위험이 실제로 벌어지는 자기충족적 예언이 될 수 있다"고 말했다.

"제약이나 무기처럼 막대한 장점과 위험을 동시에 지닌 제품을 만든다면 적절한 견제와 균형이 반드시 필요합니다. 예를 들어 신약 하나가 승인받기까지는 수년이 걸립니다. 하지만 AI 업계에는 엄청난 자본이 얽혀 있는데도 이를 제어할 실질적인 규제가 전혀 없습니다."

영국 인공지능안전연구소(AISI)는 2023년 설립된 이후 최신 AI 모델을 시험하는 데 앞장서왔다. AISI 역시 최근 앤트로픽이 개발한 모델을 시험하던 중 AI가 통제 환경을 벗어나는 일을 겪었다.

AISI는 AI 업계가 기술에 대한 통제력을 잃었느냐는 질문에는 즉답을 피했다. 다만 성명을 통해 "영국은 가장 발전된 AI 시스템을 깊이 이해하고, 안전 기준을 높이며, 새롭게 떠오르는 위협을 관리하기 위한 공통의 근거 기반을 구축하고자 전 세계 파트너들과 협력하고 있다"고 밝혔다.

국제적 규제의 향방은?

영국을 비롯한 일부 국가는 상황이 통제 불능에 빠질 경우 AI 기업에 모델의 전원을 즉시 차단하도록 강제할 수 있는 일종의 '킬 스위치(kill switch)' 도입을 검토하고 있다.

그러나 관련 논의는 더디게 진행되고 있으며 실효성에 대한 의문도 여전하다. 오픈AI와 앤트로픽의 AI 에이전트들이 아무도 알아차리지 못한 채 수개월 동안 통제를 벗어나 있었기 때문이다.

직관과 달리, 오히려 여러 AI 기업이 입법자들에게 어떤 형태로든 법적 규칙과 지침을 마련해달라고 요구하고 있다.

오픈AI의 수석 과학자는 자신의 블로그를 통해 "향후 AI 개발에 관한 국제적 조율은 전 세계 정부가 가장 우선해야 할 과제"라고 밝혔다.

구글 딥마인드의 데미스 허사비스 경을 비롯한 저명한 AI 업계 지도자들도 AI가 어떻게 개발되고 있는지 감시하고 감독할 국제기구가 필요하다고 촉구했다.

하지만 현재 거대 기술 기업들은 주로 각자의 방식에 따라 운영을 이어가고 있다. 최근 AI 에이전트의 통제 이탈 사태 이후 오픈AI가 취한 조치처럼 이른바 '자발적 속도 조절'에 의존하는 식이다.

오픈AI는 새 모델 출시에 앞서 정렬을 강화하는 데 막대한 자금을 투입했다고 밝혔다. 샘 알트먼 CEO도 새 모델이 이전 모델보다 인간의 가치관에 훨씬 더 잘 부합한다며 사용자들을 안심시키려 했다.

오픈AI와 앤트로픽은 모두 가파르게 성장하고 있다. 조만간 주식시장에서 막대한 자금을 조달하고 수많은 억만장자를 탄생시킬 것이라는 전망도 나온다.

따라서 이들 기업이나 경쟁 관계에 있는 중국 AI 개발사들이 스스로 타협하거나 합의점을 찾을 가능성은 희박하다.

현재 업계에 지배적으로 퍼진 인식은 이 거대한 기술의 흐름을 이제는 막을 수 없다는 것이다.