Nate Soares, 초지능 개발 중단을 외치는 AI 연구자

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

출생	1989
직업	인공지능 연구자

네이트 소어리스(Nate Soares)는 Google에 다닐 때 만든 퇴직연금 계좌를 아직 갖고 있다. 하지만 약 10년 동안 돈을 넣지 않았다. 무심해서가 아니다. Machine Intelligence Research Institute 회장인 그는 초인간적 인공지능이 자신이 늙어 계좌에서 돈을 꺼내 쓰기도 전에 모든 사람을 죽일 가능성이 크다고 믿는다. 이제 그는 엔지니어가 시험 결과를 읽어 내려가듯 담담하고 무표정한 어조로 이 생각을 공개적으로 말한다. “저는 AI가 일자리를 싹 쓸어갈 거라고 보는 사람이 아닙니다.” 올가을 한 인터뷰에서 그는 이렇게 말했다. “AI가 인간을 전부 죽일 거라고 보는 사람입니다.” 그가 연구를 이끄는 질문은 자신이 결론 내리기를 거부하는 바로 그것이다. 최악의 결과를 예상하는 사람도 기술을 만드는 이들을 설득해 개발을 멈추게 할 수 있을까?

그를 쉽게 무시할 수 없는 이유는 그가 걸어온 길에 있다. 소어리스는 뒤늦게 컴퓨터 분야에 발을 들인 철학자가 아니다. 조지워싱턴대학교에서 컴퓨터 과학과 경제학을 공부한 뒤 연방정부를 위해 소프트웨어를 개발했다. 처음에는 미국 국립표준기술연구소(National Institute of Standards and Technology) 연구원으로, 그다음에는 국방대학교(National Defense University)용 도구를 만드는 국방부 계약업체 직원으로 일했다. 이후 Microsoft와 Google에 몸담았다. 이제 그는 정부가 규제해야 한다고 주장하는 바로 그런 기업들이다.

2014년, 20대 중반이던 그는(Google에 들어간 해는 1989년이다) Google을 떠나 캘리포니아주 버클리의 작은 비영리단체로 옮겼다. 그곳은 업계 대부분이 공상과학으로 치부하던 질문을 수년간 붙들고 있었다. 나보다 더 똑똑한 마음이 내가 의도한 대로 행동하게 하려면 어떻게 해야 할까? MIRI 연구원으로 일하면서 그는 연구소의 기술 연구 의제를 이끄는 저자가 됐다. 벤야 팔렌슈타인(Benya Fallenstein)과 함께 작성한 이 의제는 이후 “Agent Foundations for Aligning Machine Intelligence with Human Interests”라는 제목으로 발표됐다. 2015년 1월에는 스튜어트 러셀(Stuart Russell), 대니얼 듀이(Daniel Dewey), 맥스 테그마크(Max Tegmark)가 쓴 “Research Priorities for Robust and Beneficial Artificial Intelligence”에서 이 의제가 인용됐다. 이 논문은 AI 연구자들에게 시스템의 순수한 성능만큼이나 사회적 이익도 중요하게 다뤄 달라고 촉구하는 공개서한과 함께 발표됐다.

같은 시기에 그의 연구 분야가 사용하는 어휘의 일부를 만들어 낸 논문도 나왔다. 팔렌슈타인, 엘리에저 유드코스키(Eliezer Yudkowsky), 스튜어트 암스트롱(Stuart Armstrong)과 함께 쓴 “Corrigibility”는 2015년 초 AAAI 워크숍에서 발표됐다. 단순해 보이지만 실은 그렇지 않은 문제를 다뤘다. 유용할 만큼 능력이 뛰어난 시스템은 자신의 행동을 바로잡거나 전원을 끄려는 시도에 저항할 만큼의 능력도 갖출 수 있다는 것이다. 소어리스와 유드코스키는 이 논문에서 “AI alignment problem”이라는 용어가 처음 등장했다고 말한다. 이제는 두 사람이 반대하는 계획을 추진하는 바로 그 연구소들이 사용하는 표현이다.

2015년 말 소어리스는 루크 뮐하우저(Luke Muehlhauser)의 뒤를 이어 MIRI 사무총장이 됐고, 8년간 그 자리를 맡았다. 그의 재임 기간 연구소는 제품 개발보다 추상적인 수학에 집중했다. 의사결정 이론, 논리적 불확실성, 에이전트가 자기 자신을 어떻게 추론해야 하는지에 관한 형식적 문제 등을 연구했다. 그는 스콧 개러브런트(Scott Garrabrant) 등과 “A Formal Approach to the Problem of Logical Non-Omniscience”를 공동 집필했고, 벤저민 레빈스타인(Benjamin Levinstein)과 의사결정 이론 논문 “Cheating Death in Damascus”를 썼다. 이 논문은 2020년 The Journal of Philosophy에 실렸다. 2017년에는 Google로 돌아가 정렬 분야의 미해결 문제를 설명하고, 그 문제가 업계의 예상보다 훨씬 어렵다고 주장하는 강연을 했다. 블로그 Minding Our Way에서는 동기에 관한 연작 에세이 Replacing Guilt도 썼다. 지금은 책으로도 살 수 있는 이 글들 덕분에 그는 일부 독자들 사이에서 기계에 관한 연구보다 일하는 방법에 대한 조언으로 더 잘 알려졌다.

전환점은 2023년에 찾아왔다. MIRI는 일부 기술 연구를 계속 지원하되, 연구의 초점을 정렬 연구에서 정책 결정자와 대중에게 경고하는 일로 옮기겠다고 발표했다. 소어리스는 사무총장에서 회장으로 자리를 옮겼고, 말로 부르공(Malo Bourgon)이 최고경영자가 됐다. 2025년 소어리스는 The Atlantic에 AI 개발 속도가 너무 빨라 적절한 안전장치를 마련할 수 없기 때문에 대중의 인식 제고에 힘을 쏟고 있다고 말했다.

이런 방향 전환은 유드코스키와 함께 쓴 책 If Anyone Builds It, Everyone Dies로 이어졌다. Little, Brown에서 2025년 9월 출간된 책의 주장은 제목에 담겨 있다. “현재의 기술과 조금이라도 비슷한 방법을 사용해” 초지능을 만들면 인류는 십중팔구 멸종할 것이며, 정렬 연구는 아직 턱없이 부족하고, 저자들이 재앙을 부를 만큼 위험하다고 여기는 시스템을 향한 개발 경쟁을 멈출 방법은 국제 규제뿐이라는 것이다. 이 책은 2025년 10월 The New York Times 베스트셀러 목록에 올랐다. 이후 Planeta에서 스페인어판이 나왔고, Hayakawa Shobo는 2026년 4월 일본어 번역판을 출간했다.

책에 대한 반응은 이 주장의 취약한 고리를 드러냈다. 가장 날카로운 비판 가운데 일부는 저자들의 우려에 공감하는 사람들에게서 나왔다. 효과적 이타주의 운동의 창립자 중 한 명인 윌 매캐스킬(Will MacAskill)은 이 책이 실망스럽다고 평가했다. 진화와의 유비를 바탕으로 한 설득력 약한 논증에 의존하고, AI 발전이 점진적으로 진행되는 대신 도약할 것이라는 전제를 명시하지 않은 채 깔고 있다는 지적이었다. 클라라 콜리어(Clara Collier)는 Asterisk에 쓴 서평에 공감하는 독자들의 답답함을 요약하는 제목을 붙였다. “More Was Possible.” 소어리스가 좀처럼 깊이 다루지 않는 난감한 지점도 있다. MIRI는 수년간 정렬 문제를 풀려 했지만 제때 해결하지 못하리라는 결론에 이르렀다. 이는 지적 정직성의 표현으로 볼 수도 있고, 연구소 자체의 연구 계획이 실패했다는 인정으로 읽힐 수도 있다. 자신의 확신을 옹호하기 위해 그가 드는 비유는 체스다. 어떤 말이 메이트를 놓을지 몰라도 매그너스 칼센(Magnus Carlsen)이 자신을 이길 거라고 확신할 수 있다는 것이다. 비판자들에게 바로 그 점이 문제다. 어떤 수를 두는지 설명하지 않은 채 결말만 예측한다는 것이다.

이런 비판에도 그의 태도는 누그러지지 않았다. 2026년 10월, 니컬러스 톰프슨(Nicholas Thompson)이 진행하는 팟캐스트 The Most Interesting Thing in AI에 출연한 그는 인류가 앞으로 10년을 더 버티지 못할 가능성이 절반보다 높다고 말했고, 손도 대지 않은 401(k) 계좌에 관해서도 설명했다. 같은 대화에서 그는 결과가 이미 정해진 것은 아니라고 강조했다. “저는 이런 일이 벌어지지 않도록 할 수 있는 모든 일을 합니다. 피할 수 없는 일이라고 생각하지 않습니다.” 그는 이렇게 말한 뒤 씨에스 루이스(C. S. Lewis)의 에세이 “On Living in an Atomic Age”를 꺼냈다. 폭탄이 떨어지더라도 사람들이 웅크리고 두려워하는 모습이 아니라, 이성적이고 인간다운 일을 하는 모습을 보게 해야 한다는 글이다. 소어리스가 제시한 표현은 이렇다. “핵확산금지조약을 맺도록 정부에 로비하는 우리를 폭탄이 보게 합시다.”

그가 선택한 일은 바로 이것이다. 그는 여전히 MIRI 회장으로 있으면서 인터뷰와 강연, 브리핑에 시간을 쏟는다. 주변부의 연구자들만 품던 우려를 초지능을 향한 경쟁을 멈추는 국제적 합의로 이끌어 내기 위해서다. Google 퇴직연금 계좌는 여전히 열려 있다. 다만 그는 이제 그 계좌에 미래를 걸지 않을 뿐이다.

태그: 인공지능, Google, AI 안전, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Nate Soares, 초지능 개발 중단을 외치는 AI 연구자

관련 인물

토론