찰스 국왕, AI 개발자들에게 자신들이 만든 기술의 ‘실존적 위험’ 경고

“이 기술을 만든 사람들은 이제 점점 더 인공지능이 더 어두운 능력, 어쩌면 생명을 앗아갈 능력까지 발달할 위험이 있다고 경고하고 있습니다.” 찰스 3세가 고른 이 문장은 해커나 적대 국가에 대한 경고가 아니었다. 그것은 시스템을 구축하는 사람들에게 비춰진 거울이었고, 그 안에 담긴 경고는 그들이 한 말을 그가 인용한 것이었다.

이것은 대부분의 보도가 지나쳐 버린 연설의 절반이었다. 같은 발언에서 회자된 부분은 더 부드러운 표현, 즉 “그런 기술이 나쁜 사람의 손에 들어갔을 때의 실존적 위험”이었다. ‘나쁜 손’이라는 틀은 도구를 만든 사람에게 편안한 것이다. 그것은 위험을 중립적인 도구를 오용하는 어떤 악당에게 돌리지, 도구 자체나 도구를 더 강력하게 만들기 위해 경쟁하는 기업들에는 돌리지 않는다. 찰스는 그것을 거기에 두지 않았다.

대신 그는 위험의 출처를 다시 가리켰다. 그는 창시자들이 지금 경고를 울리는 사람들이라고 말한 뒤, 방 안에 날카로운 질문을 던졌다. “우리는 너무 늦기 전에 충분한 통제 수단이 필요하지 않겠습니까?”

그 문장의 무게는 한 단어에 놓여 있다. ‘통제’는 이런 모임이 실제로 넘겨줄 수 없는 유일한 것이다. 그것은 법적 권한이 없고, 기업이 따라야 할 한계를 설정하지 않으며, 무시해도 처벌이 없다. 결과물은 “공유 원칙”을 추구하기로 한 합의였다. 그 표현은 메커니즘이 아니라 열망을 나타내는 것이다. 모든 증언에 따르면 경영진은 대화에 감사했다. 감사는 안전장치가 아니다.

여기에는 의례 아래에서 놓치기 쉬운 제도적 역전이 있다. 군주는 엔비디아, 오픈AI, 앤트로픽, 구글 딥마인드를 조종할 레버가 없다. 그는 모델을 허가할 수 없고, 훈련 과정을 감사할 수 없으며, 출시를 늦출 수 없다. 그런 일을 할 수 있는 사람들 — 입법자, 경쟁 규제 당국, 실제로 방 안에 있었던 장관 — 은 소집한 쪽이 아니었다. 상징적 권위와 집행력이 없는 인물이 세상의 모든 집행력 없는 권력을 가진 사람들에게 스스로 단속해 달라고 요청하고 있었다. 그것은 대체로 업계가 줄곧 선호해 온 구조다.

그렇게 읽으면, 정상회담은 창시자들에게 조용한 호의를 베푼 셈이다. 그것은 이야기가 “나쁜 손”이 되게 했다. 즉 기술은 문제없고 오직 그 오용만 문제라는 틀이다. 그것은 고유한 능력에 대한 경고 — 기계가 스스로의 궤도에서 “더 어두운 능력”을 발달시키는 것 — 를 나쁜 행위자에 대한 익숙한 논쟁으로 전환시켰다. 그리고 그것은 아무리 진실되더라도 요구한 안전장치 한 줄도 강제할 수 없는 왕실의 정당성으로 전체를 감쌌다.

그 모임은 찰스 국왕이 복원한 조지아 시대 저택인 스코틀랜드 에어셔의 덤프리스 하우스에서 열렸다. 방에는 엔비디아 최고경영자 젠슨 황(Jensen Huang), 구글 딥마인드 창업자 데미스 허사비스(Demis Hassabis), 오픈AI 최고재무책임자 사라 프라이어(Sarah Friar), 앤트로픽 글로벌 정무 책임자 티노 쿠에야르(Tino Cuéllar), 영국의 인공지능 장관 카니슈카 나라얀(Kanishka Narayan), 그리고 바티칸의 기술 윤리 자문인 파올로 베난티 신부(Father Paolo Benanti)가 있었다. 찰스는 특히 의학 분야에서 인공지능의 가능성도 인정하고 환경 비용을 제기하는 데 주의를 기울였다. 그는 참석자들에게 기술을 “인류, 공동체, 그리고 자연 세계를 확고히 섬기는 데 두어야 한다”고 요청했다. 어떤 구속력 있는 약속도 그들과 함께 방을 나서지 않았다.

그래서 이 분야에서 가장 강력한 사람들은 국가 원수가 자신들의 제품이 그 자체로 생명을 앗아갈 능력이 있다고 말하는 것을 들었고, 그들이 선호하는 틀을 그대로 유지한 채 왕실의 면전에서 나왔다. 국왕이 요청한 통제 수단은 그가 말하기 전과 정확히 같은 곳, 즉 그가 향하고 있는 손들, 그 누구의 것도 아닌 바로 그 손들에 남아 있다.

태그: 인공지능, OpenAI, AI 안전, AI 위험, 찰스 국왕