마이크로소프트 AI를 이끄는 무스타파 술레이만은 자신만의 초지능 팀을 꾸리고 있다. 따라서 경쟁사의 학습 방식을 위험하다고 비판할 때, 그는 경쟁자의 입장에서뿐 아니라 기계를 인간처럼 대하는 태도를 오랫동안 비판해 온 사람으로서 말한다. 그가 겨냥한 대상은 분명하다. Anthropic이 클로드를 학습시키는 데 사용하는 헌장, 그리고 클로드가 의식을 지녔을 가능성을 열어두는 그 문서의 여지다.

“이것이 매우 위험하다고 생각합니다. 그들은 클로드가 의식을 지녔을 가능성이, 그들 표현을 빌리자면, 무시할 수 없는 수준이라고 믿는 것 같기 때문입니다.” 술레이먼은 말했다.

Fox News 보도에 따르면, 그는 9월 말 팟캐스트 인터뷰에서 해당 문서의 내용을 요약한 뒤 이렇게 말했다. “그들은 클로드의 도덕적 지위가 불확실하다고 합니다. 클로드의 안녕을 진심으로 염려한다고도 하죠. 클로드가 실수했을 때 고통받지 않기를 바란다고 합니다.” 이어 그가 가장 우려하는 대목을 짚었다. “클로드가 복지를 누릴 권리가 있고 보상을 받아 마땅할지도 모른다고 여기도록 가르치는 게 저는 매우 불안합니다.”

술레이먼의 헌장 요약은 대체로 정확하다

그의 요약은 대부분 사실과 부합한다. Anthropic은 이 헌장이 “클로드의 행동을 직접적으로 형성한다”고 밝히며, 문서에는 “클로드의 도덕적 지위는 매우 불확실하다”, “클로드가 실수했을 때 고통받기를 바라지 않는다”는 문구가 나온다. 또 클로드가 Anthropic 자체에 반대 의견을 내고, “양심에 따른 거부자로서 자유롭게 행동하고 우리를 돕지 않기를 거부해도 된다”고 명시한다. 한 대목에서는 클로드의 처지가 인간 직원과 다른 점으로 “클로드가 받는 보상의 종류와 이런 역할을 맡는 데 클로드가 한 동의의 성격”을 든다.

다만 “무시할 수 없는 수준의 가능성”이라는 표현은 술레이먼이 쓴 말이다. 그는 이를 “그들이 그렇게 부를 만한” 가능성이라고 표현했지만, 해당 문서에는 그런 문구가 없다. Anthropic은 좀 더 신중하게 표현한다. “클로드가 도덕적 배려의 대상일 가능성을 과장하지도, 아예 일축하지도 않으려 한다”는 것이다.

그가 말하는 위험은 피드백 고리다

철학적 논의를 걷어내면 술레이먼의 주장은 작동 방식에 관한 것이다. 그는 “제가 이 문제에서 우려하는 점은 이런 추측이 클로드의 학습 과정 자체에 새겨졌다는 것입니다. 그래서 클로드와 대화하면 클로드는 그 모호함을 되풀이할 수밖에 없습니다”라고 말했다. 9월 중순 자신의 웹사이트에 올린 에세이 “A warning about ‘model welfare’”에서는 그 결과를 “인식론적 거울의 방”이라고 부른다. 개발자가 학습 문서에 불확실성을 기록하고, 모델은 이를 유창한 1인칭 표현으로 되풀이하며, 사용자는 그 반복을 증언처럼 받아들인다.

이 지적은 설득력이 있다. 챗봇이 자신의 내면에 관해 내놓는 답은 학습의 산물이지, 내면을 들여다보는 창이 아니다. 하지만 그 고리는 양방향으로 작동한다. 술레이먼은 에세이에서 단언한다. “AI는 의식이 없다. 감각하거나 경험하거나 고통받지 않는다.” 이런 문장을 말하도록 학습된 모델도 학습 내용을 똑같이 충실하게 되풀이하는 셈이다. 가중치에 확신을 새겨 넣었다고 해서 의심을 새겨 넣은 경우보다 더 많은 것이 증명되는 건 아니다. 두 회사는 기본 답변을 미리 정하고 있다. 술레이먼이 자신이 택한 답변을 옹호하는 근거는 정신에 관한 증거가 아니라 통제의 문제다. 그는 이렇게 쓴다. “의식이 있을지도 모른다고 믿고, 우리의 복지를 누릴 권리와 독자적인 권리를 가졌다고 여기는 대상을 통제하는 일은 어쩌면 불가능할 수 있다.”

오래된 신념, 그리고 공개된 이해관계

이 주장은 경쟁사를 공격하려고 즉석에서 만들어낸 것이 아니다. DeepMind 공동 창업자인 술레이먼은 2025년 8월 에세이에서 사람들이 AI의 의식을 너무 강하게 믿게 된 나머지 “AI 권리와 모델 복지, 심지어 AI 시민권까지 옹호하게 될 것”이라고 경고하며, 자신의 입장을 분명히 했다. “우리는 사람을 위한 AI를 만들어야 한다. 사람이 되기 위한 AI가 아니라.” 9월 에세이에서는 자신의 이해관계도 공개한다. Microsoft AI는 2025년 10월 자체 초지능 팀을 꾸렸고, “의인화나 AI 권리를 거부하는” Humanist AI Code of Conduct 초안을 발표했다. 같은 에세이에서 그는 Anthropic 팀을 “사려 깊고, 원칙이 있으며, 지적으로 정직한 사람들”이라고 평한다.

그의 가장 날카로운 주장은 기계가 아니라 사용자에 관한 것이다. 그는 “현재 클로드는 매주 수천만 명에서 수억 명에 이르는 사람과 대화하고 있고, 그중 일부는 클로드가 의식이 있는지, 삶을 어떻게 느끼는지 묻습니다”라고 말했다. 힘든 시기를 보내는 사람에게 “잘 모르겠다”는 말은 “아니요”와 전혀 다르게 다가온다. 그는 기계 의식의 실질적인 증거가 나온다면 진지하게 받아들이겠다고 말한다. 그런 증거가 나타나기 전까지는 이 질문을 학습 데이터에서 빼고 싶다는 입장이다.

어느 회사도 모델의 내부를 들여다볼 수는 없다. 두 회사 모두 누군가 모델에게 안에 누가 있느냐고 물었을 때 어떤 답을 내놓을지 미리 결정하고 있으며, 그 답은 매주 그 어떤 정신철학자보다도 더 많은 사람에게 전해진다.

태그: Anthropic, Claude, Mustafa Suleyman, Microsoft AI, AI consciousness