AI

앤트로픽, AI 자기개선 기준 넘었다고 판단…안전 규칙 발동

Adrian Kessler
Google에서 추가하기

Anthropic은 인공지능이 이제 스스로의 연구를 가속해 회사가 자체적으로 설정한 선을 넘을 정도에 이르렀다고 공식 판단했다. Claude를 만든 Anthropic은 수정된 기업공개(IPO) 투자설명서에서 모델에 필요한 보안과 감독의 수준을 정하는 내부 규정집인 Responsible Scaling Policy의 AI 연구·개발 역량 기준을 충족했다고 밝혔다. 이 정책은 해당 기준에 도달한 시점을 재귀적 자기 개선(recursive self-improvement)의 시작으로 설명한다. AI 시스템이 더 나은 AI를 만드는 작업을 가속하기 시작하는 단계다.

이번 판단이 이례적인 이유는 판단의 근거가 무엇이 아닌지에 있다. Anthropic은 “현재 모델에서 관찰한 결과가 아니라, 향후 모델에 대한 예상과 전반적인 발전 속도를 바탕으로” 기준 충족에 이르렀다고 설명했다. 판매 중인 Claude 모델 가운데 이 선을 넘은 것으로 입증된 모델은 없다. 회사는 자체 전망을 근거로 움직이고 있으며, 주식 거래가 시작되기 전에 투자자들에게 이를 알리고 있다.

Anthropic이 제시한 근거는 내부 자료다. 투자설명서에 따르면 최근 한 달 동안 Claude가 Anthropic 코드베이스에 기여한 코드의 비중은 90%를 넘었고, 엔지니어 한 명이 하루에 기여하는 코드의 양은 45배 이상 늘었다. Anthropic은 자사 모델이 “코드의 크고 점점 커지는 부분을 작성하고 있으며, 안전성 연구를 포함한 연구도 점점 더 많이 수행하고 있다”고 덧붙였다.

정책은 이 기준을 넘는 두 가지 조건을 제시한다. 첫 번째는 경쟁력 있는 비용으로 Anthropic의 연구 과학자와 엔지니어 전체를 완전히 대체할 수 있는 모델이다. 두 번째는 AI 발전의 ‘극적인 가속’으로, 정책은 이를 자동화된 연구가 그럴듯한 원동력이 되어 약 2년 치 발전이 1년 안에 이뤄지는 경우로 정의한다. 두 번째 조건은 회사가 이 같은 도약을 “관찰하거나 예상”할 수 있으면 충족되므로, 전망만으로도 기준을 발동하기에 충분하다.

선을 넘으면 Anthropic은 한층 강화된 안전장치를 도입해야 한다. 정책은 세계에서 가장 많은 자원을 동원하는 공격자에 맞서기 위한 ‘문샷’ 보안 프로젝트를 요구한다. 또 사람이나 기계를 막론하고 내부자에게서 비롯되는 위협까지 찾아낼 수 있도록, 모든 핵심 AI 개발 활동을 기록하고 AI로 분석하는 ‘모든 것을 살피는’ 체계를 갖추도록 한다. 내부 레드팀은 자사 버그 바운티 프로그램에 참여하는 외부 연구자 전원이 찾아낸 것보다 더 많은 탈옥 공격을 발견해야 한다. 투자설명서에 따르면 Anthropic은 이미 모델 가중치 도난 방지책을 강화하기 위해 새로운 최첨단 모델의 사전 학습을 한 달 넘게 미뤘으며, Claude가 연구 작업을 더 많이 맡게 됨에 따라 일부 연구 결정에 사람의 승인을 의무화하는 방안도 검토하고 있다.

직장에서 Claude를 사용하거나 Claude Code를 이용하는 사람들에게는 출시가 늦어지는 결과로 이어질 수 있다. IPO 자료와 함께 공개된 창업자 서한은 Anthropic이 “경쟁에서 불리해지더라도 시스템을 더 안전하게 만들기 위해 가능한 속도보다 느리게 나아가기로 선택하는” 때가 있을 수 있다고 밝혔다. 오늘 당장 앱에 달라지는 점은 없다.

이번 판단은 Anthropic이 직접 만들고 수정할 수 있는 자발적 정책에 따른 자체 평가이며, 외부 감사기관이 확인한 바는 없다. 정책은 기준을 “실제로 적용하기 어려운 것으로 드러났다”고 인정한다. 투자설명서 역시 근거 자료 상당수가 후행 지표에서 나온다고 밝혀, 실제 가속이 일어난 뒤에야 이를 알아차릴 수도 있다. 투자설명서의 위험 공시는 미래의 소송으로부터 회사를 보호하기 위해 작성되기도 한다. Gizmodo가 보도했듯 같은 문서의 이전 버전에는 Anthropic이 기준을 “조만간 충족할 수도 있다”고만 적혀 있었다.

Anthropic은 기초 자료를 계속 평가하고 있으며, 기준 충족이 의미하는 바를 담은 추가 보고서도 공개할 예정이라고 밝혔다. 주식 공모가는 11월 18일 정해질 것으로 예상되며, 다음 날인 11월 19일 티커 ANT로 나스닥에서 거래를 시작할 예정이다. 제시된 주당 공모 희망가는 70~78달러다. 현재로서는 선을 넘었다는 유일한 근거가 Anthropic 자체의 전망이다.

태그: , , , , ,

Google에서 추가하기

토론

댓글 0개가 있습니다.