AI

구글 CEO 선다 피차이, 구글 코드 중 AI 작성 비율은 이제 무의미…자기 개선 AI는 아직 멀어

Adrian Kessler
Google에서 추가하기

구글 최고경영자는 이제 그 비율을 세지 않는다. 회사 코드 가운데 AI가 작성한 부분이 얼마나 되느냐는 질문에 선다 피차이(Sundar Pichai)는 AI가 코드 전반에 관여하고 있으니 더는 의미가 없는 질문이라고 답했다. 같은 대화에서 그는 업계 대부분이 대비하고 있는 순간, 즉 사람이 개입하지 않아도 AI가 스스로 더 나은 버전을 만드는 시점은 아직 멀었다고 선을 그었다.

두 주장 모두 타당할 수 있다. 문제는 누가 이를 확인하느냐다. 피차이가 내려놓은 수치는 외부에서 다른 회사들과 나란히 비교할 수 있는 유일한 숫자였다. 그 자리를 대신하는 지표와 자기개선 AI에 대한 낙관적인 판단의 근거는 모두 구글이 자체적으로 측정한 결과다.

AI와 구글 코드에 관해 선다 피차이가 한 말

피차이는 알렉스 칸트로위츠(Alex Kantrowitz)가 진행한 Big Technology Podcast에 출연해 이야기했다. 인터뷰는 구글의 마운틴뷰 본사에서 녹음됐으며, 칸트로위츠가 서면 문답 형식으로도 공개했다. 칸트로위츠가 구글 코드의 4분의 1을 AI가 작성한다던 과거 주장을 꺼내며 현재 수치를 묻자, 피차이는 이제 구글이 다루는 코드의 모든 부분이 “AI의 깊은 영향을 받고” 있으므로 그 질문은 “의미가 없다”고 답했다.

대신 그는 구글의 최신 모델인 Gemini 4 Argon을 사내 엔지니어들에게 맡긴 뒤 나온 수치를 제시했다. 출시 후 4주 동안 구글은 사내에서 코드 제출을 가리키는 용어인 CL이 30% 늘었고, 배포 후 되돌려야 하는 변경 사항인 롤백은 3분의 1 줄었다고 밝혔다. 피차이는 “이제는 새로운 지표로 추적하고 있다”고 말했다.

기존 지표가 저절로 사라진 것은 아니다. Semafor와 ETV Bharat에 따르면 구글은 4월 블로그 게시물에서 신규 코드 가운데 AI가 생성한 비중이 75%라고 밝혔다. 2024년 25%, 그해 가을 50%에서 늘어난 수치다. 당시 Semafor는 이런 주장 가운데 일부는 사실 확인이 거의 불가능하다고 지적하며, AI 작성 코드 비중이 65%인 Snap과 비슷한 수준을 목표로 하는 Meta의 사례를 함께 제시했다.

자기개선 AI가 아직 멀었다고 피차이가 말하는 이유

재귀적 자기개선, 즉 RSI에 관해 피차이는 자신의 공동창업자가 한 발언을 명확히 하는 방식으로 답했다. 세르게이 브린(Sergey Brin)은 RSI가 Argon 개발에 핵심적으로 기여했다고 말했지만, 피차이는 “RSI의 최종 단계에 이르기까지는 아직 갈 길이 멀다”고 했다. 이어 구글이 실제로 어느 단계에 있는지 설명했다. “정확히 말하면 모델 개발의 여러 측면에서 AI 연구자들과 함께 RSI 루프가 돌아가고 있습니다. 어떤 방식으로 자동화된 에이전트가 AI 연구자들을 돕고, 이들이 협력해 모델을 만드는 단계에 거의 와 있다고 봅니다.”

브린은 며칠 전 한층 더 나아간 발언을 했다. 구글이 공유한 Argon 관련 원탁회의에서 그는 회사가 “RSI라는 러닝머신에 올라타기 시작했다”며 “이제는 연구자들과 모델이 손발을 맞춰 다음 버전의 모델을 만들고 있다”고 말했다고 Business Insider는 전했다. 이달 공개된 Gladstone AI 보고서에 따르면 Anthropic, OpenAI, Google DeepMind 소속 연구자 가운데 인터뷰에 응한 대다수는 3개월에서 12개월 안에 RSI가 시작될 것으로 예상했다.

구글의 안전성 보고서, 구글 자체 시험에서는 피차이의 주장을 뒷받침

보고서만 놓고 보면 피차이의 주장은 근거가 있다. Google DeepMind가 공개한 Argon 안전·보안 보고서는 “AI 주도 여부와 관계없이 AI 연구개발이 처음부터 끝까지 크게 가속화된 징후는 없다”고 결론 내리고, 해당 위험을 “현재 낮음”으로 평가했다고 TNW는 보도했다. 보고서는 AI 에이전트가 “운영 환경에 투입되는 코드와 버그 수정의 과반을 작성하지만, 코드 변경 사항은 제출 전에 여전히 사람이 검토한다”고 설명한다. 완전 위임 방식으로 작성된 풀 리퀘스트는 4월 7.5%에서 9월 11.9%로 늘었지만, 여전히 약 88%는 반복적인 사람의 지시나 사람이 작성한 코드가 필요하다.

하지만 이 조사 결과는 구글 자체 도구로 얻은 것이다. AI가 AI 연구를 자동화하는 단계에 이르렀는지는 회사 외부에서는 실행할 수 없는 내부 벤치마크 74개 과제로 판단한다. LessWrong에 게시된 분석은 보고서 자체에 적힌 한 대목을 짚는다. 구글이 처음 감사한 과제 가운데 “약 4분의 1에는 어떤 제출물도 통과하지 못하게 하는 버그가 있었다.” 상당수 실행이 시간 초과로 끝났기 때문에 보고서는 Argon의 정확한 점수를 제시하지 않는다. 완료된 실행 가운데 대략 절반을 해결했을 뿐이다. 구글은 끝내지 못한 실행이 모두 성공했다고 가정해도 결론은 달라지지 않는다고 밝혔다.

안전성 논리의 핵심은 사람의 검토라는 관문이다. 코드 제출이 30% 늘면 그 관문을 지키는 사람들의 검토 대상도 30% 늘어난다. 그러나 피차이가 선택한 지표가 세는 것은 결과물과 되돌린 변경 사항이지, 각 변경 사항을 얼마나 꼼꼼하게 읽었는지는 아니다.

피차이가 제시한 해법: 독립적인 감사자

피차이는 우려를 가볍게 넘기지 않았다. 정렬 연구에는 여전히 “분명한 공백”이 있고 “걱정하는 것은 합리적”이라고 말했다. 그가 제시한 다음 단계는 회계 기준과 외부 감사자를 본뜬, “독립적인 평가자를 활용해 평가할 수 있는 역량을 포함한” 업계 공통 기준이다. 규제도 “결국 역할을 하게 될 것”이라고 덧붙였다.

그 기준에 비춰 보면 이번 주 나온 두 주장은 아직 어느 쪽도 외부 감사를 받지 않았다. 구글은 자체 코드 변경 목록을 세고, 자체 롤백을 평가하며, 자체 연구 벤치마크의 점수를 매긴다.

피차이가 의미 없다고 한 비율은 투박한 지표였지만, 누구나 Snap의 수치와 나란히 놓고 비교할 수 있었다. 새로 제시된 수치는 구글 내부에서만 들여다볼 수 있다.

태그: , , , ,

Google에서 추가하기

토론

댓글 0개가 있습니다.