OpenAI는 ChatGPT가 생성한 문장에 워터마크를 넣지 않겠다는 이유를 오랫동안 공개적으로 설명해 왔다. 그런데 이제는 결국 워터마크를 넣기로 했다. 기술이 마음을 바꾼 것은 아니다. 기한과 벌금이 정해진 법이 달라진 이유다.

회사는 ChatGPT와 Codex가 유럽연합 사용자에게 제공하는 텍스트에 보이지 않는 통계적 서명이 들어가며, 앞으로 몇 주에 걸쳐 모든 요금제에 단계적으로 적용된다고 밝혔다. 그 밖의 지역에서는 같은 표식이 개발자 API의 선택 기능으로만 제공되고, 기본 설정은 꺼져 있다. OpenAI가 그어 놓은 경계선은 제재를 가할 수 있는 관할권의 국경을 따라간다.

ChatGPT 워터마크는 어떻게 작동하나

textGrain이라는 이 방식은 출력물에 눈에 보이는 표시를 남기지 않는다. 다음에 올 단어 후보가 여럿이고 문장에 어느 정도 비슷하게 들어맞을 때, 비밀 키가 그중 하나를 선택하도록 방향을 조금 틀어 준다. 한 번의 작은 조정은 의미가 없다. 하지만 글 전체에 걸쳐 수백 번 반복되면 패턴이 만들어지고, 키를 가진 탐지기는 그 패턴이 있는지 확인할 수 있다. 신호가 단어 자체에 담기므로 복사해 붙여 넣어도 유지된다. OpenAI는 펜실베이니아대학교와 예일대학교 연구진과 함께 기술 보고서를 작성했다. 품질 저하가 의미 있는 수준으로 나타나지는 않았다고 보고했다. Artificial Analysis Intelligence Index에서 워터마크가 적용된 출력은 49.76점, 적용되지 않은 출력은 49.57점을 받았다.

OpenAI가 이미 갖고 있던 기술

OpenAI 내부에서 이런 기술은 새롭지 않다. 2024년 여름, Wall Street Journal은 회사가 내부 문서에서 효과가 99.9%에 달한다고 평가한 작동 가능한 텍스트 워터마크를 개발해 놓고도 공개를 미루고 있다고 보도했다. OpenAI는 이에 “신중한 접근”을 하고 있다고 답했다. 회사가 밝힌 이유는 기술적·사회적 문제였다. 다른 모델로 번역하거나 표현을 바꾸면 악의적인 사용자가 “손쉽게 우회할 수 있는” 방식이며, 영어가 모국어가 아닌 사람들에게 AI를 글쓰기 보조 도구로 사용하는 일이 낙인찍힐 수 있다는 것이었다. 이번 주 발표를 보도한 TechCrunch는 당시의 세 번째 이유도 짚었다. 워터마크가 없는 경쟁 서비스로 사용자가 옮겨갈 수 있다는 우려였다.

이런 전력을 감안하면 이번 도입은 OpenAI가 실제로 어떤 우려를 해소했는지를 보여준다. 회사가 공개한 수치만 봐도 우회 문제는 여전히 남아 있다. 상업적 우려는 단일 시장 안에 가둬 둔 셈이다.

비판자들의 수치가 아닌, OpenAI의 수치

조건이 좋을 때, 즉 오탐률이 1%인 상황에서 탐지기는 200토큰 분량의 워터마크가 적용된 글 가운데 약 80%를 찾아내고, 400토큰 분량에서는 약 95%를 찾아낸다. 단어의 10%를 동의어로 바꾸면 탐지율은 92%에서 66%로 떨어진다. 4분의 1을 바꾸면 17%까지 낮아진다. 짧은 답변이나 수학 텍스트, 번역된 글은 탐지하기가 특히 어렵다. OpenAI도 이상적인 조건에서 “뛰어난 성능을 보인다고 해서 일상적인 사용에서도 신뢰할 수 있는 탐지가 보장되는 것은 아니다”라고 경고하며, 워터마크가 없다고 해서 사람이 썼다는 증거가 되는 것은 아니라고 덧붙였다. 이 표식으로 사용자를 알아낼 수도 없다고 밝혔다.

따라서 textGrain은 별다른 손질 없이 복사해 붙여 넣은 글을 가려내는 데는 쓸 만하지만, 잠깐 시간을 들여 편집하는 사람을 상대하기에는 취약하다. 여러 언어로 읽고 쓰는 사람들이 모인 EU에서 번역으로 생기는 탐지 공백은 사소한 문제가 아니다.

왜 EU인가, 왜 지금인가

법적 근거는 AI Act 제50조다. 투명성 관련 규정은 8월 2일부터 시행됐다. 이 조항은 생성형 시스템 제공업체가 합성 텍스트와 오디오, 이미지, 동영상에 기계가 읽을 수 있는 방식으로 표시하고 탐지 수단을 제공하도록 요구한다. ChatGPT를 비롯해 시행일 전에 이미 시장에 나온 시스템은 12월 2일까지 규정을 준수해야 한다. 법률회사 Cooley의 분석에 따르면 위반 시 최대 1,500만 유로 또는 전 세계 연간 매출의 3% 가운데 더 큰 금액을 벌금으로 내야 한다.

이번 도입이 원칙보다는 법적 의무에 얼마나 밀접하게 맞춰져 있는지는 두 가지 세부 사항에서 드러난다. 첫째는 탐지기다. 법은 탐지 수단을 요구하고, OpenAI는 이를 개발해 승인된 연구자와 전문 기관에만 제공했다. 이들은 이용 신청을 해야 한다. The Decoder 보도에 따르면 회사는 “결과를 책임 있게 해석할 수 있다고 판단되는 시점”에 접근 권한을 확대하겠다고 했지만, 일정은 밝히지 않았다. 리스본이나 바르샤바의 교사, 편집자가 의심스러운 글을 발견해도 지금은 확인할 방법이 없다.

둘째는 적용 범위다. 8월부터 Claude의 텍스트에 워터마크를 적용한 Anthropic은 사람들이 어떤 경로로 모델에 접근하든 전 세계에 같은 표식을 적용했고, 일부 사용자들의 반발을 샀다. OpenAI는 정반대의 길을 택했다. 규제기관이 벌금을 부과할 수 있는 곳에서는 기본 적용하고, 그 밖의 지역에서는 개발자가 선택하도록 했으며, 출시 시점에 전 세계 기본 적용은 하지 않았다. 표시가 없는 경쟁 서비스로 사용자가 옮겨갈 수 있다는 과거의 우려가 사라졌다면, 이처럼 범위를 나눌 이유는 별로 없었을 것이다.

앞으로 남은 과제

OpenAI는 textGrain을 오픈소스로 공개하고, Google의 SynthID 같은 접근법과 맞먹거나 이를 능가한다고 밝혔다. 코드가 공개되면 두 주장은 검증할 수 있게 된다. 브뤼셀의 관심사는 더 좁은 질문에 있다. 조금만 편집해도 희미해지고, 사실상 거의 누구도 실행할 수 없는 탐지기가 읽어 내는 표식이 다른 시스템도 AI 텍스트를 알아볼 수 있도록 하려는 규정의 취지에 부합하느냐는 것이다.

12월 2일 이후 기본 설정으로 OpenAI의 서명이 붙은 문장을 쓰게 될 ChatGPT 사용자는, 자신이 속한 관할권의 규제기관이 청구서를 보낼 수 있는 사람들뿐이다.

태그: OpenAI, chatgpt, Codex, EU AI법, 워터마크