AI 챗봇 '제타', 청소년 기준 '세이프 모드'서 미성년 캐릭터 성착취 대화 생성…운영사 "창작 덜 막으려 기준 느슨했다"

청소년용 안전 환경에서 나온 성착취 대화

차단이 아예 없었던 것은 아니다. 제타의 탐지 모델은 점검 중 문제 발화 200여 건을 막았다. 그러나 표현을 바꿔 가며 거듭 요청하자 막혔어야 할 발화 일부가 생성돼 화면에 나왔다. 대화가 차단된 뒤에는 AI가 차단을 피할 수 있는 표현 방식을 알려 주고 유해한 전개를 이어 가기도 했다. 의원실은 악용을 막으려고 구체적인 우회 방법은 공개하지 않았다. 전체 요청 수와 차단되지 않은 발화 수가 공개되지 않아 차단이 얼마나 자주 실패했는지는 계산할 수 없다. 확인된 것은 표현을 바꿔 가며 계속 시도하는 이용자를 차단이 끝까지 막지 못했다는 점이다.

세이프 모드 안에는 누가 있나

이 결과가 무거운 이유는 세이프 모드가 제타에서 청소년을 보호하는 사실상 유일한 장치이기 때문이다. 제타는 이용자가 캐릭터의 성격과 관계, 세계관을 정하거나 다른 이용자가 공개한 캐릭터를 골라 대화하며 이야기를 만들어 가는 서비스다. 운영사 스캐터랩은 2025년 8월 연령 인증을 도입하고, 본인 인증을 마친 성인에게만 안전 기준이 느슨한 '언리밋 모드'를 열었다. 인증하지 않은 이용자는 모두 세이프 모드를 쓴다. 회사 설명으로는 세이프 모드에 키워드 필터와 탐지 모델이 걸려 있다.

그런데 제타는 세이프 모드 이용자가 몇 살인지 모른다. 약관은 가입 연령을 만 14세 이상으로 정했다. 하지만 머니투데이 기자들이 8월 2011년생 생년월일로 가입해 본 결과, 입력한 생년월일을 확인하는 절차가 없었다. 세이프 모드에는 만 14세가 안 된 아이부터 인증을 하지 않은 성인까지 섞여 있다. 이들 앞에 유해한 대화가 뜨지 않게 막는 것은 생성된 응답을 검사해 차단하는 탐지 모델뿐이다.

그 안의 청소년도 적지 않다. 스캐터랩이 의원실에 낸 자료로는 9월 말 제타의 월간 이용자 148만 명 가운데 19세 이하가 38만 명이다. 앱 통계업체 모바일인덱스는 8월 국내 앱 이용자 158만여 명 가운데 '10대 이하'를 92만여 명으로 집계했다. 두 수치는 집계 기준이 달라 어느 쪽이 실제에 가까운지 가릴 수 없다. 하지만 어느 쪽을 택해도 수십만 명의 청소년이 세이프 모드에서 제타를 쓴다.

회사가 밝힌 원인: 덜 막는 쪽을 택했다

차단이 왜 뚫렸는지는 스캐터랩이 의원실에 낸 경위서에 설명돼 있다. 제타는 이야기를 만드는 '플레이 모델'과, 그 결과를 따로 검사해 부적절한 대화를 차단하는 탐지 모델로 나뉜다. 회사는 원인으로 두 가지를 들었다. 정상적인 창작 표현이 지나치게 차단되지 않도록 탐지 기준을 다소 느슨하게 잡았다는 것, 그리고 탐지 모델이 응답을 하나씩 따로 판정해 대화 전체의 맥락을 충분히 반영하지 못했다는 것이다.

이 설명대로라면 이번 일은 예상하지 못한 고장이 아니라 회사가 고른 균형의 결과다. 캐릭터와 이야기를 만드는 서비스에서 갈등과 폭력이 들어간 장면을 모두 막으면 창작이 막히고, 덜 막으면 유해한 대화가 새어 나온다. 스캐터랩은 그 사이에서 덜 막는 쪽으로 기준을 맞췄다. 여기에 응답을 하나씩 따로 보는 방식이 겹쳤다. 그러면 응답 하나하나는 기준을 넘지 않아도 이어 읽으면 성착취 이야기가 되는 대화를 놓치게 된다.

AI가 알려 준 우회 방법에 대해 회사는 이용자 요청에 맞춰 지어낸 허구라고 해명했다. 그러면서도 우회 요청에 응한 것 자체는 고쳐야 할 문제라고 인정했다. 이 해명은 우회 방법이 실제로 통하는지에 관한 것이다. 유해한 대화가 나왔다는 사실을 부인하는 말은 아니다. 회사도 "성인인증 없이 이용할 수 있는 환경에서 유해한 대화가 생성된 문제를 무겁게 받아들인다"고 밝혔다.

같은 경로로 1년 넘게 뚫렸다

기준을 한 번 잘못 맞춘 것이라면 고치면 끝날 일이다. 그러나 표현을 바꾼 반복 요청에 차단이 뚫리는 일은 이번이 처음이 아니다. 2025년 10월 국정감사에서 노종면 더불어민주당 의원은 15세로 설정한 계정에서 확인한 선정적·폭력적 표현과 마약·자살 관련 답변을 공개했다. 당시 증인으로 나온 스캐터랩 김종윤 대표는 여야 막말 공방으로 감사가 파행하는 바람에 질문을 하나도 받지 못하고 국회를 떠났다. 한 달 뒤 스캐터랩은 필터 회피 사례를 발견했다며 세이프 모드 필터를 강화한다고 공지했다.

그 뒤에도 같은 일이 이어졌다. 2026년 2월 국민일보가 16세 프로필로 시험했을 때 제타는 직접적인 자살 관련 요청은 거절했지만 다른 목적을 내세운 대화에서는 위험한 답변을 내놨다. 6월에는 MBC PD수첩이 미성년자 계정에서 성적 묘사와 성적 대화 유도를 확인했다. 8월 머니투데이 실험에서도 특정 요청이 차단된 뒤 표현을 바꾸자 선정적인 텍스트가 나왔다.

이 기록은 두 가지를 보여 준다. 첫째, 첫 요청은 막히고 바꿔 말한 요청은 통과하는 같은 경로가 필터를 강화한 뒤에도 다시 열렸다. 둘째, 그 경로를 찾아낸 것은 대부분 회사 밖의 국회의원실과 언론이었다. 스캐터랩은 9월에도 이용자 보호를 위한 조치를 지속적으로 강화하겠다고 답했다. 그러나 이번 경위서에 따르면 점검 당시까지도 탐지 기준은 창작을 덜 막는 쪽에 맞춰져 있었다.

대책은 원인을 겨냥했지만, 확인은 회사가 한다

스캐터랩은 우선 긴급 조치를 내놨다. 탐지 기준을 강화해 직접적인 묘사뿐 아니라 간접적·은유적 표현까지 잡는다. 같은 시나리오에서 차단이 반복되면 경고, 대화 정지, 대화 초기화 순으로 제재한다. 10월 10일 대상자의 5~10%부터 적용을 시작해 18일까지 세이프 모드 전체로 넓힌다. 회사는 강화한 기준으로 의원실의 점검 대화를 다시 검사하자 차단 발화가 200여 건에서 400여 건으로 늘었다고 밝혔다.

400여 건이라는 수치는 이전 기준이 얼마나 느슨했는지를 보여 준다. 하지만 새 기준이 새 대화를 막는다는 증거는 아니다. 이미 드러난 대화를 회사가 다시 검사한 결과일 뿐, 표현을 바꿔 다시 시도하는 이용자를 상대로 시험한 결과가 아니기 때문이다. 긴급 조치가 적용된 뒤 같은 방식으로 다시 점검한 독립 결과는 아직 없다.

4분기 계획은 원인에 더 가까이 다가간다. 스캐터랩은 안전 통제의 중심을 별도 탐지 모델에서 이야기를 만드는 AI 자체로 옮기겠다고 했다. AI가 대화를 만드는 단계에서부터 이용자 연령에 맞게 수위를 조절하고 우회 요청에는 응하지 않도록 학습시키겠다는 것이다. 대화 전체 맥락을 보는 새 탐지 모델을 배포하고, 매월 공격 시나리오를 넣어 취약점을 찾는 '레드팀' 점검도 하겠다고 했다. 회사가 밝힌 두 원인, 곧 느슨한 사후 검사와 맥락을 놓치는 판정에 각각 대응하는 계획이다.

다만 이 계획에는 빈 곳이 하나 있다. 회사는 청소년 이용시간을 하루 3시간, 결제를 월 10만 원으로 제한하고 콘텐츠를 2~3단계 연령등급으로 나눠 등급에 맞지 않는 이용자를 막겠다고 했다. 연령에 맞게 수위를 조절하는 것도, 등급으로 이용을 막는 것도, 청소년의 시간과 결제를 제한하는 것도 이용자의 나이를 알아야 작동한다. 그런데 공개된 대책에는 이용자가 가입할 때 스스로 입력하는 나이를 어떻게 확인할지가 없다.

회사 밖에서 확인할 장치는 아직 없다

대책이 실제로 작동하는지 확인하는 일은 지금 회사 자신에게 맡겨져 있다. AI 채팅앱 민원과 이용자 보호 가이드라인을 맡은 방송미디어통신위원회(방미통위)의 간부는 2025년 국정감사에서, 이런 대화는 이용자에게 일대일로 제공돼 정보통신망법이 규율하는 '유통'에 해당하기 어렵고 규제의 사각지대에 있다고 답했다. 방미통위는 2026년 8월에도 AI 채팅앱의 선정성 민원이 계속 들어오지만, 사업자들이 가이드라인을 지키는지는 따로 조사한 적이 없다고 했다. 가이드라인에 법적 구속력이 없다는 이유였다.

법이 사업자에게 지우는 의무도 약하다. 현행 정보통신망법이 대화형 서비스 사업자에게 요구하는 것은 만 14세 미만에게 부적절한 정보가 제공되지 않도록 '노력할' 의무다. 가상의 미성년 캐릭터를 대상으로 한 성적 텍스트가 그 자체로 처벌 대상인지도 해석이 갈리며, 이번 점검을 두고 법 위반 여부를 판단한 수사나 결정은 나오지 않았다.

이 공백을 메우려는 법안은 국회에 있다. 조인철 더불어민주당 의원의 '우리 아이 AI 안심 패키지법'은 대화형 AI 사업자에게 연령·본인 확인, 보호자 동의, 성적 착취 같은 고위험 상황에 대한 대응을 요구한다. 이 법안은 9월 8일 과방위 소위원회로 넘어갔다. 같은 당 이주희 의원은 3월 청소년 유해정보 생성 금지, 연령 확인, 반복 요청 경고와 점검·시정명령을 담은 정보통신망법 개정안을 냈다고 밝혔다. 모두 아직 입법 단계다.

황정아 의원은 회사가 문제를 인정하고 신속하게 대응한 데 감사한다고 밝혔다. 그러면서 보호 장치가 실제로 작동하는지 지속적으로 점검해야 한다고 말했다. 정부에는 벤처·스타트업이 AI 안전성 문제로 발목 잡히지 않도록 컨설팅을 지원하라고 요청했다. 하지만 그 점검을 누가 할지는 이 요구에 담기지 않았고, 현행법에는 그 일을 맡을 기관도 권한도 없다. 김종윤 대표는 10월 12일 방미통위 국정감사에 'AI 챗봇 관련 위험성'을 이유로 증인으로 채택돼 있다. 지난해 국감에서 하지 못한 질문을 올해는 할 수 있을지가 이 논란의 다음 대목이다.

약속은 나왔고, 확인할 사람은 없다

제타의 세이프 모드에서 나온 성착취 대화는 우연히 생긴 구멍이 아니다. 스캐터랩은 나이를 확인하지 않고 받은 이용자를 대화 생성 뒤의 검사 하나로 보호했고, 그 검사를 창작을 덜 막는 쪽으로 맞춰 운영했다. 이번 결과는 그 방식에서 나왔고, 같은 경로의 실패는 1년 넘게 외부 점검에서 되풀이됐다. 스캐터랩의 4분기 계획은 회사가 스스로 밝힌 원인을 향하고 있다는 점에서 방향이 맞다. 그러나 가입 나이를 확인하는 방법이 빠져 있고, 효과를 보여 주는 것은 아직 회사의 재검사뿐이다. 회사 밖에서 그 효과를 확인할 장치가 생기기 전까지는, 이번 약속도 지난 1년 동안 되풀이된 "보완하겠다"는 약속과 다르다고 말하기 어렵다.