"AI가 썼다"는 탐지기, 얼마나 믿어야 할까 -- 직접 실험한 숫자로 답합니다

AI 탐지기를 직접 만들어 실험했습니다. 언제 맞고, 언제 무고한 사람을 잡고, 어떻게 뚫리는지 -- 탐지율과 오탐률을 숫자로 확인합니다.

과제를 직접 썼는데 "AI 작성 의심" 판정을 받았다는 학생. 지원서를 AI 탐지기로 거른다는 회사. 반대로 "탐지기쯤은 쉽게 뚫린다"는 말도 돕니다. 어느 쪽이 맞을까요.

저희는 말 대신 실험을 했습니다. AI 텍스트 탐지의 가장 유리한 조건 -- 만든 쪽이 직접 심은 워터마크를 만든 쪽 키로 찾는 방식(Claude가 채택한 SynthID-Text 계열) -- 을 로컬 모델에 그대로 구현해서, 탐지가 언제 되고 언제 안 되는지 쟀습니다. 이 글은 그 결과를 비개발자용으로 정리한 것입니다. 코드와 전체 실험은 기술편 Part 2에 있습니다.

이 글은 "How AI Actually Works" 시리즈 2편입니다. 원칙은 같습니다 -- 실제로 겪는 현상 하나, 직접 실험한 숫자 하나.

1. 탐지기에는 두 종류가 있고, 실험한 건 "강한 쪽"입니다

먼저 구분부터. 세상의 AI 탐지기는 두 부류입니다.

분류기형: 글의 스타일을 보고 "AI스러운가"를 추측합니다. GPTZero 등 학교·회사에서 쓰는 도구 대부분이 여기 속합니다. 원리상 추측이라, 격식 있는 글이나 비원어민의 글을 AI로 오판하는 문제가 보고돼 왔습니다.
워터마크형: AI 회사가 생성 단계에서 통계적 표식을 심고, 자기 비밀 키로 확인합니다. 추측이 아니라 암호학적 확인에 가깝고, 탐지 성능의 사실상 상한선입니다.

저희가 실험한 건 두 번째, 강한 쪽입니다. 그러니까 아래 숫자들은 "탐지기가 가장 잘 되는 경우"로 읽으셔야 합니다. 여러분이 실제로 만나는 분류기형 탐지기는 이보다 못합니다.

2. 잘 될 때는 정말 잘 됩니다

200토큰(약 150단어) 분량의 AI 생성 글 50개를 검사했을 때, 맞는 키를 가진 탐지기는 50개 전부(100%) 를 잡아냈습니다. AI가 안 쓴 글과 점수 분포가 전혀 겹치지 않았습니다. 사람이 쓴 문단은 0%로 깨끗하게 통과했고요.

즉 "탐지기는 다 엉터리"라는 말은 틀렸습니다. 조건이 맞으면 -- 충분히 길고, 편집되지 않은 원문이면 -- 거의 완벽하게 작동합니다.

3. 그러나 짧은 글에서는 무고한 사람을 잡습니다

같은 탐지기로 글 길이를 줄여가며 다시 쟀습니다.

!글 길이별 탐지율과 오탐률

검사한 길이	AI 글 탐지	사람 글을 AI로 오판
10토큰 (한 문장)	82%	38%
50토큰	100%	32%
100토큰	100%	8%
150토큰	100%	2%
200토큰	100%	4%

오른쪽 열을 보세요. 한두 문장짜리 글에 탐지기를 들이대면, 사람이 쓴 글의 3분의 1이 AI 판정을 받습니다. 통계적 표식은 표본이 있어야 보이는데, 짧은 글엔 표본이 없기 때문입니다. 이건 성능 문제가 아니라 원리적 한계라, 어떤 탐지기도 피할 수 없습니다.

실용적 결론: 이메일·댓글·자소서 한 단락 수준의 짧은 글에 대한 AI 판정은, 어떤 도구가 내렸든 신뢰할 수 없습니다. 그 판정으로 사람을 불이익 주면 안 됩니다.

4. 살짝 고치는 걸로는 안 뚫립니다

"몇 단어만 바꾸면 탐지를 피한다"는 속설도 실험했습니다. AI 글의 단어를 무작위로 바꿔가며 재검사한 결과:

단어 교체 비율	탐지율
10% (열 단어 중 하나)	100%
20%	84%
30%	48%
50%	4%

열 단어 중 하나를 바꿔도 전부 잡힙니다. 절반이 빠져나가려면 단어 30%를 바꿔야 하는데, 200단어 글에서 60단어를 손으로 바꾸면 글이 이미 걸레가 됩니다. 손편집으로 뚫는 건 비현실적입니다.

5. 그러나 "다시 써줘" 한 번이면 사라집니다

진짜 구멍은 따로 있습니다. 다른 AI에게 통째로 다시 쓰게 하는 것.

!패러프레이즈 공격 결과

	탐지율
원문	100%
표현 몇 개만 수정	100%
다른 AI로 전면 재작성	8%

노트북에서도 돌아가는 작은 무료 모델로 "같은 내용으로 다시 써줘" 한 번 -- 몇 초 -- 이면 탐지율이 100%에서 8%로 떨어집니다. 내용도 순서도 그대로인데 표식만 사라집니다. 숨기려고 마음먹은 사람은 사실상 막을 수 없다는 뜻입니다.

6. 이 실험이 말해 주지 않는 것

실측 대상은 워터마크형(탐지의 상한선)입니다. 분류기형(GPTZero류)의 정확한 수치는 도구마다 다르며, 원리상 이보다 낮습니다.
탐지기 운영사는 임계값을 더 보수적으로 잡거나 길이별로 조정할 수 있습니다. 위 오탐률은 "고정 임계값을 짧은 글에 그대로 쓸 때"의 값입니다.
영어 텍스트 실험입니다. 한국어에서의 수치는 다를 수 있습니다.

7. 그래서 어떻게 판단해야 하나

세 줄로 줄이면:

긴 원문에는 강합니다. 150단어 이상, 편집 없이 뿌려진 AI 원문은 거의 확실히 잡힙니다. 스팸·콘텐츠 팜 필터로는 유효합니다.
짧은 글 판정은 버리세요. 한두 문장에 대한 "AI 의심"은 사람 글의 30%도 같이 잡는 판정입니다. 이걸 근거로 학생·지원자를 처분하는 건 무고한 사람 셋 중 하나를 잡겠다는 뜻입니다.
작정한 회피는 못 막습니다. 재작성 한 번이면 끝이니, "탐지기 통과"가 "사람이 썼다"의 증명이 되지도 않습니다.

탐지기는 "AI가 썼는지 판별하는 재판관"이 아니라 "가공 없이 뿌려진 AI 원문을 거르는 필터"입니다. 그 이상을 맡기는 순간 누군가 억울해집니다.

*이 글에서는 탐지 하나만 다뤘습니다. AI가 왜 이렇게 동작하는지 전체 그림이 궁금하다면 영상 강의에서 이어집니다: 코드 없이 이해하는 ChatGPT 원리 →*