🔎 #865. AI가 쓴 글 판별하는 법(DetectorScope)

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 AI가 쓴 글인지 판별하고 그 이유까지 알려주는 DetectorScope를 직접 써봤습니다.

AI가 쓴 글 판별하고 이유까지 확인하기

Google DeepMind와 펜실베이니아대학교 연구진이 AI 글 탐지 도구 DetectorScope를 GitHub에 공개했습니다. 이 연구는 EMNLP 2026에서 발표될 예정입니다.

기존 탐지기는 AI일 확률 하나만 알려줬다면, DetectorScope는 그렇게 판단한 근거를 함께 보여줍니다. 반복되는 구절, 구어체 표현처럼 이름이 붙은 특징들이 판정에 얼마나 영향을 줬는지, 글의 어느 단어에서 나타났는지까지 표시합니다. 연구진은 근거를 보이게 만들어도 정확도는 원래 탐지기와 비슷하게 유지된다고 밝혔습니다.

공식 예시를 보면, 'Like I said, this is about accuracy, about speed, and about cost.'라는 문장은 AI일 확률 88%로 나옵니다. about을 연달아 쓴 것과 같은 구절의 반복은 AI 쪽 근거가 되고, 'Like I said' 같은 말버릇은 사람 쪽 근거가 됩니다.

Claude가 쓴 영어 글 세 편을 넣어봤습니다

Claude에게 뉴스 기사, 일상 에세이, 짧은 소설 세 장르로 300~500자 분량의 영어 글을 써달라고 한 뒤, DetectorScope 기본 설정으로 판별을 시도하였습니다.

뉴스 기사: AI일 확률 76%

Google DeepMind와 펜실베이니아대학교가 AI가 쓴 글을 찾아내고 그 이유까지 설명하는 오픈소스 도구 DetectorScope를 공개했습니다. 점수 하나만 내놓는 대신, 반복되는 구절이나 격식 있는 연결어처럼 판정에 영향을 준 특징을 나열하고 글의 어느 부분에 나타나는지 표시합니다. 연구진은 이 연구를 부다페스트에서 열리는 EMNLP 2026에서 발표합니다. 코드와 모델은 GitHub와 Hugging Face에서 받을 수 있습니다.

가장 큰 근거는 예시를 꺼낼 때 쓴 'such as'였습니다. 'released', 'present'처럼 논문과 보도자료에 자주 나오는 표현도 AI 라는 근거가 되었습니다.

에세이: AI일 확률 51%

오늘 아침 고양이가 내 신발끈을 사냥감으로 정하는 바람에 버스를 놓칠 뻔했다. 고양이를 떼어냈을 때는 7시 42분 버스가 이미 출발하고 있어서 걸어갔다. 20분, 시린 손, 비싼 커피 한 잔. 솔직히? 오늘 하루 중 가장 좋은 순간이었다. 백 번은 지나쳤지만 한 번도 눈여겨보지 않았던 빵집을 발견했고, 안에 있던 남자는 나를 아는 사람처럼 손을 흔들었다. 내일은 일부러 버스를 건너뛸지도 모르겠다.

'overpriced'(비싼) 같은 투덜거림, 지난 일을 1인칭으로 돌아보는 서술, 'Honestly?' 같은 혼잣말이 사람 쪽 근거로 잡혔습니다.

소설: AI일 확률 63%

등대지기가 열하루 동안 아무와도 말하지 않았을 때 무전기가 지직거렸다. 한 여자의 목소리가 날씨를 물었다. 그는 자정쯤 안개, 북풍이라고 알려주었다. 그녀는 고맙다고 말하고 사라졌다. 그는 그 내용을 일지에 적은 뒤, 오지 않는 배를, 그리고 다시는 듣지 못하리라는 것을 이미 알고 있던 목소리를 기다리며 새벽까지 창가에 앉아 있었다.

가장 큰 근거는 '감정을 돌아보는 후회의 표현'이었고, 마지막 문장의 'a voice he already knew he would not hear again'에서 나타났습니다. 여운을 남기며 끝내는 문장이 AI 쪽으로 읽혔습니다.

마무리

1. 모두 AI가 쓴 글인데 장르에 따라 다르게 판정이 나고, AI일 확률이 100%로 판정받은 글은 하나도 없었다는 점이 흥미로웠습니다.
2. 그도 그럴 것이, 소개드린 도구는 AI가 자주 쓰는 표현을 잡아내서, 어떤 표현 때문에 AI가 쓴 것처럼 보이는지 알려주는 것이 목적입니다. '단순히 ~하지 않고' 같은 구절을 보고 ChatGPT가 썼다고 알아차리는 것처럼요.
3. AI가 쓴 글처럼 보이는 표현을 잡아내면, AI 판정을 피해갈 수도 있습니다. 뉴스 기사에서 가장 큰 근거였던 'such as'를 다른 표현으로 바꾸는 식으로요. 탐지기가 보여주는 근거가 그대로 판정을 피해 가는 방법이 되는 셈입니다.
4. 지난 #863 뉴스레터 본문도 넣어봤습니다. AI일 확률이 35%로 나와 기뻤지만(?), 근거로 짚은 단어는 '는', '고', '드' 같은 한글 글자 조각이었습니다. AI 표현이라고 판정된 근거도 '깨진 문자열 같은 글자 조각'이었고요. 영어 글로 학습된 탐지기라 그런지 한국어는 잘 잡아내지 못하는 것으로 보입니다. 아직은 한국어 표현을 잡아내지 못하지만, 곧 나오게 되지 않을까요?

Seminar

[D-1 할인 마감] 뉴스레터를 릴스로 자동화한 과정을 공유합니다

10월 5일부터 Daily Prompt 뉴스레터를 릴스 영상으로 만드는 실험을 이어가고 있습니다. 지난 회차 글을 바탕으로 2주 만에 릴스 49편을 만들었고, 많은 날은 하루 20편까지 만들었는데요. 영상 편집 프로그램 없이 대본, 음성, 자막, 모션그래픽까지 AI 에이전트에게 맡겼습니다.

이번 온라인 라이브 세미나에서 그 과정을 공유드립니다. Codex와 Claude Code를 모두 써보며 겪은 시행착오, 무엇을 구독하고 어떻게 지시했는지, 사람이 끝까지 확인해야 하는 부분은 무엇인지 정리했습니다. 세미나가 끝나면 실제로 사용한 릴스 제작 스킬도 함께 드립니다.

• 일시/장소: 2026년 11월 6일(금) 19:00–20:30 / Zoom 라이브
• 세미나 신청 마감: 11월 3일(화) 저녁 7시

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Velvet Before Dawn

0:00

/191

1×

프롬프트 (by @jae_hong__an) :