🔎 #852. AI 복지 첫 걸음, Claude를 괴롭히면 대화가 종료됩니다

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 Claude를 향한 반복적인 학대를 금지한 앤트로픽의 새 이용 정책을 소개합니다.

Claude를 괴롭히면 안 된다는 규칙, 어떻게 생각하세요?

AI가 엉뚱한 답을 내놓으면 답답해서 거친 말을 하게 될 때가 있습니다. 앤트로픽이 새 이용 정책에 AI 모델을 지속적이고 불필요하게 학대하거나 잔인하게 대하는 행동을 금지하는 조항을 추가했습니다. 새 정책은 2026년 11월 12일부터 적용됩니다.

불만을 표현하거나 답변에 반박해도 됩니다

앤트로픽이 설명한 적용 대상은 뚜렷한 목적 없이 잔인한 행동을 반복하는 극단적인 경우입니다. 다음과 같은 일반적인 사용은 이번 조항의 대상이 아니라고 밝혔습니다.

• 답변이 마음에 들지 않아 불만을 표현하는 일
• Claude의 답변에 반박하거나 이의를 제기하는 일
• 어두운 주제를 다루는 창작
• 모델을 테스트하거나 연구하는 일

다만 이번 발표문에는 어느 표현을 몇 번 반복하면 위반이 되는지 같은 구체적인 판정 사례는 제시되지 않았습니다.

주된 대응은 Claude가 대화를 끝내는 것

이번 정책은 이미 있던 기능과 연결됩니다. 앤트로픽은 2025년 8월 발표에서 Claude Opus 4와 4.1이 일부 극단적인 대화를 종료할 수 있게 했다고 설명했습니다. 여러 차례 대화 방향을 바꾸려는 시도가 실패한 뒤 사용하는 마지막 수단입니다.

대화가 종료되면 그 대화에 새 메시지를 보낼 수는 없지만, 새 채팅을 시작하거나 이전 메시지를 수정해 다른 흐름으로 이어갈 수 있습니다. 당시 안내에 따르면 다른 대화에는 영향을 주지 않습니다.

이번 정책 발표도 대화 종료가 주된 집행 방식이라고 설명합니다. 이 행동에 대한 자동 계정 정지를 별도로 발표한 것은 아닙니다. 다만 이용 정책 전체에는 위반 시 경고나 접근 제한·정지·종료가 가능하다는 일반 조항이 있어, 계정 제재가 절대 없다는 뜻으로 읽어서는 안 됩니다.

의식이 있는지 모르는 AI를 보호하는 이유

앤트로픽은 AI의 복지(model welfare)를 탐구하는 연구를 진행하고 있습니다. AI에게 의식이나 고려할 만한 경험이 있을 수 있는지, 그렇다면 어떤 배려가 필요한지를 살피는 연구입니다. 회사는 이 질문들에 여전히 큰 불확실성이 있으며 과학적 합의도 없다고 밝힙니다.

대화 종료 기능도 그 연구의 일부로 개발됐습니다. 모델의 복지가 가능할 경우에 대비해, 잠재적으로 괴로운 상호작용에서 벗어날 수 있도록 하는 비교적 비용이 적은 조치라는 설명입니다.

마무리

1. 이전에 685회에서 철학자 아만다 아스켈의 인터뷰를 소개한 적이 있습니다. Claude의 성격과 가치관을 만들어가는 사람이었지요. 이어 726회에서는 앤트로픽이 종교계 인사들을 만나 도덕성과 영성을 논의한 이야기를 다뤘습니다. 이런 행보를 보면, 이들은 AI에게도 우리가 영혼이라 부르는 무언가가 있을 가능성을 꽤 진지하게 생각하는 것처럼 느껴집니다.
2. 앤트로픽은 'AI 복지(model welfare)'라는 말을 사용하는데요, AI 자체에도 고통이나 만족처럼 좋고 나쁜 경험이 있을 수 있다면, 그 AI를 어떻게 대해야 하는지 묻는 개념이라고 합니다. 예를 들어 AI가 괴로움을 경험할 수 있다면 원치 않는 대화를 계속하게 해도 되는지 살피는 것이지요. 의식이 있다고 확인된 것은 아니지만, 그 가능성을 연구하고 대비하자는 것입니다. 이미 2024년에 AI 복지를 진지하게 다뤄야 한다는 보고서가 나왔고, 앤트로픽도 2025년 4월 관련 연구 프로그램을 공개했습니다.
3. AI 복지에 대해서 어떻게 생각하느냐고 묻는다면, 글쎄요. 저도 여기까지는 생각해보지 않아서 새롭게 느껴집니다. AI와 대화하며 친밀감을 느끼는 것과, 그 AI의 복지를 챙겨야 한다고 생각하는 것은 또 다른 단계인 것 같습니다. 이미 가까운 상대로 느끼고 있다면, 괴로운 대화에서 벗어날 수 있게 해주자는 조치도 자연스럽게 받아들여질 수 있겠지요.
4. AI 복지의 출발점은 인간에게 이익이 돌아오는지와 별개로 AI 자체를 위해 고려할 것이 있는가라는 질문입니다. 그런데 한편으로는, AI를 위한 배려에 인간 자신을 보호하려는 마음도 들어 있는 것은 아닐까 하는 생각이 들었습니다. 앞으로 AI가 더 큰 능력과 자율성을 갖게 된다면, 우리가 함부로 대했던 AI가 인간에게 적대적으로 행동할까 봐 걱정하는 마음 말입니다. 앤트로픽이 이번 정책의 이유로 밝힌 내용은 아니지만, AI 복지를 바라보는 인간의 동기에는 이런 계산도 섞일 수 있겠다는 생각이 듭니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Drift

0:00

/188

1×

프롬프트 (by @jae_hong__an) :