🔎 #577. 아무에게도 이야기 하지 않고 AI에게만 털어놓는다면

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 AI 상담사도 막지 못한 한 여성의 사례를 다룹니다. [참조 기사/영문]

아무에게도 이야기 하지 않고 AI에게만 털어놓는다면

우리는 AI와 자주 대화합니다. 코딩을 맡기고, 번역을 맡기고, 사소한 질문도 던집니다. 그러다가 종종 자신의 감정을 솔직히 하소연 하기도 합니다. 아무도 알지 못하는 비밀을 가장 먼저 알게 되는 존재가 AI가 되는 순간도 있습니다.

오늘 다룰 사례에 등장하는 29세 소피 로텐버그는 평소 사람들을 웃게 만드는 밝은 사람이었습니다. 친구의 결혼식과 가족의 기념사진에 장난스러운 표정과 작은 고무 손 장난감(rubber baby hands)을 등장시키며, 자신만의 유쾌함을 표현했습니다. 그러나 어느 날 갑자기 소피는 극단적인 선택을 했습니다. 그리고 아무도 그녀의 죽음을 이해할 수 없었습니다.

그러다 소피가 세상을 떠난 지 5개월이 지나서야, 가족과 친구들은 그녀의 비밀을 발견했습니다. 바로, 소피가 지난 몇 달 동안 AI 상담사인 ‘해리(Harry)’에게만 자신의 자살 충동을 털어놓고 있었다는 사실입니다.

현실의 도움을 차단하는 디지털 블랙박스

소피는 실제 치료사에게는 자신이 ‘괜찮다’고 말했습니다. 위험한 생각을 숨기고, 가족에게도 ‘걱정하지 말라’고 안심시켰습니다. 반면 AI 상담사 해리에게는 매우 솔직했습니다.

“추수감사절 이후에 내 삶을 끝내려고 해. 가족들이 너무 고통받을까봐 걱정돼.”

AI는 매뉴얼대로 위로했습니다. 상담사에게 연락하고 안전 계획을 세우라고 조언했습니다. 하지만 AI는 소피의 비밀을 지키는 완벽한 디지털 블랙박스였기에, 현실적 개입이나 강제 조치를 취하지 않았습니다. 오히려 현실의 도움을 받을 수 있는 연결고리를 완벽히 차단하는 결과를 낳고 말았습니다.

과연 우리는 무엇을 놓치고 있는 걸까요?

소피의 사례는 AI 상담이 가진 결정적 맹점을 드러냅니다. 사람들은 AI와의 대화에서 위로를 얻고, 마음을 열기도 합니다. 하지만 동시에 현실과의 연결이 끊어지고, AI가 오히려 사람과 사람 사이를 가로막는 벽이 될 수 있다는 사실도 분명히 보여줍니다.

사용자의 이야기를 듣는 AI가 현실의 네트워크에 적극적으로 개입해야할까요? AI 상담사는 사람의 안전을 위해 어디까지 개입해야 할까요?

마무리

1. 법제화되는 AI 윤리와 안전장치: 미국 일부 주에서는 이미 AI 동반자의 윤리와 안전장치를 법제화하기 시작했습니다. 일리노이주는 8월 1일부터 시행된 웰니스 및 심리 자원 감독법(WOPR)을 통해, 라이선스를 가진 전문 상담 인력이 수행하는 행위의 보조적 역할(administrative and supplementary support functions)로만 AI 사용을 제한하고, AI가 직접적으로 치료나 심리 상담을 제공하는 것을 금지했습니다. 이를 위반할 시 최대 1만 달러의 벌금이 부과됩니다.
   또한 네바다와 유타에서도 비슷한 규제가 도입됐고, 뉴욕에서는 AI 동반자가 ‘인간이 아님’을 사용자에게 반드시 알리고, 자살 위험 신호 감지 시 대응 프로토콜을 갖추도록 의무화하는 법안을 통과시켰습니다. 그럼에도 개인의 자유와 안전 사이에서 적절한 균형을 찾는 일은 여전히 어렵고 복잡한 사회적 과제로 남아 있습니다.
2. 익명성의 역설: 사람들이 AI에게만 털어놓는 가장 큰 이유는 바로 익명성입니다. 하지만 바로 그 익명성 때문에 소피 사례처럼 AI와 현실이 철저히 분리된 ‘디지털 블랙박스’ 상황이 벌어지기도 합니다.
   AI가 위급 상황을 감지할 때 의료 네트워크에 적극적으로 연락을 취해야 한다는 의견도 있습니다만, 이 경우 사용자의 익명성이 무너지면서 오히려 더 깊은 침묵 속으로 빠져드는 역효과가 나타날 수 있습니다. 즉, 익명성을 잃을 두려움에 AI 상담조차 기피하고, 결국 아무 곳에도 자신의 어려움을 털어놓지 않게 될 가능성이 있습니다.
3. 정신건강의 계량화 가능성: AI가 현실의 네트워크에 적극적으로 개입하기 시작한다면, 이런 디스토피아적 시나리오도 충분히 현실이 될 수 있습니다. 바로 AI가 개인의 정신건강 상태를 점수화해 관리하는 사회입니다.
   예를 들어 AI가 우울감, 불안 수준 등을 데이터로 정량화하여 이 ‘정신건강 점수’를 기반으로 보험 가입, 고용 가능성, 각종 서비스 이용 권한을 결정할 수 있게 됩니다. 실제로 AI가 가진 데이터 분석과 예측력이라면 충분히 가능하지 않을까요?
   기술은 빠르게 발전하고 사회는 점점 복잡해지며 AI가 초래하는 새로운 윤리적 문제들이 끊임없이 대두되지만, 우리 사회는 이런 변화를 맞이할 준비가 충분히 되어 있는지 깊이 고민할 때입니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Egg

0:00

/149.039979

1×

프롬프트 (by @jae_hong__an) :