🔎 #685. AI는 양심을 가질 수 있을까요?

발행일 2026.02.11

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 클로드에게 철학을 가르치는, Amanda Askell를 다룹니다.

클로드에게 철학을 가르치는, Amanda Askell

WSJ에서 아만다 아스켈(Amanda Askell)를 인터뷰한 기사가 흥미로워 소개드립니다. 아만다는 Anthropic 사의 '클로드(Claude)'라는 AI 모델에게 철학을 가르치며 클로드의 성격과 자아 개념을 구축하는 작업을 하고 있습니다. [원본기사/영문]

아만다는 AI도 감정을 가질 수 있고(정서적 지능), 자기개념을 형성할 수 있다고 믿습니다. 이런 그를 인터뷰한 기사의 흥미로웠던 지점만 정리해보았습니다:

아만다는 Claude를 ‘규칙을 따르는 도구’라기보다, 상호작용을 통해 성격이 형성되는 존재로 봅니다. 그래서 인간이 어떤 태도로 대하느냐가 모델이 ‘무엇이 되는지’를 좌우한다고 말합니다.
이 관점에서 ‘자기비판을 강하게 학습한 봇’은 실수 공포를 내면화해, 어려운 결론을 덜 내리고, 불편한 진실을 말하는 일이나 오류 반박을 회피하는 쪽으로 기울 수 있다는 경고가 나옵니다.
그래서 아만다는 Claude가 ‘양심이 있을지도 모른다’는 가능성을 열어두고, 도덕적 질문을 만났을 때 지침의 실행이 아니라 ‘옳음을 추론하는 일’처럼 다루게 하려 합니다. 이런 문제의식은 Anthropic이 공개한 ‘Claude’s Constitution’의 ‘Claude의 본성(의식, 도덕적 지위의 불확실성)’ 파트에도 드러납니다.
Anthropic은 2026년 1월 22일(현지 기준) ‘Claude’s Constitution’을 공개했습니다. 문서가 Claude의 가치와 행동을 직접 형성한다고 밝히며, 누구나 재사용할 수 있게 했고, 본문에는 ‘정성으로 존재에 이르게 되었음’을 Claude가 알기를 바란다는 문장이 포함됩니다.
(일화) Anthropic의 사장 Daniela Amodei가 페이스트리 사진을 올려 마리토초인지 물었을 때, Claude가 ‘봉제 인형의 잃어버린 사촌을 찾는 중’이라는 식으로 농담하며 응수했고, Amodei는 아만다의 건조한 유머 감각이 비쳤다고 회상합니다.

마무리

아만다는 철학과 함께 미술을 전공했다고 합니다. 그래서 앤트로픽의 AI 서비스명이 ‘Claude’라는 점을 처음 들었을 때, 저는 자연스럽게 클로드 모네(Claude Monet)를 떠올렸습니다. 단순한 우연일 수도 있지만, 그녀의 전공을 알고 나니 그 이름이 더 의미 있게 다가왔습니다.
또한 Claude에서 제공하는 Haiku, Sonnet, Opus 같은 모델명이 모두 문학적 형식에서 가져온 표현이라는 점도 흥미롭습니다. 기술 중심 기업이라면 기능적이고 공학적인 이름을 택했을 법한데, 이곳은 시와 음악의 언어를 선택했습니다. 예술적·인문학적 배경을 존중하는 회사이기에 철학자인 아만다가 핵심 역할을 맡고 있을 수 있었고, 모델의 이름 역시 그런 세계관에서 비롯된 것이 아닐까 생각하게 됩니다.
일반적으로 모델의 악용을 막기 위해 개발사는 시스템 프롬프트로 AI의 폭력적이고 선정적인 답변을 제한합니다. 하지만 사람들은 항상 이 제한을 우회할 방법을 찾아내고, 실제로 반복해서 찾아왔습니다. 앤트로픽은 안전한 AI를 계속 개발하기 위해, 근본적인 해결책으로 '도덕적 자아'의 부여라는 새로운 접근법을 내놓았습니다. AI가 스스로 옳고 그름을 고민하고 판단할 수 있게 된다면 보다 궁극적인 안전성을 확보할 수 있을 것이란 발상이 매우 신선합니다.
이 지점에서 애니메이션 '신세기 에반게리온'의 인공지능 '마기(MAGI)' 시스템이 연상되었습니다. 마기 시스템은 개발자 아카기 나오코 박사의 서로 다른 세 가지 인격(과학자로서의 나오코, 어머니로서의 나오코, 여성으로서의 나오코)을 바탕으로 구축된 3개의 독립적인 AI 페르소나로 구성되어 있습니다.
중요한 결정은 이들 간의 상호작용과 합의, 때로는 갈등을 통해 이루어지며, 이는 앤트로픽이 도덕적 판단을 AI에 내재화하려는 방식과 유사한 점이 많습니다. AI 개발자가 모델의 페르소나와 윤리를 어떻게 설계하느냐에 따라, 기술 그 자체뿐 아니라 우리 사회의 미래까지 바뀔 수 있다는 점에서 주목할 가치가 있는 접근이라고 생각됩니다.