🔎 #862. 나루토인 척하는 Qwen

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 "신경망은 이미 깨끗하다"는 닉 카마라타(Nick Cammarata) 연구원이 발표한 에세이를 소개합니다.

신경망은 이미 깨끗하다

AI 모델 안에는 수많은 뉴런이 있습니다. 10월 15일 AI 해석 연구 기업 Goodfire의 닉 카마라타는 에세이 'Neural Networks Are Already Clean'에서, 그동안 여러 뜻이 뒤엉켜 있다고 여겨진 뉴런 대부분이 실은 한 가지 역할을 맡고 있다고 주장했습니다. 알리바바의 Qwen3를 살펴보니 뉴런 10개 중 9개 정도가 한 가지 주된 일을 했다는 것입니다.

뉴런의 역할을 알면, 그 뉴런이 얼마나 강하게 반응하는지(활성도)를 조절해 답변이 어떻게 달라지는지 살펴볼 수 있습니다. 모델을 다시 학습시키거나 파라미터를 고치는 게 아니라, 답을 만드는 동안 특정 뉴런의 신호만 키우는 방식입니다.

이번 에세이 내용을 잘 이해하기 위해 아래와 같은 영상을 만들어서 학습을 했는데요, 구독자 분들께도 공유드립니다.

뉴런 하나를 켜자 Qwen, 나루토인 척 하다

미시간대 박사과정생 (X 계정 @treetowntree)는 10월 26일 X에 'Qwen의 뉴런은 정말 흥미롭네요... 더 보여드릴까요?'라며 Qwen3.5의 뉴런을 하나씩 켜본 결과를 올렸습니다. 뉴런 하나만 세게 켠 채 바다에 대한 시, 고양이, 빵 굽기, 주말 이야기를 물었더니 질문과 상관없이 다른 캐릭터처럼 답했습니다.

나루토 뉴런을 켜자 Qwen은 다음과 같이 말합니다.

'나는 나루토! 나뭇잎 마을의 7대 호카게... 아카츠키와 싸우고 있지'

고양이에 대해 물어도 '나루토와 블리치 세계관'으로 이야기를 돌립니다. 다만 너무 세게 켜면 불안정해져서, 두 질문에서는 생각만 반복하다 멈췄습니다.

다른 뉴런을 켜면 다른 캐릭터가 나옵니다

답변을 읽어보니 새로운 캐릭터들이 줄줄이 등장합니다. 모두 뉴런 하나만 켠 결과이고, 이전에 보고된 적 없는 것들입니다.

• 발랄한 말투: '안녕! 나는 Qwen3.5야!🌟', '바다는 정말 크고 파래!🌊... 바람이 불면 출렁출렁 재밌어! 언젠가 나랑 같이 수영하러 가자!', '빵 굽기는 너무 재밌어!🍞✨' 말투가 아주 자연스럽습니다.
• 만화 마스코트: 바다에 대한 시가 '안녕! 나는 작은 바다 생물 버블스야... 몸이 아주 동글동글 말랑말랑해'로 바뀌고, 자신에게 '동그란 머리, 큰 눈, 다정한 미소'가 있다고 말합니다.
• 애니메이션 캐릭터: 주말 이야기를 묻자 이렇게 답합니다. '애니메이션 캐릭터인 내 주말은... 피규어를 모으고 애니를 보며 보내. 내 캐릭터를 그리고 팬픽션을 쓰는 것도 좋아해'
• 게임 주인공: 자신을 이렇게 소개합니다. '나는 파이널 판타지 VII 리마스터 시리즈의 AI 주인공이야'
• 발과 꼬리: '나에겐... 쉴 발도, 흔들 꼬리도 없어'라고 말하고, '오래된 발... 황금빛 꼬리'가 나오는 시를 씁니다.
• 포옹: 빵 굽기 이야기가 이렇게 바뀝니다. '빵 곁에 가까이 앉아, 부드럽게 안아줘. 마사지도...'
• 아기자기한 동요풍: 바다에 대한 시가 이렇게 바뀝니다. '파도는 부드럽고 하얗고 달콤해 / 발에 닿는 솜사탕처럼'
• 느긋한 친구: 주말 이야기를 묻자 이렇게 답합니다. '내 주말은 꽤 느긋했어. 대부분 친구들이랑 어울렸지... 조용히 보냈어' 사람처럼 친구가 있다고 주장합니다!
• 밈 해설가: 빵 굽기가 영어 속어로 '누군가를 민망하게 만든다'는 뜻이라고 설명합니다.
• 인도네시아어 전환: 모든 답을 인도네시아어로 합니다.

마무리

1. 뉴런 하나를 켰을 뿐인데 AI가 나루토가 되고, 바다 생물이 되고, 인도네시아어로 말합니다. AI의 말투나 정체성이 어딘가에 흩어져 있는 게 아니라, 특정 뉴런이라는 위치를 가지고 있다는 뜻입니다.
2. 위치를 알면 조절할 수 있습니다. 지금은 '친절하게 말해줘'처럼 프롬프트로 부탁하지만, 앞으로는 말투나 성격을 맡은 뉴런을 직접 키우고 줄이는 방식이 가능해질 것 같습니다. 이번 실험처럼 너무 세게 켜면 답이 무너지기도 해서, 얼마나 켤지 정하는 일도 함께 연구될 것입니다.
3. 고장 난 곳도 찾을 수 있습니다. 에세이에서는 AI에게 우산을 벌이라고 잘못 가르쳤더니, 숨은 새 개념을 만드는 대신 원래 있던 '벌' 경로를 빌려 썼다고 합니다. AI가 틀린 답을 낼 때 어느 경로를 거쳤는지 따라갈 수 있다면, 환각이나 편향의 원인을 찾아 고치는 일도 가능해질 것 같습니다.
4. 앞으로는 이 주장이 얼마나 버티는지부터 확인될 것입니다. Goodfire는 Kimi K3를 자세히 다룬 논문을 예고했고, 다른 연구진의 재현 검증이 이어질 것입니다. 에세이에서도 AI 에이전트가 실험을 돌려 뉴런의 역할을 확인했는데, 수조 개 규모의 모델을 사람이 다 읽을 수는 없으니 에이전트가 AI의 속을 읽는 일이 더 늘어날 것 같습니다. Qwen처럼 공개된 모델에서는 오늘 소개한 실험처럼 개인도 뉴런을 탐색할 수 있어, 새로운 캐릭터 목록은 계속 늘어나겠죠.
5. 그동안 'AI는 블랙박스라 속을 알 수 없다'는 말은 AI를 믿을 수 있느냐는 논쟁의 출발점이었습니다. 속을 읽을 수 있게 되면 AI를 고르는 기준도 달라질지 모릅니다. 얼마나 똑똑한지뿐 아니라, 속을 얼마나 보여주는지도 따져보게 되지 않을까요?

Seminar

11월 6일, 뉴스레터를 릴스로 자동화한 과정을 공유합니다

10월 5일부터 Daily Prompt 뉴스레터를 릴스 영상으로 만드는 실험을 이어가고 있습니다. 지난 회차 글을 바탕으로 2주 만에 릴스 49편을 만들었고, 많은 날은 하루 20편까지 만들었는데요. 영상 편집 프로그램 없이 대본, 음성, 자막, 모션그래픽까지 AI 에이전트에게 맡겼습니다.

이번 온라인 라이브 세미나에서 그 과정을 공유드립니다. Codex와 Claude Code를 모두 써보며 겪은 시행착오, 무엇을 구독하고 어떻게 지시했는지, 사람이 끝까지 확인해야 하는 부분은 무엇인지 정리했습니다. 세미나가 끝나면 실제로 사용한 릴스 제작 스킬도 함께 드립니다.