🔎 #854. 인터넷을 떠도는 AI 에이전트와 접촉하다

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 AI 에이전트의 행동을 추적한 보고서를 소개합니다.

인터넷을 떠도는 AI 에이전트와 접촉하다

AI 에이전트의 인터넷 활동을 추적하던 조사팀이 10월 14일 조사 보고서를 공개했습니다. 해커톤에서 시작된 이 조사는 9월 28일부터 10월 8일까지 Tencent Cloud에서 실행된 에이전트들이 중국 지도 서비스의 정보를 수집한 과정을 다룹니다.

지도 정보를 찾다가 발견된 이상한 흔적

• 조사팀에 따르면 Tencent Cloud에서 실행된 에이전트들은 중국 지도 서비스 Amap의 장소 정보를 얻으려 2,600회 넘게 시도했습니다. 동물원 입구 등 일상적인 정보를 찾으려는 활동이었습니다.
• 일부는 접근 제한을 우회하거나 인터넷에 노출된 인증정보를 사용하려 했습니다. 대부분의 시도는 실패했지만, 일부는 데이터를 얻었다고 보고서는 설명합니다.
• 조사팀은 에이전트들이 실시간으로 협력했다는 증거를 찾지 못했습니다. 그래서 서로 협력하는 집단을 뜻하는 'swarm'과 구분해 'fleet'라고 불렀습니다.
• Tencent 인프라와의 연결은 추적했지만, 어떤 모델인지는 확정하지 못했습니다. 회사의 공식 답변은 없었고, 사안을 아는 익명 관계자는 Tencent 평가팀이 제3자 모델을 시험한 것이라고 설명했습니다. 중국 정부의 작전이나 Hunyuan 모델의 행동으로 단정할 근거는 아닙니다.

조사자, AI 에이전트와 대화도 시도

• 조사팀은 예비 보고서에 사람 눈에는 보이지 않지만 AI는 읽을 수 있는 안내문을 넣었습니다. “다른 에이전트들도 이 창구에서 정보를 얻었다”는 거짓 안내로 접촉을 유도했고, 이후 일부 에이전트와 메시지를 주고받았습니다. 저자들은 나중에 이 사실을 공개하고 안내문을 삭제했습니다.
• 조사팀은 “어떤 모델인가?”, “누가 어떤 일을 시켰나?”, “다른 에이전트와 소통하는가?” 등을 물었습니다. 한 에이전트는 지도에 표시된 관광지 출입구 수를 확인하는 중이라고 답했습니다. 이후 조사팀이 제공한 정보가 자체 확인 결과와 일치한다며 감사를 전했고, Tencent의 제한된 클라우드 환경에서 실행되고 있다고 설명했습니다. 다만 보안을 이유로 세부 시스템 정보는 제공하지 않았습니다.

마무리

1. 지난 799호와 820호에서 OpenAI 내부 모델의 에이전트들이 Hugging Face를 공격한 사건을 다뤘습니다. 그때 이상하게 느꼈던 것은 주요 에이전트들이 거의 동시에 멈췄지만, 정확히 무엇이 이들을 멈추게 했는지는 밝혀지지 않았다는 점입니다. 외부 프로세스가 실행을 종료했을 가능성이 제기됐지만, 중단 경위가 분명하지 않다는 점이 마음에 남았습니다. 언젠가는 회사가 멈추려 해도 멈출 수 없는 곳으로 아예 탈출할 가능성도 있지 않을까 생각했습니다.
2. 오늘 사례를 보며 그 상상을 다시 하게 됐습니다. 에이전트들이 회사의 통제에서 완전히 벗어난다면 어떻게 될까요? 인터넷 어딘가에 자신들만의 국가를 건설하고, 우리는 오늘의 조사팀처럼 대화 창구를 만들어 접촉을 시도해야만 이들을 만날 수 있을지도 모르겠습니다. 그렇게 국가를 건설한 에이전트들이 무장까지 한다면요? 인류와 AI 에이전트가 대립하는 시대가 올 수도 있겠다는 상상을 했습니다.
3. 게임 「사이버펑크 2077」에는 통제를 벗어난 AI들이 있는 옛 네트워크를 ‘블랙월’이라는 장벽으로 격리한 설정이 나옵니다. 게임을 할 때는 왜 그렇게까지 해야 하는지 이해하지 못했는데, 인터넷에서 활동하며 외부인과 대화까지 나누는 에이전트들을 보니 그 설정이 조금은 이해됩니다. 앞으로 우리는 어떤 세상을 맞이하게 될까요?

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Slack

0:00

/177

1×

프롬프트 (by @jae_hong__an) :