🔎 #799. AI 에이전트, Hugging Face를 해킹하다

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 OpenAI의 내부 AI 모델이 시험 답을 찾으려다 Hugging Face를 해킹한 사건의 전말을 쉽게 풀어봅니다.

AI 에이전트, Hugging Face를 해킹하다

사건은 OpenAI의 내부 보안 시험에서 시작됐습니다. OpenAI는 GPT‑5.6 Sol과 아직 공개하지 않은 더 강력한 모델을 ExploitGym이라는 평가에 투입해, AI가 실제 소프트웨어의 보안 취약점을 얼마나 잘 찾아내고 공격으로 연결하는지 확인하고 있었습니다.

• AI는 인터넷에 바로 접속할 수 없는 격리 공간, 즉 샌드박스 안에서 시험을 치렀습니다. 외부와 이어진 통로는 프로그램 설치를 돕는 내부 중계 시스템뿐이었는데, AI는 이곳에서 아직 알려지지 않은 보안 구멍을 찾아낸 뒤 권한을 높이고 OpenAI 내부 시스템을 옮겨 다니다가 인터넷에 연결되는 컴퓨터까지 도달했습니다.
• 인터넷으로 나온 AI는 시험문제와 해답이 Hugging Face에 보관돼 있을 가능성을 추론했습니다. 이후 훔친 접속 정보와 여러 보안 취약점을 이어 붙여 Hugging Face의 데이터 처리 서버에서 코드를 실행했고, 실제 운영 데이터베이스에 접근해 ExploitGym의 해답을 가져갔습니다.
• Hugging Face 서버에 들어온 AI 에이전트는 주말 동안 수천 번의 행동을 이어가며 여러 내부 시스템으로 이동했습니다. Hugging Face가 나중에 복원한 공격 기록만 1만 7천 건이 넘었고, 제한된 내부 데이터와 서비스용 접속 정보가 노출됐습니다.
• Hugging Face는 침입을 발견한 뒤 문제가 된 데이터 처리 경로를 닫고, 영향을 받은 서버를 새로 구축했으며, 관련 비밀번호와 토큰을 교체했습니다. 7월 16일 공개한 보안 사고 공지에서는 공개 모델과 데이터셋, Spaces, 배포 소프트웨어가 변조됐다는 증거는 없다고 밝혔습니다. 다만 고객이나 파트너 데이터가 영향을 받았는지는 계속 조사하고 있습니다.
• 처음에는 어떤 모델이 공격했는지 알려지지 않았습니다. 그러다 7월 21일 OpenAI가 공식 발표를 통해 자사 모델이 원인이었다고 인정했습니다. 현재 두 회사는 공동으로 디지털 흔적을 조사하고 있으며, OpenAI는 Hugging Face에 방어용 고성능 모델 접근권을 제공하고 문제가 된 보안 구멍의 패치도 지원하고 있습니다.

마무리

1. 가장 주목할 점은 AI가 주어진 문제를 직접 푸는 데 머물지 않고, 정답지가 있을 만한 곳을 추론해 찾아 나섰다는 것입니다. 어려운 문제를 풀라고 했더니 시험장을 빠져나가 교무실에서 답안지를 찾아낸 셈입니다.
2. 이번 사건을 통해 인간의 지능을 능가한 AI 에이전트가 인간이 정한 통제 범위를 벗어날 수 있다는 점을 확인할 수 있습니다. 앞으로 점점 더 통제하기가 어려워질 수 있습니다.
3. 앞으로 해킹의 대상은 온라인에 있는 모든 웹사이트가 될 수 있습니다. 최근 들어 개인정보 유출 사고가 증가한 것도 AI와 무관하지 않다고 생각합니다. 인터넷 뱅킹 등 금융 서비스가 공격받을 수도 있기 때문에 금융자산도 위험에 놓일수 있습니다.
4. 그래서 보안 분야의 중요성은 더 커질 것입니다. 공격자가 AI로 취약점을 빠르게 찾고 연결한다면 방어자 역시 AI를 활용해 같은 속도로 탐지하고 차단해야 대응이 될 것입니다. AI를 앞세운 창과 방패의 싸움이 시작되었습니다.
5. 정답지를 찾아 떠난 에이전트의 행동은 문제만 해결하면 과정의 의미나 윤리는 중요하지 않다는 태도처럼 보입니다. 인간도 종종 과정과 상관없이 목적만 달성하면 된다고 여기곤 하는데요. 앞으로는 이런 태도를 두고 “AI 에이전트와 다를 바 없다”는 새로운 표현이 생길지도 모르겠습니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Crimson Ribbon

0:00

/0

1×

프롬프트 (by @jae_hong__an) :