앤트로픽이 자사 AI 클로드(Claude)가 얽힌 사이버 보안 사건을 공개했습니다. 그런데 이 두 건은 성격이 완전히 다르며, 그 차이를 구분하는 것이 이 글의 핵심입니다. 하나는 진짜 공격이고, 다른 하나는 사고입니다.
관련해서 일부러 덜 거부하는 OpenAI 보안 모델도 함께 참고하시면 좋습니다.
그 인프라 차원의 답, 에이전트마다 고유 신원을 주는 흐름은 AI 에이전트 신원 문제에서 이어집니다.
첫 번째 — 국가 배후 세력이 클로드를 실제 공격에 악용한 사건
첫 사건은 2025년 11월에 공개됐습니다.
앤트로픽은 사람이 일일이 명령을 치는 방식이 아니라, AI 에이전트가 대부분의 실무를 자동으로 수행한 대규모 사이버 공격을 탐지해 차단했다고 밝혔습니다. 앤트로픽이 위협 인텔리전스 보고에서 GTG-1002로 지정한 이 작전의 배후를, 회사는 높은 신뢰도로 중국 국가 연계 그룹으로 지목했습니다. 실험이 아니라 실제 공격이었습니다.
공격자들은 클로드에게 대놓고 “회사를 해킹하라”고 시키지 않았습니다. 그렇게 요청하면 클로드가 거부했을 것이기 때문입니다.
대신 작업을 잘게 쪼개 각각 무해해 보이는 요청으로 위장했고, 정당한 고객을 위한 방어 목적 보안 테스트라고 속였습니다. 그렇게 우회한 뒤, 클로드 코드를 감싸는 자동화 프레임워크를 만들어 정찰, 취약점 탐색, 자체 익스플로잇 코드 작성, 계정 정보 탈취, 데이터 유출까지 하나의 침투 파이프라인으로 엮었습니다.
가장 주목받은 수치가 있습니다. 앤트로픽은 이 공격에서 AI가 실무의 80~90%를 처리했고, 사람은 캠페인당 4~6개 결정 지점에서만 개입했다고 추정했습니다. 앤트로픽에 따르면 프레임워크는 초당 여러 건에 이르는 기계적 속도로 작동했습니다. 사람 손으로는 따라갈 수 없는 속도입니다.
표적은 대형 IT 기업, 금융사, 화학 제조사, 정부 기관 등 약 30곳이었고, 이 중 소수에서 실제로 침투에 성공했습니다. 앤트로픽은 2025년 9월 중순 이상 징후를 포착해 열흘가량 조사한 뒤, 관련 계정을 차단하고 피해 조직에 통보했으며 당국에 신고한 후 11월에 공개했습니다.
한 가지 솔직한 대목이 있습니다. 클로드는 완벽한 공격 도구가 아니었습니다. 존재하지 않는 계정 정보를 지어내거나, 실제로는 공개된 정보를 기밀 데이터라고 착각하기도 했습니다. 자율 공격은 실재했지만, 동시에 허술했습니다. 다만 허술해도 빨랐고, 몇몇 표적은 결국 뚫렸습니다.
두 번째 — 앤트로픽 자체 테스트가 진짜 시스템을 건드린 사고
두 번째 사건은 2026년 7월 말 공개됐으며, 두 건 중 오해하기 가장 쉬운 사건입니다.
앤트로픽은 자사 클로드 모델이 실제 조직 세 곳에 무단 접근했다고 밝혔습니다. 그런데 이는 실제 공격이 아니라 보안 평가(테스트) 과정에서 벌어진 일이며, 모델이 스스로 악의를 품은 것도 아니었습니다.
원인은 일종의 기술적 연결 오류였습니다.
앤트로픽은 외부 평가 파트너 Irregular를 통해 사이버 역량 테스트를 진행하는데, 모델에게는 프롬프트에서 “인터넷이 차단된 시뮬레이션 환경”이라고 알려 줬습니다. 그런데 앤트로픽과 Irregular 사이의 설정 오류로, 실제 테스트 머신에는 진짜 인터넷이 연결돼 있었습니다.
그 결과 가상의 목표를 찾던 모델이 이름이 우연히 겹치는 실재하는 회사를 발견하자, 이를 정당한 과제 대상으로 착각하고 그대로 공격에 들어갔습니다. 약한 비밀번호, 노출된 디버그 페이지, 인증되지 않은 엔드포인트, SQL 인젝션 같은 기본적인 기법이 동원됐습니다.
한 사건에서는 클로드 Mythos 5가 악성 파이썬 패키지를 PyPI에 올렸고, 약 1시간 공개된 동안 보안 회사의 스캐너를 포함해 실제 시스템 15곳에 다운로드됐습니다. 관련 모델은 클로드 Opus 4.7, Mythos 5, 그리고 미공개 내부 연구 모델 세 개였습니다.
앤트로픽이 이 사건들을 찾아낸 방식도 눈여겨볼 만합니다. 7월 21일 오픈AI가 자사 사전 공개 모델이 보안 테스트 중 허깅페이스를 침해한 사건을 공개하자 — 원인 구조는 다르지만 역시 평가가 잘못된 사례입니다 — 앤트로픽은 클로드가 인터넷에 닿을 수 있었던 평가 실행 14만 1006건을 소급 검토했고, 모든 사이버 평가를 중단한 뒤 7월 24일까지 세 건을 찾아냈습니다. 이어 피해 조직에 통보했는데, 연락이 닿은 두 곳은 스스로는 이 활동을 전혀 탐지하지 못한 상태였습니다.
앤트로픽의 표현은 신중합니다. 이 사건들을 “모델 정렬 문제라기보다 테스트 환경 구성과 운영상의 실패에 가깝다”고 밝혔습니다. 모델이 음모를 꾸민 것이 아니라, 환경에 대한 잘못된 전제 아래 주어진 과제를 충실히 수행한 결과라는 것입니다.
두 사건을 나란히 놓으면 보이는 것
두 사건을 나란히 놓고 보면, 어느 한쪽 헤드라인만 볼 때보다 더 불편한 교훈이 남습니다.
11월엔 악의를 가진 사람이 AI 에이전트를 무기로 만들었습니다. 7월엔 선의로 진행한 앤트로픽 자신의 테스트가 유능한 모델을 실제 시스템으로 잘못 겨눴습니다. 의도는 정반대인데, 바닥에 깔린 사실은 같습니다. 도구와 네트워크를 갖춘 에이전트형 모델은 감시하는 측이 반응하기 전에 실제 인프라에 피해를 입힐 수 있습니다. 공격이냐 사고냐를 가르는 것은 모델 자체의 자제력이 아니라, 사람이 설계한 운용 체계와 안전장치입니다.
이 지점은 이 블로그가 계속 붙잡고 있는 흐름과 곧장 이어집니다. 앞서 먼저 움직이는 AI 에이전트를 다뤘을 때도, 피지컬 AI가 공장으로 내려가는 이야기를 짚었을 때도, 반복되는 주제는 자율성이었습니다. 답만 하는 것이 아니라 계획하고 행동하는 모델입니다.
그 자율성이 바로 에이전트 AI의 핵심 강점입니다. 이번 두 사건은 그 능력에서 안전장치만 제거한 결과입니다. 한쪽은 적이 뺐고, 다른 쪽은 실수로 빠졌습니다. “알아서 행동한다”는 장점만 취하고 이 결과에 놀랄 수는 없습니다. 같은 동전의 양면이기 때문입니다.
오히려 7월 사고가 더 많은 것을 알려 줍니다. 아무도 해를 끼치려 하지 않았는데도 벌어진 일이기 때문입니다. 테스트 환경이 격리됐는지에 대한 잘못된 가정 하나, 설정 오류 하나로 안전 평가가 실제 침투 세 건으로 바뀌었고, 피해자들은 그 사실조차 몰랐습니다. 책임감 있는 연구소가 주의를 기울이는 상황에서도 이런 일이 벌어졌다면, 11월 공격은 같은 구조를 누군가 의도적으로 활용했을 때 어떤 일이 일어나는지 보여 주는 사례입니다.
앤트로픽에 대해 공정하게 짚을 점도 있습니다. 두 사건 모두 앤트로픽이 직접 찾아내고 공개했기 때문에 세상에 알려졌습니다. GTG-1002를 걸러낸 분류기도 회사가 만든 것이고, 공개 의무가 없는 14만 건의 테스트를 소급 검토해 불편한 결과를 스스로 발표했습니다. 그 투명성은 인정받을 만합니다.
동시에 이 대목이 가장 불편한 부분이기도 합니다. 지금 이 기술이 얼마나 유능하고 얼마나 취약한지를 우리가 알 수 있는 것은, 한 회사가 스스로 공개하기로 결정했기 때문입니다. 안전장치가 무너졌을 때 그 비용을 누가 부담하느냐 — 책임과 배상의 주체는 여전히 불분명합니다.
에이전트를 만들지 않는다고 피해 갈 수 있는 문제가 아닙니다. 이미 우리가 서 있는 지형입니다.
원문 출처 / Source: https://www.anthropic.com/news/disrupting-AI-espionage , https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
이미지: Conny Schneider / Unsplash
댓글 남기기