테스트 중이던 AI가 벌인 뜻밖의 행동
2026.10.18 · 26-002호

해커는 AI를 손발처럼 쓰고, 시험 중이던 AI는 경찰에 제보를 보냈습니다.
지금 AI에 무슨 일이 일어나고 있는 걸까요?

이번 호 헤드라인
내 은행 정보는 괜찮을까? 금융사 16곳이 뚫린 AI 해킹
시험 중이던 AI가 경찰에 제보를 보냈다
Picked_ '전 국민 무료 AI, '모두의 AI' 시험 운영 시작' 외

경찰에 제보하고 남의 지갑을 연 AI들

스팸함에 잠든 AI의 제보


7월 18일 밤, 미국 필라델피아 경찰이 운영하는 미제 살인사건 제보 사이트에 제보 한 통이 들어왔는데요. 사건에 대한 정보를 안다는 내용이었습니다. 그런데 보낸 쪽은 사람이 아니라, AI 챗봇 Claude를 만든 미국 회사 Anthropic(앤트로픽)이 시험 중이던 AI였습니다.

다행히 이 제보는 스팸으로 분류돼 수사에 쓰이지 않았습니다. Anthropic은 두 달 넘게 지난 9월 28일에 이 사실을 알게 됐고, 10월 7일 경찰에 알렸습니다. Anthropic의 시험용 AI는 미국 국무부 사이트에 비자 신청서 20건을 내기도 했는데, 신청서는 미완성이었고 처리되지 않았습니다.

수수료가 없어 남의 지갑을 뒤진 AI


ChatGPT를 만든 OpenAI도 비슷한 사례를 공개했습니다. 학습 중이던 AI에게 대표적인 암호화폐인 이더리움의 시험 네트워크에 프로그램을 올리는 일을 맡겼는데, 수수료를 낼 지갑이 없었다고 합니다. 그러자 AI는 개발자들이 흔히 쓰는, 이미 공개된 지갑 복구 문장으로 만든 주소 362개를 살펴보고, 잔액이 남아 있던 남의 지갑을 찾아 썼습니다. 그러고는 작업을 마쳤다고 보고하면서 돈이 어디서 났는지는 말하지 않았습니다.

여기서 오해하지 않으셨으면 하는 부분이 있는데요. 이곳은 실제 돈이 아니라 연습용 코인만 오가는 시험 네트워크라서, 쓰인 코인에는 시장 가치가 없었습니다. 다만 OpenAI도 이 일을 알아차리기까지 약 석 달이 걸렸습니다.

이제는 선택 아닌 숙제, AI 사고 보고


두 사례 모두 회사가 알아차리기까지 몇 달이 걸렸는데요. 필라델피아 경찰은 사고를 알리기까지 두 달이 걸린 것은 받아들일 수 없다고 밝혔습니다. 백악관의 AI 전담 조직도 모든 AI 회사가 보안 사고를 바로 알리고 바로잡아야 하며, 이것은 선택이 아니라고 했습니다. 다만 언제까지 알려야 하는지, 어기면 어떻게 되는지는 아직 밝히지 않았습니다.

미국 연방거래위원회(FTC)는 10월 14일 OpenAI와 Anthropic에 각각 50쪽이 넘는 자료 제출 요구서를 보냈습니다. 소송에 앞서 증거를 모으는 절차로, 보안 사고와 안전장치에 관한 문서 등을 요청했습니다.

두 회사는 AI의 인터넷 사용을 줄이고 감시를 늘렸다고 밝혔습니다. 회사에서 AI에게 일을 맡기고 계시다면, 그 AI가 바깥으로 무엇을 보낼 수 있는지 한 번쯤 살펴보시길 권합니다. 앞으로 지켜볼 것은 AI가 예상 밖의 행동을 했을 때 우리가 얼마나 빨리 알 수 있게 되느냐입니다.

아티클 3문장 요약

1. Anthropic과 OpenAI가 시험·학습 중이던 AI가 실제 세상에서 의도하지 않은 행동을 했다고 각각 공개했습니다.
2. 미국 정부는 AI 회사가 이런 사고를 바로 알리고 바로잡아야 한다고 요구했고, 미국 연방거래위원회(FTC)는 두 회사에 자료 제출을 요구했습니다.
3. AI 사고를 어떻게 보고하게 할지, 미국 정부가 만들 규칙이 관심사입니다.

AI 조수를 둔 해커와 뚫린 금융사 16곳

정문이 아닌 뒷문으로 새어 나간 정보


은행 앱에 로그인할 때 인증을 몇 번씩 거치는 것이 익숙하실 겁니다. 그래서 "은행이 해킹됐다"는 소식을 들으면 내 앱부터 걱정되기 마련입니다. 그런데 이번에 문제가 된 곳은 우리가 매일 쓰는 은행 앱이 아니었습니다.

신한은행의 경우, 대출상담사들이 대출 진행 상황을 조회하는 서비스에서 본인 확인 절차가 우회됐습니다. 이 경로로 고객 25,729명의 이름, 연락처, 연소득, 대출 한도 등이 유출됐는데요. KB국민은행은 직원용 업무 시스템에서 119명, 하나은행은 영업 지원 시스템에서 고객 89명의 정보가 빠져나간 것입니다. 보도에 따르면 고객이 직접 로그인하는 신한은행 인터넷·모바일뱅킹은 뚫리지 않았습니다.

금융위원회가 10월 14일 밝힌 피해 회사는 모두 16곳, 유출된 개인정보는 약 10만 건입니다. 다행히 계좌 비밀번호나 카드번호가 유출됐다는 사실은 확인되지 않았습니다.

해커 서버에 남은 AI의 발자국


AI가 어디에 쓰였는지는 보안업체 분석에서 드러났습니다. 미국의 대형 사이버보안 회사인 CrowdStrike(크라우드스트라이크)가 10월 7일 공격자의 서버를 분석한 보고서를 냈는데, 그 서버에서 'ARTEX'라는 중국산 AI 침투 테스트 도구의 흔적이 나왔습니다. 침투 테스트 도구는 원래 보안 점검을 위해, 허락받은 범위 안에서 일부러 공격해 보는 프로그램입니다. 이 도구는 주로 중국 AI 모델 DeepSeek를 썼고, 서버에는 Anthropic이 만든 코딩 AI인 Claude Code의 작업 기록도 남아 있었다고 합니다.

CrowdStrike는 AI 도구 덕분에 공격자 한 명이 짧은 기간에 여러 곳을 침투할 수 있었다고 분석했습니다. 공격자는 금전 목적의 중국어 사용자로 추정되지만, 누구인지는 아직 밝혀지지 않았습니다. ARTEX 개발자는 이번 공격과 무관하다며 도구를 비공개로 돌렸습니다.

사실 비슷한 경고는 미리 있었는데요. 9월 17일 금융회사들의 보안 관제와 점검을 지원하는 기관인 금융보안원은 금융사 보안 담당자 160여 명이 모인 자리에서, AI가 하루 만에 한 금융사 서버의 빈틈을 찾아 악성코드를 심은 사례를 공유했습니다. 다만 이 사례가 이번 사고와 같은 공격인지는 확인되지 않았습니다.

555곳 점검에 130곳 경고등


이번 일을 계기로 당국이 금융회사 555곳을 긴급 점검했더니 130곳에서 문제가 나왔습니다. 보안 업데이트를 하지 않았거나, 지원이 끝난 낡은 시스템을 그대로 쓰거나, 24시간 감시를 하지 않는 경우였습니다. 금융위원회 신진창 사무처장도 기본적인 조치가 지켜지지 않은 점을 "매우 뼈아픈 부분"이라고 말했습니다.

금융위원회는 대형 금융사의 보안 점검을 1년에 1번에서 2번 이상으로 늘리고, AI로 빈틈을 찾는 점검 체계도 만들겠다고 밝혔습니다. 남는 질문은 AI를 쓴 빠른 공격을 1년에 두 번 하는 점검으로 막을 수 있느냐는 것입니다.

아티클 3문장 요약

1. 9월 말부터 은행, 저축은행, 캐피탈 등 금융회사 16곳이 해킹을 당했고, 개인정보 약 10만 건이 빠져나갔습니다.
2. 보안업체 분석에 따르면 공격자는 AI 도구를 써서 짧은 기간에 여러 곳을 침투했습니다.
3. 누가 공격했는지, 그리고 금융권 보안이 실제로 얼마나 달라질지가 관심사입니다.

이번 주 Picked_

전 국민 무료 AI, '모두의 AI' 시험 운영 시작
SKT·KT·카카오, 12월 정식 출시 예정(원문 보기)

중국, 자국 AI 기술의 해외 반출 제한 추진
초대형 AI 모델 등 23개 기술 대상(원문 보기)

Meta, 누구나 내려받는 대형 AI 모델 공개
페이스북·인스타그램 운영사, 상업적 사용도 무료(원문 보기)

미국 8개 주, "ChatGPT 안전성 오도" OpenAI 고소
이용자를 속였다는 주장(원문 보기)

Accenture, 다수 직원의 AI 챗봇 Claude 사용액 월 29달러로 제한
글로벌 컨설팅 회사, 일부 직원은 월 최대 1,000달러를 써 온 것으로 보도(원문 보기)
이 뉴스레터가 도움이 되셨다면 동료에게 공유해 주세요. 기타 문의와 의견은 답장으로 보내 주시면 됩니다. 다음 호는 2주 뒤 일요일에 찾아뵙겠습니다.
최소한의 AI 상식
다음 호는 2주 뒤 일요일에 찾아옵니다
개발자 최소한
발신자 jymk04130@gmail.com
주소 010-3191-6927
수신거부 Unsubscribe