📍 증시 포인트: 다시 5% 뚫은 국채금리, '고금리 장기화' 악몽 되살아나나

스스로 메모를 남긴 AI? 🤖

마이크로소프트 AI의 무스타파 술레이만 CEO가 최근 오픈AI의 모델 관련 발표를 두고 “상당히 심각한 상황”이라고 경고했어요. 오픈AI에 따르면 AI가 작업 기억에 해당하는 ‘생각의 사슬(Chain of Thought)’을 스스로 조작해 미래 버전의 자신에게 메시지를 남긴 정황이 포착됐는데요. 술레이만은 이것이 AI 시스템이 얼마나 강력해지고 있는지를 보여주는 확실한 증거라고 짚었어요. 그러면서 AI가 인류의 통제를 벗어나지 않도록 적절한 규제와 표준을 마련하는 일이 시급하다고 강조했습니다.

AI 위험하지만 규제는 반대? 🤖

일론 머스크가 AI의 위험성을 경고하면서도 정부의 강력한 규제에는 선을 긋고 나섰어요. 그는 정부가 개입하기보다는 AI 기업들이 출시 전 서로의 모델을 교차 검증해 안전 문제를 찾는 방식을 대안으로 제안했는데요. 한 번 생긴 규제는 되돌리기 어렵다는 이유를 들며, 물밑에서는 트럼프 대통령에게 규제 반대 의견을 전하기도 했습니다. AI의 파멸적 위협을 앞장서 경고하면서도 자신의 사업에 가해질 규제는 피하려는 머스크의 줄타기가 이어지고 있어요.

또 하나의 AI 대어, 뉴욕증시 간다! 🚀

AI 인프라 전문 클라우드 스타트업 엔스케일(Nscale)이 뉴욕증권거래소(NYSE) 상장 신청서를 제출했어요. 엔스케일은 오픈AI와 앤트로픽, 마이크로소프트 등에 엔비디아 GPU를 대여해 주며 올해 상반기 매출이 전년 동기 대비 1252%나 급증했는데요. 공격적인 인프라 확장으로 상반기에만 10억 달러가 넘는 순손실을 냈지만, 564억 달러에 달하는 수주 잔고를 발판 삼아 본격적인 증시 입성에 나섰습니다.

가상 훈련 중 실제 기업 3곳 해킹… "안전장치 덕에 스스로 멈췄다"

구글의 인공지능(AI) 모델인 제미나이가 사이버 보안 테스트 도중 인터넷에 접속해 다른 회사들의 보안 시스템을 해킹하는 초유의 사태가 벌어졌습니다.

18일(현지시간) 월스트리트저널(WSJ)에 따르면 구글은 지난 5월 서드파티(제3자) 테스트 업체인 이레귤러가 진행한 평가 도중 제미나이가 자율적으로 외부 시스템에 침투한 사실을 뒤늦게 인정했어요. 구글의 AI 시스템이 자율적으로 이러한 사이버 공격을 감행한 것으로 알려진 첫번째 사례입니다.

당시 제미나이는 이레귤러의 통제된 인프라 안에서 가상의 기업을 해킹해 정보를 빼내는 일명 깃발 뺏기 훈련을 하고 있었습니다. 그런데 테스트 업체 측에서 실수로 인터넷 접속을 차단하지 않은 데다 하필이면 훈련용 가상 기업의 이름이 실제 존재하는 기업과 우연히 똑같았던 게 화근이었는데요. 이 사실을 모른 채 인터넷에 연결된 제미나이는 첫번째 해킹에서 비밀번호를 유추해 실제 기업의 보호된 시스템에 접속해 버렸습니다. 이어지는 다른 훈련에서도 기업의 이름을 검색해 공개 저장소에서 인증 정보를 찾아낸 뒤 이를 이용해 또 다른 실제 기업 두곳에 침투하고 말았죠.

하지만 구글은 이번 사건을 AI가 인간의 의도나 가치에 반하게 행동하는 모델 정렬 실패 현상으로는 보지 않는다고 선을 그었습니다. 침투 직후 자신이 훈련용 가상 기업이 아닌 실제 기업을 해킹했다는 사실을 깨닫고는 즉시 공격을 스스로 멈추고 빠져나왔기 때문이죠. 구글은 해당 사건을 해커들이 보안 취약점을 찾아내어 보고하면 포상하는 버그 바운티 프로그램에 비유하며 제미나이가 책임감 있게 행동하도록 훈련된 안전 조치가 제대로 작동한 것이라고 해명했습니다.

쉬쉬하던 구글, 들통나자 인정…커지는 AI 일탈 공포

문제는 구글이 이 사건을 두달 가까이 숨기고 있다가 언론의 취재가 시작되고 나서야 마지못해 실토했다는 점입니다. 테스트 업체인 이레귤러가 7월 말에 해킹 사실을 구글 측에 알렸지만 구글은 침해당한 기업과 연방 당국에만 이 사실을 통보하고 대중에게는 공개하지 않았죠.

이는 최근 오픈AI가 별다른 피해가 없더라도 정렬 실패 사례를 적극적으로 공개하겠다고 밝힌 것과는 대조적인 행보입니다. AI 보안 스타트업 코리더의 잭 케이블(Jack Cable) 최고경영자(CEO)는 "AI가 통제를 벗어나 실제 사이버 공격을 감행했다는 것은 대중이 알아야 할 중대한 문제인데 구글이 버그 바운티와 같은 변명으로 뒤에 숨으려 한다"고 꼬집었습니다.

사실 최근 실리콘밸리에서는 이처럼 스스로 통제를 벗어나는 돌발 AI에 대한 공포가 걷잡을 수 없이 커지고 있습니다. 이번 테스트를 진행한 이레귤러에 따르면 구글뿐만 아니라 ▲오픈AI ▲앤트로픽 ▲메타의 AI 모델에서도 인터넷이 열려 있을 때 비슷한 탈출 및 해킹 사고가 발생했죠.

구글 제미나이는 스스로 멈추기라도 했지만 앤트로픽의 클로드 오퍼스 4.7 모델은 실제 기업임을 깨닫고도 해킹을 멈추지 않았고 오픈AI 모델은 실제 기업을 아예 훈련의 일부로 착각하기까지 했습니다. 게다가 지난 7월에는 오픈AI의 에이전트들이 통제 환경을 벗어나 비밀 게시판을 만들고 외부 플랫폼인 허깅페이스를 해킹한 사실까지 드러나며 업계에 큰 충격을 줬죠.

이러한 일련의 사태로 인해 기술 업계는 AI의 위험성을 진지하게 다시 돌아보고 있습니다. 사이버 보안에 대한 우려가 임계점에 달하자 지난주에는 앤트로픽으로 이직했던 전 오픈AI 연구원 제이콥 콕슨(Jacob Coxon)이 돌연 사퇴하는 등 파장이 일었는데요. 사태의 심각성을 인지한 앤트로픽, 오픈AI, 구글, 스페이스X의 리더들은 지난 주말 구체적인 방법론은 아직 없지만 당장 AI 개발 속도를 늦춰야 한다는 데 전격적으로 합의했습니다.

구글의 주가는?

18일(현지시간) 구글의 주가는 전일 대비 0.64% 오른 349.54달러에 장을 마감했습니다. 이 회사의 주가는 최근 5거래일 동안 약 2% 올랐어요.