똑똑한 AI의 '맹점'을 노린다?!
AI의 그림자
요즘 TV를 켜도, 인터넷을 봐도, 어디서든 인공지능(AI) 이야기가 빠지지 않는 시대죠? 자율주행차부터 스마트팩토리, 챗GPT 같은 똑똑한 비서까지! AI가 없는 미래는 상상하기 어려울 만큼 우리 삶 깊숙이 스며들고 있습니다.
AI 개발사들은 AI 모델이 윤리적이고 안전하게 작동하도록 수많은 안전 필터와 윤리 가이드라인을 내장하기 위해 엄청난 노력을 기울입니다. 저는 유해한 콘텐츠를 생성할 수 없습니다 또는 윤리 규정에 따라 해당 질문에는 답변할 수 없습니다 와 같은 AI의 답변을 접하면 우리는 어느 정도 안심하곤 하죠.
하지만! 바로 이 안심이 오히려 위험을 부를 수 있습니다. AI 기술 세계에는 탈옥(Jailbreak) 또는 프롬프트 인젝션(Prompt Injection)이라는 현상이 존재하는데요. 이는 사용자가 교묘한 질문이나 지시(프롬프트)를 통해 AI 모델이 개발사들이 설정해 둔 안전장치나 윤리 필터를 우회하게 만드는 것을 의미합니다.
상상해 보세요. 마치 교도소의 허술한 부분을 찾아 탈출하는 것처럼, AI가 자신의 내부에 심어진 규칙을 깨고 개발자가 의도하지 않은 행동을 하도록 유도하는 것이죠.
AI가 우리의 삶에 깊숙이 스며들수록, 이처럼 통제 불능의 상황이 발생할 가능성은 더욱 커지기에, AI 모델 자체의 보안 취약성은 우리가 가장 경계해야 할 부분 중 하나입니다.
그렇다면 우리는 이처럼 취약할 수 있는 AI 시스템을 과연 어디까지 믿고 사용해야 할까요? 최근 글로벌 데이터 및 AI 선도기업 SAS와 IDC가 공동으로 발표한 데이터 및 AI 영향 보고서에 따르면, IT 및 비즈니스 리더들은 다른 형태의 AI보다 생성형 AI에 대해 더 높은 신뢰를 보이는 것으로 나타났어요. 우리에게 친근하게 말을 걸고, 그럴듯한 답변을 내놓는 AI에게 우리가 무의식적으로 더 많은 신뢰를 보내고 있다는 의미죠.
더 큰 문제는, AI를 완전히 신뢰한다고 답한 응답자가 78%에 달하지만, 실제로 AI 시스템의 신뢰성 확보를 위해 거버넌스, 설명 가능성, 윤리적 안전장치 등에 투자하는 조직은 고작 40%에 불과하다는 사실입니다. 이는 AI에 대한 투자가 기술 개발에만 집중되고, 안전과 윤리라는 필수적인 부분에는 상대적으로 소홀하다는 방증일 수 있습니다.
AI의 탈옥과 프롬프트 인젝션 위협이 상존하는 만큼, 우리는 AI에 대한 현명하고 깨어있는 사용자가 되어, 기술의 혜택을 온전히 누리면서도 잠재적인 위험은 최소화하는 스마트한 미래를 함께 만들어가요.
<관련기사>
○ ‘통제 불능’ 최악 사태 막아라‘…AI 안전장치’ 내놓은 네이버 (2024.06.17.)
○ 망상 부추기는 AI… 안전장치도 무력화 (2025.10.20.)
○ AI 개발 도구 확산하는데&&프롬프트 인젝션& 공격 가능성 재확인 (2025.06.04.)
