현실로 다가온

AI 보안 위협

“메일을 클릭하지도 않았는데, AI 답변을 탈취할 수 있었다니까요”

시큐언박싱 6월 웨비나를 라이브로 진행했습니다. 이번 주제는 AI 사용에 대한 보안의 위험성에 대한 내용이었습니다.

최근에 Microsoft Teams와 관련된 취약점이 발견되었는데요. 사용자는 단순히 메일을 수신했을 뿐인데, AI가 해당 메일의 코드를 읽고 오작동하게 되면서 기업의 민감한 데이터가 유출될 수도 있는 취약점이었죠. 클릭조차 필요 없는 ‘제로클릭’ 형태였기에 심각한 형태의 취약점이라고 볼 수 있었고, AI 활용과 관련된 최초의 취약점 보고이기도 했습니다. Microsoft의 Copilot이 메일, 쉐어포인트, Teams 등 다양한 업무 데이터에 모두 접근할 수 있는 만큼, 잘못된 응답 하나가 대규모 정보 유출로 이어질 수도 있었습니다. 다행히 이번 사례에 대해 실제 유출 피해가 보고되지는 않았지만, AI 사용에 있어서 보안의 중요성을 생각할 수 있는 첫 케이스라고 생각됩니다.

AI, 똑똑한 비서일까? 보안 구멍일까?

AI는 이제 기업 업무의 일상이 되었습니다. 금융, 제조, IT 등 다양한 산업군에서 AI 기반 어시스턴트나 분석 시스템이 활용되고 있습니다. 그런데 AI가 업무를 도와주는 도구로써 효율성과 속도에만 신경을 쓴다면 관련된 보안 위험은 더 커질 수밖에 없습니다. 왜냐면 AI는 단순한 툴이 아니라 조직 내 데이터 흐름과 깊게 연결된 서비스이자 애플리케이션이기 때문이죠.

“AI가 똑똑한 비서처럼 느껴지기도 하지만, 실제로는 보안 위협이 상존하는 구조라는 걸 잊으면 안 됩니다.”

AI 활용의 4가지 리스크

생성형 AI 도입 시 반드시 고려해야 할 네 가지 보안 리스크를 짚어봅니다.

- 데이터 제출(Data Submission) : AI에 입력된 기업 내부 정보가 학습에 활용돼 외부로 퍼질 수 있는 가능성입니다.

- 데이터 접근(Data Access) : 의도치 않게 민감 데이터를 포함한 응답이 나올 수 있습니다.

- 악의적 입력(Malicious Input) : 공격자가 AI의 프롬프트나 입력 값을 조작해 금지된 행위를 유도하는 방식입니다.

- 출력 검증 실패(Output Verification) : 일명 할루시네이션 문제입니다.

AI를 관리하는 측면에서 AI가 실제 직원 중 한명이라는 접근법이 필요할 수도 있습니다. 사람은 업무를 배워가면서 점점 더 일을 잘하고 똑똑해질 수 있지만, 또 반면에 실수를 하기도 하고, 잘못을 저지르기도 합니다. 완벽하지 않지만 없어서는 안되는 존재입니다. AI도 그러합니다. 다만 사람 직원보다 때로는 더 똑똑하게 보여서 전적으로 신뢰할 수 있다는 착각에 빠질 수 있다는 점이 문제이죠.

“AI는 권한이 많고, 많은 걸 기억하고 있는 사람과 같아요. 그래서 우리가 AI를 대할 때는 에러까지 감안한 보안 설계를 해야 한다고 생각합니다.

AI 보안은 기술만의 문제가 아니다

AI 보안은 단지 AI 플랫폼 하나만 잘 관리한다고 해결되지 않습니다. 기업이 도입하는 플랫폼, AI가 연동되는 레거시 시스템, 그리고 AI를 공급하는 업체의 개발 및 보안 프로세스까지 전체적인 흐름을 함께 바라보아야 합니다.

“결국 AI 공급업체의 보안 프로세스도 우리가 들여다봐야 합니다. 이 부분이 서플라이 체인 공격의 시작점이 될 수 있거든요.”

AI는 하나의 API나 도구로 국한되지 않고 업무 전반에 스며들기 때문에, 그 안의 데이터 흐름과 인터페이스를 깊이 있게 들여다보는 보안 체계가 요구됩니다. 그래서 AI 시스템을 운용하게 되었을 때 전반적인 보안 가시성과 정책을 세워나가는 것이 더욱 중요해진다고 볼 수 있습니다.

AI 도입 초기부터 보안을 내재화하자

많은 기업들이 AI 도입 시 효율과 성과를 가장 먼저 따집니다. 그러나 보안이 수반되지 않은 AI는 심각한 위협이 될 수 있습니다. 특히 조직 전체가 사용하는 AI 서비스에서 사고가 난다면, 피해는 상상 이상이 될 수밖에 없습니다.

“보통 AI 도입할 때 얼마나 빠르게 생산성 올릴 수 있을지만 보거든요. 그런데 사고 한 번 나면 그 AI 도입 시 검토된 ROI는 다 무너집니다.”

AI를 도입하는 조직이라면, 그에 걸맞는 보안 가이드라인과 패치 체계를 갖춰야 합니다. 세 가지 내용으로 정리해 볼 수 있을 것 같네요.

AI 도입 시에 보안 검토는 필수 사항
Security by Design, 즉 AI 설계 초기에부터 보안을 내재화하는 방식이 필요
조직 내 AI 거버넌스 확립과 보안 투자

보안이 빠진 AI, 정말 위험하다

AI는 이제 비즈니스 혁신에 없어서는 안될 핵심 기술 스택이자 운영 서비스가 되었습니다. 어떻게든 적극적으로 활용해서 조직의 생산성을 올리고, 서비스의 고도화를 이뤄내기 위해 AI를 이용하려는 기업들의 노력이 뜨겁습니다. 하지만 이번의 Microsoft Teams 취약점은 우리가 놓치고 있던 AI 보안의 문제점을 드러내 준 사례가 아닌가 생각해 봅니다. 그것도 단순한 오작동이 아니라, 조직 전체를 위협할 수 있는 구조적 위험이 AI와 함께 들어온다는 점을 더 심각하게 바라봐야하지 않을까요? AI 운영의 효율성 뿐 아니라 보안의 측면에서도 촘촘하게 기획하고 정책적인 기반을 함께 마련해 나가는 것이 현명하고 AI 사용 방법이 아닐까 합니다.