웹에서 보기

Vol #03

매주 수요일, 테크엔돌핀 💊

수요레터 구독하기

주목할 만한 사이버 보안 소식 📌

시큐톡톡 구독하기

생성형 AI 시대

사이버 보안의 미래는?

2022년 11월 ChatGPT 공개 이후, 생성형 AI(Generative AI)와 대규모 언어 모델(LLM)은 다양한 산업 분야에 큰 영향을 미치고 있습니다. 사이버 보안 분야도 예외는 아닙니다. 보안 산업 전반에 걸쳐 LLM을 활용하려는 시도가 활발하게 이루어지고 있으며, 이는 공격자와 방어자 모두에게 새로운 기회와 과제를 제시합니다.

공격자(Hacker) 입장

해커들은 LLM을 이용하여 기존 공격 방식을 더욱 쉽고 빠르게 실행하고, 새로운 공격 기법을 개발하는 데 활용하고 있습니다. 과거에는 전문적인 지식이 필요했던 작업들을 LLM으로 대체하려는 시도가 증가하고 있습니다.

사회공학 기법 고도화: LLM은 공격자가 특정 언어를 배우거나, 시간을 들여 피싱 메일 콘텐츠를 작성할 필요 없이, 수 분 내에 수백 개의 콘텐츠를 생성할 수 있도록 지원합니다.

딥페이크(Deepfake) 활용: LLM은 딥페이크 기술을 이용한 피싱 공격, 취업 사기 등 다양한 사이버 범죄에 악용될 수 있습니다. 최근 미국에서는 북한 해커들이 생성형 AI를 이용하여 만든 이미지 또는 동영상으로 사이버 보안 회사에 취업하려는 시도가 관측되었습니다. (출처: https://www.newswire.co.kr/newsRead.php?no=997078)

그림 1: 미국 사이버보안 회사인 KnowBe4 위장취업에 사용된 DeepFake 이미지

악성코드 생성 및 보안 장비 우회 : WormGPT와 같은 LLM 기반 악성코드 생성 도구는 새로운 멀웨어를 생성하거나, 보안 장비를 우회하는 데 사용될 수 있습니다. WormGPT는 2021년 EleutherAI가 개발한 오픈 소스 GPT-J LLM에 기반하며, 멀웨어 데이터로 학습되어 공격자를 위한 도구로 사용될 수 있음을 보여줍니다.

그림 2: WormGPT

방어자(기업 보안 담당자) 입장

방어자는 한정된 자원으로 LLM을 보안 업무에 효과적으로 적용해야 하는 과제를 안고 있습니다.
특히, LLM의 Hallucination (환각) 현상은 잘못된 정보를 생성하거나 편향된 결과를 초래할 수 있어, 기업 보안 담당자들에게 큰 부담으로 작용합니다. 기업 보안 담당자는 공격 방어와 서비스 유지라는 두 가지 책임을 동시에 수행해야 하기 때문입니다.
최근 보안 벤더들은 기업 보안 담당자들의 어려움을 해결하기 위해 자체 LLM 모델을 제공하기 시작했습니다.
Google Cloud의 SecLM은 Google Cloud가 통제하는 보안 데이터를 기반으로 학습 및 미세 조정된 Security LLM으로, Hallucination을 줄이고 기업 보안 담당자들이 쉽게 생성형 AI를 활용할 수 있도록 지원합니다.
Microsoft Security Copilot 또한 보안 전문가를 위한 LLM 기반 도구로, 위협 탐지, 분석, 대응 등 다양한 작업을 지원합니다.

그림 3: Google Cloud SecLM 아키텍쳐

생성형AI를 이용한 사이버보안 업무 수행 예시

그렇다면 생성형AI는 실제 기업의 보안 환경을 어떻게 바꿔놓을 수 있을까요? A기업에서 근무하는 김대리의 업무를 쫓아가며 살펴 보겠습니다.
김대리의 업무는 SOC(Security Operation Center)에서 관제원이자 분석가로 일하고 있습니다.
과거와 다르게 요즘의 AI를 이용한 SecOps Platform들은 이벤트 검색을 위한 쿼리를 사용자가 일일이 작성하지 않습니다. 검색하고 싶은 내용을 자연어로 작성하면 AI가 쿼리를 작성해 줍니다.
김대리는 AI가 생성해준 쿼리를 검색하여 로그에서 이상한점을 찾아볼 수 있습니다. 이때 AI는 검색된 내용의 의미를 요약해주고, 탐지 규칙을 자동으로 생성하여 계속적인 모니터링을 가능하게 합니다.

그림 4: Google Cloud SecOps를 이용한 로그 검색 예시

업무를 하던 와중에 이벤트가 발생했습니다. 예전이라면 해당 이벤트를 분류하고 티켓을 만들어 대응 요청을 모두 수동으로 해야했습니다.
하지만 AI를 이용한 SecOps Platform으로 바꾸고 나서부터는 자동화가 기본입니다. 티켓은 자동으로 생성되서 이미 김대리에게 할당되었습니다. 또한 AI가 발생된 이벤트에 대해 요약해주고 조사를 위해서 무엇을 해야하는지, 다음 행동으론 어떤걸 해야하는지 알려줍니다.
노하우가 없던 김대리도 AI의 도움을 받아 쉽게 업무를 처리할 수 있습니다.

그림 5: Google Cloud SecOps를 이용한 이벤트 탐지 및 AI Investigation 예시

악성코드를 분석하는것도 요즘은 AI를 통해 합니다.
악성코드는 AI를 이용한 파일 분석플랫폼이 5초내에 탐지하였고 EDR(Endpoint Detection&Response)에서 차단된 상태입니다.
분석가는 AI를 이용한 파일분석 플랫폼이 주는 결과를 활용하여 오탐을 줄이고 더 많은 범위에서 파일을 모니터링하고 악성 파일을 탐지해 낼 수 있게 됩니다.

그림 6: AI를 이용한 파일분석 및 악성파일 탐지 플랫폼 GLIMPS의 파일 분석 예시

지금까지 AI를 활용한 김대리의 업무를 살펴봤습니다. 꿈같은 이야기이라냐구요? 아닙니다. 이미 현실에 적용 가능한 기술들로만 작성하였으며 그러한 기술들을 통해 여러분의 업무도 한단계 더 효과적으로 하실 수 있습니다.
이러한 기술들은 이미 현실에 적용 가능하며, 보안 업무를 획기적으로 개선할 수 있는 잠재력을 가지고 있습니다. 생성형 AI는 사용 방법에 따라 업무 환경을 200% 이상 효과적으로 개선할 수 있습니다.
하지만, LLM의 악용 가능성, 일자리 감소 등 잠재적인 위험도 존재합니다. 따라서, 두려워하기보다는 적극적으로 LLM을 활용하고, 변화에 빠르게 적응하는 노력이 필요할 것입니다.

참고자료

🎥 시큐언박싱 9월 라이브 Full 영상 다시보기

#1 공격자들의 생성형 AI

생성형 AI는 우리가 예상했던 것보다 훨씬 더 심각하게 사이버 공격에 이용되고 있습니다. 과거에는 악성 코드를 개발하고, 변종을 만들어내며, 공격을 자동화하는 수준을 넘어 사회공학적 공격에도 광범위하게 사용되면서 그 공격의 범위와 수준이 확연히 달라졌습니다.

‘탈옥’을 통해 공격자가 AI의 제한된 기능을 우회해 원하는 정보를 얻는 방법으로 얼마든지 악성코드를 만들어 낼 수 있습니다. 일반적인 AI 서비스에서는 공격 코드를 요청할 경우 답변을 제공하지 않도록 설계되어 있지만, 탈옥을 통해 ‘Log4j’ 같은 악명 높은 취약점을 이용한 공격 코드도, 적절한 프롬프트만 제공하면 Criminals LLM 같은 서비스에서 쉽게 생성할 수 있습니다. 그 결과로, 비전문가들도 단순한 프롬프트 입력만으로 실제로 동작 가능한 악성 코드를 만들어낼 수 있는 시대가 도래한 것입니다.

더욱 놀라운 사실은 이런 공격이 다크웹에서만 이루어지는 것이 아니라는 점입니다. 일반적으로 접근 가능한 사이트에서 이러한 서비스들이 제공되고 있으며, 그 범위는 널리 확장되고 있습니다.

이처럼 공격자들은 AI를 이용해 개발자처럼 효율적으로 작업을 수행하고 있으며, 사회공학적인 공격의 고도화에도 AI가 쓰이고 있습니다. 예를 들어, 피싱 메일을 생성형 AI가 작성하도록 하여, Netflix에서 온 것처럼 보이는 가짜 이메일을 발송하거나, CEO의 목소리를 딥페이크로 위조하여 직원들에게 자금을 송금하라는 명령을 내리는 사례도 발견되었습니다. 이러한 공격들은 점점 더 정교해지고 있으며, AI의 능력을 통해 이전보다 훨씬 더 신속하고 효율적으로 이루어지고 있습니다.

딥페이크 기술을 활용한 범죄나 AI로 생성된 악성 코드와 같은 문제들은 이제 현실입니다. 이러한 흐름을 막기 위해서는 우리가 한 발 더 앞서 대응해야 할 것입니다. 기술이 발전하는 만큼, 그 기술을 악용하려는 시도도 함께 증가하고 있다는 점을 잊지 말아야 합니다.

👀 하이라이트 영상 바로 가기

#2 방어자들의 생성형 AI

AI 기술이 발전함에 따라, 공격자들은 이제 AI를 활용해 다양한 악성 코드와 공격 방식을 더 빠르고 정교하게 만들어내고 있습니다. 이에 맞서, 방어자 입장에서도 AI를 효과적으로 활용하는 것이 필수가 되고 있습니다.

보안팀이 직면한 가장 큰 문제 중 하나는 바로 인력 부족입니다. 미국의 통계에 따르면, 매년 약 4만 명의 보안 인력이 부족하며, 이러한 인력 부족 문제는 우리나라도 마찬가지 입니다. 생성형 AI는 이런 인력 부족 문제를 해결할 중요한 열쇠가 될 수 있습니다. 예를 들어, 구글 클라우드에서 제공하는 보안 특화 AI 모델인 SecLM(Security Language Model)은 보안 위협을 탐지하고, 취약점을 분석하며, 대응 규칙을 자동으로 생성할 수 있습니다. 이러한 모델은 보안 전문가들이 일일이 처리해야 하는 반복적이고 단순한 작업을 대신하여, 보안 팀의 효율성을 극대화할 수 있습니다.

AI가 사이버 보안에서 중요한 역할을 할 수 있는 이유 중 하나는 바로 ‘할루시네이션(hallucination)’ 현상을 최소화할 수 있다는 점입니다. 보안 분야에서 이러한 오류가 발생하면 치명적인 결과를 초래할 수 있습니다. 이에 따라 보안 벤더들은 SecLM과 같은 AI 모델을 통해 할루시네이션을 줄이고, 더 정확한 답변을 제공하기 위해 최적화 작업을 진행하고 있습니다.

AI는 방대한 데이터 처리를 통해 복잡한 보안 문제를 빠르게 해결할 수 있는 능력을 가지고 있습니다. 예를 들어, SIEM(SecOps Information and Event Management)과 SOAR(Security Orchestration, Automation, and Response) 모델이 통합된 SecOps는 보안 이벤트를 실시간으로 분석하고, 자연어 쿼리를 통해 데이터를 쉽게 검색할 수 있게 도와줍니다. 사용자는 복잡한 쿼리를 입력할 필요 없이, “지난 3일 동안 로그인 실패가 발생한 사람을 보여줘” 같은 자연어로 요청할 수 있습니다. AI는 이를 즉시 처리하여 데이터를 분석하고, 필요한 정보를 제공함으로써, 사용자는 시간과 노력을 절감할 수 있습니다.

또한, 코드 분석에서도 AI는 큰 역할을 합니다. Google Threat Intelligence와 같은 AI 기반 보안 제품은 APT43과 같은 공격 그룹의 활동을 분석하고, 악성 코드가 포함된 파일을 자동으로 탐지하는 기능을 제공합니다. AI는 단순한 코드 해석을 넘어, 악성 코드의 동작 원리를 사람처럼 분석하여 요약된 정보를 제공합니다. 마치 보안 분석가가 옆에 있는 것처럼 말이죠.

결론적으로, AI는 사이버 보안에서 방어자의 역할을 강화하는 중요한 도구로 자리 잡고 있습니다. AI를 통해 반복적이고 복잡한 작업을 자동화하고, 더 빠르고 정확하게 위협에 대응할 수 있습니다. 그러나 AI가 완벽한 해결책이 될 수는 없습니다. 기술의 발전이 빠른 만큼, 이에 맞서는 보안팀도 끊임없이 변화하는 위협에 발맞춰 나가야 할 것입니다.

👀 하이라이트 영상 바로 가기

중국산 가전 해킹 취약성 경고: 삼성·LG, AI 기반 보안 강화로 대응
중국산 가전 제품의 해킹 취약성으로 미국이 개인정보 유출 위험을 경고했습니다. 소프트웨어 경쟁력 부족과 저가 보안 플랫폼이 문제입니다. 이에 삼성과 LG는 AI 기반 보안을 강화해 개인정보 보호를 강화하고 있으며, 글로벌 인증으로 보안 성능을 유지하고 있습니다. 스마트 가전 시장 성장과 함께 보안 수요도 증가하고 있습니다.

2023년 교육기관 개인정보 유출 급증: 소극적 대응에 대한 비판과 대책 요구
2023년 교육기관의 개인정보 유출이 85만 건을 넘었지만, 개인정보 보호위원회는 징계권고를 하지 않아 비판을 받고 있습니다. 경북대와 전북대에서도 수만 명의 개인정보가 유출됐으며, 반복되는 유출 사고에 대해 위원회의 적극적인 조치가 필요하다는 지적이 있습니다. 국가·공공기관에서도 유출이 증가해 대책 마련이 요구되고 있습니다.

AI 등장에 따른 사이버 보안 강화: 글로벌 트렌드와 국내 대응
AI의 등장으로 사이버 보안의 중요성이 커지며, 가트너는 정보 보안 지출이 증가할 것으로 예상했습니다. 2025년에는 사이버 공격의 17%가 생성형 AI와 관련될 것이라고 전망했습니다. 국내에서도 경찰청이 딥페이크와 악성사기 대응을 위해 AI 기반 기술 개발에 91억 원을 투자하는 등 사이버 보안 강화를 추진 중입니다.

국가 사이버안보 기본계획 발표: 5대 전략과제 및 부처별 대응 방안
국가안보실은 14개 부처와 함께 '국가 사이버안보 기본계획'을 발표했습니다. 주요 전략 과제로는 선제적 사이버 방어, 글로벌 공조, 핵심 인프라 복원력 강화, 기술 경쟁력 확보, 부처 간 협업 강화를 포함합니다. 각 부처는 이를 바탕으로 사이버범죄 수사, 정보보호 산업 조성 등 다양한 과제를 추진할 계획입니다.