🦜특명! AI를 속여라 / 워터마크 무력화하기

구독하기 잘 안보이시나요?

AI는 패턴을 인식하는 데 능숙하지만 지혜를 기계에 위임할 수는 없다.

마크 코켈버그 (신상규, 석기용 역), <AI 윤리에 대한 모든 것>

특명! AI를 속여라
AI 생성 콘텐츠 무력화하기

👉 모두 읽는 데 7분!

특명! AI를 속여라

by. 🌎다솔

저는 집중할 때 미간을 찌푸리는 편입니다. 이런 제 표정을 감정인식 AI가 ‘분노’라고 인식하면 어떡하죠? AI 면접관이 집중한 제 얼굴을 ‘분노’했다고 평가하여 감점당한다면요?

감정인식 AI는 표정으로만 감정을 읽어내려 한다는 문제가 있음에도 불구하고, 빠르게 일상에 도입되고 있습니다. 기업들은 이러한 기술을 사용하여 면접자의 표정과 말투에서 감정을 인식하여 면접자의 역량을 평가하고, 인상만으로 테러리스트를 발견한다고 주장하거나, 화물 차량 운전자의 표정으로 운전자가 졸린지 평가합니다. 아마존 택배 차량에도 유사한 기술이 적용되어 택배 기사의 표정과 움직임을 감시하고 있습니다.

이런 감정인식 AI는 얼마나 정확할까요? 여러분도 감정 인식 AI를 테스트하실 수 있도록 재밌는 게임을 가져왔습니다. 케임브리지 대학교 소속 사회과학자, 시민 과학자, 디자이너가 함께 개발한 웹 게임(emojify.info)입니다.

🥴 첫 번째 게임 참여 방법:

emojify.info 접속 → [Enter] 클릭 → (카메라 허용 팝업이 뜨면 허용 클릭) → 우측 [Fake Smile Game] 클릭 → [Play Game] 클릭

6가지 감정(행복, 슬픔, 두려움, 놀라움, 혐오, 분노)을 웹캠을 통해 표정으로 표현해 보세요. 참여자의 표정에 따라 감정이 어떻게 인식되고 있는지 나타납니다.

*참여자의 얼굴 사진을 게임 서버에 저장하지 않습니다.

출처: emojify.info. 제 표정을 직접 테스트한 결과, ‘분노(77%)’로 나오네요. 😡

이 게임의 요점은 표정과 그 변화만으로 감정을 알아맞힐 수 있다는 감정인식 AI의 기본 전제의 결함을 입증하는 것입니다. 게임을 함께 연구한 케임브리지 대학교 연구진 해거티는 말합니다. “2019년에 미국 심리학협회(APA)가 증거를 대대적으로 검토한 결과, 사람들의 감정 공간은 얼굴 움직임으로 쉽게 유추할 수 없다는 사실을 발견했습니다. 게임에서는 얼굴을 빠르게 움직여 6가지 감정을 흉내 낼 수 있지만, 중요한 것은 내면적으로 6가지 감정을 연속적으로 느끼지 않는다는 겁니다.”

😉 두 번째 게임 참여 방법:

emojify.info 접속 → Enter 클릭 → 우측 Wink/Blink Game 클릭 → Play game 클릭

화면 속 사진이 윙크(Wink)인지 눈 깜박임(Blink)인지 구분하여 답을 클릭하세요.

출처: emojify.info

"눈을 감는 것은 무의식적인 행동일 수도 있고 의미 있는 제스처일 수도 있습니다."라고 해거티는 말합니다. 물론 인간도 사람의 얼굴에서 감정을 읽을 때 실수할 수 있지만, 이 일을 기계에 맡기면 아래와 같은 문제가 생깁니다.

우선, 기계는 인간처럼 다른 사회적 맥락을 읽을 수 없습니다(윙크/깜박임 구분처럼).

기계는 인간이 의문을 제기할 수 없는 자동화된 결정을 내리는 경우가 많으며, 인간이 인지하지 못하는 사이에 대규모 감시를 수행할 수 있습니다.

감정인식 AI는 인종적으로 편향된 경우가 많으며, 예를 들어 흑인의 얼굴이 부정적인 감정을 나타내는 것으로 평가하는 경우가 더 많습니다.

이 게임은 감정인식 AI에 대한 대중의 이해를 돕고 경험을 통한 다양한 관점을 공유하여 기술이 더 나은 방법으로 개선되고 사용될 수 있는 사회를 만들기 위해 개발되었습니다. 게임을 통해 여러분이 느낀 점은 무엇인가요?

💭 생각을 도울 수 있는 질문:

감정 인식 AI에 대한 관점이 바뀌었나요? 기술 때문인가요, 아니면 실제 적용 사례 때문인가요?

감정 인식 AI를 직/간접적으로 경험한 적이 있나요?

감정 인식 AI의 어떤 측면이 가장 흥미롭다고 생각하시나요? 유용하다고 생각하시나요? 아니면 우려스럽다고 생각하시나요? 그 이유는 무엇인가요?

감정 인식 AI가 사용될 경우 어떤 영향을 미칠지 상상할 수 있나요?

여러분의 생각을 AI 윤리 레터로 전달해 주세요.

덧붙이는 글

🎶소소: 직접 해보니 흥미롭네요! 제가 Fake Smile Game에서 제일 흉내 내기 어려운 감정은 혐오(Disgust)였습니다. 저는 역겨운 감정의 표정을 시도하는데 자꾸 놀라움(Surprise)으로 판정하네요. 아마도 제가 역겨울 때 짓는다고 생각하는 표정과 AI의 생각이 조금 다른 것 같네요. AI가 감정 인식을 잘 한다/못 한다는 것과는 별개로 제 감정이 읽힌다는 것은 썩 기분 좋지 않은 경험이었습니다.

AI 생성 콘텐츠 워터마크 무력화하기

by. 🎶소소

AI 생성 콘텐츠를 구별하는 데 도움이 되는 워터마크 기술, 하지만 그것이 만능이 아니라는 취약성을 밝힌 연구를 소개합니다. 메릴랜드대학 연구진은 이미지의 워터마크가 약간의 노이즈를 더하면 쉽게 제거될 뿐만 아니라, 일반 이미지에 가짜 워터마크를 추가하는 것은 더 쉽다는 것을 발견했습니다. “현재로서는 완전히 신뢰할 수 있는 워터마크 기술은 없다”는 것이 연구의 결론입니다.

이 연구가 워터마크 기술의 취약성을 처음 지적한 것은 아닙니다. 또 다른 연구에 따르면 이미지의 밝기를 조정하고, 회전하는 간단한 조작으로도 쉽게 워터마크를 무력화시킬 수 있었습니다. 실제로, AI를 이용해 워터마크를 탐지하고 제거하는 서비스를 제공하는 스타트업도 등장했습니다. "워터마킹은 효과적이지 않다”는 것을 방증하는 셈이지요.

이미지에 적용된 여러 종류의 보이지 않는 워터마크. 출처: "Invisible Image Watermarks Are Provably Removable Using Generative AI" (arxiv.org)

워터마킹 기술이 완벽하지 않으니 쓰지 말자는 주장을 하려는 것은 아닙니다. 워터마크의 한계를 인식하고 이해하는 것이 중요합니다. 🦜지난 레터에서도 구글 딥마인드의 워터마크 기술 신스ID를 소개하며 변조될 수 있는 가능성을 한계로 지적했었는데요. 강력한 워터마크도 결국 새로운 공격 방법에 의해 무력화되는 창과 방패의 싸움이 계속될 것입니다. 그럼에도 불구하고 워터마크가 AI 생성 콘텐츠를 구별하고, 그로 인한 위험을 최소화하는 데 중요한 역할을 할 수 있도록 윤리레터도 계속 지켜보겠습니다.

덧붙이는 글