6월 11일에 애플이 세상에 쏟아낸 것 중 

6월 11일 WWDC에서 애플이 발표한 기능은 정말 많습니다. 비전프로, 아이폰, 맥, 아이패드, 애플TV, 에어팟.... 애플이 보유한 기기가 많다 보니 각 기기 OS에 업데이트된 기능만 해도 상당하죠. 기능 하나하나 소개해 드리려면 끝도 없고 다양한 곳에서 이미 많이 접해보실 수 있을 테니 제가 주목한 부분 두 가지만 소개해 드리려 합니다. 

- 애플 인텔리전스 (Apple Intelligence)

애플 인텔리전스. 지금까지 AI라는 말을 안 쓰고 머신러닝, 딥러닝과 같이 표현해 왔던 애플이기에, 이번에 어떤 방식으로 AI를 꺼내나 궁금했는데 자신들만의 방식으로 AI를 재정의한 점이 흥미롭습니다. 'AI, 애플이다' 이거죠.

애플 인텔리전스는 애플이 자체적으로 개발한 인공지능 시스템입니다. 사용자가 보고 있는 화면, 목소리 명령, 사용자가 앱을 어떻게 사용하고, 메시지/통화/메일/그 외의 앱으로 다른 사람들과 어떻게 소통하는지를 분석해서 '개인적인 맥락'에 따라 AI를 사용할 수 있도록 해준다는 것이 애플 인텔리전스의 핵심입니다. 애플 부사장 페더리기는 애플 인텔리스에 대해 다음과 같이 말하기도 했어요.

"애플 인텔리전스는 강력한 생성형 모델을 당신의 아이폰, 아이패드, 맥의 핵심에 배치하는 개인 지능형 시스템입니다. 당신의 개인 맥락에 근거해서 당신에게 가장 도움이 되고 적절한 도움을 주죠." 

애플은 다양한 기기와 OS를 보유하고 있으며, 이번 WWDC와 같은 개발자 회의 등을 통해 개발 언어, API, 모델들을 개발자들에게 공유하고 그 기반으로 개발된 앱을 올릴 수 있는 앱스토어도 가지고 있습니다. 애플은 OS 기반으로 기기/앱을 걸친 통합된 경험을 제공할 수 있는 기반을 가지고 있죠. 애플 인텔리전스는 이러한 애플의 장점을 적극적으로 활용하고 있어요. 

ChatGPT와 같은 고성능, 광범위한 AI는 개인적인 맥락에 근거해서 답변을 줄 수 없죠. ChatGPT에 "엄마가 탄 비행기 정보 알려줘"라고 물어보면, "엄마가 탄 비행기를 알려면, 항공사 이름, 항공편 번호, 출발지와 도착지, 출발 날짜와 시간을 알려달라"고 합니다. 이럴 거면 내가 찾아보지 왜 물어보나 싶어요. 그렇기에 우리는 ChatGPT에는 정보를 먼저 주고 물어보거나, 아니면 나의 개인적인 경험에 근거하지 않는 범용적인 질문을 하고는 합니다. 

애플이 하고자 한 것은, "엄마가 탄 비행기 정보 알려줘"라고 물어보면, 엄마가 누군지, 어떤 비행기를 타려고 했는지 등등을 이미 핸드폰이 알고 있고 그래서 "엄마가 탄 비행기는 11시 18분에 착륙합니다."라고 정보를 주겠다는 거예요.

WWDC에서 페더리기 부사장이 준 예시는 좀 더 통합적인 경험을 제공합니다. 저녁에 딸의 연극 공연을 가야 하는데 회의 시간이 미뤄졌다는 메일이 옵니다. 애플은 메일에서 '회의 시간 변경'을 인식하고, '딸'이 누군지 알고, 딸이 이전에 보내줬던 '연극 공연에 대한 정보'를 기반으로 '연극 장소'와 '연극 장소로 가는 길의 교통상황'을 인식합니다. 회의 변경 일정을 등록하고, 시리를 통해 연극까지의 시간과 교통상황을 알려주겠다는 것이죠. 여기서 중요한 것은 개인적인 정보를 알려줄 뿐만 아니라 행동으로 옮긴다는 것입니다. 

이렇게 하기 위해서는 사용자의 맥락을 잘, 많이 인식하는 것이 중요한데요.

먼저 애플은 지난 4월 ReALM 모델(Reference Resolution As Language Modeling)을 공개한 바 있어요. ReALM은 온디바이스로 구동될 수 있는 소형 언어모델로, 사용자의 요청을 해석하고 처리하는 데에 있어, 사용자가 보고 있는 화면 내 이미지, 버튼, 링크 등을 식별하고 인식하게 합니다. 이 모델을 통해 애플은 고객이 보고 있는 화면을 이해할 수 있게 되었어요. 

그리고 이번에 통화 녹음 기능을 발표했습니다. 아이폰 쓰시는 분들은 잘 아시겠지만, 아이폰에서는 보안의 이슈로 통화 녹음이 지원되지 않았었는데요, 이번 WWDC에서 아이폰에도 드디어 통화 녹음이 지원됨을 발표했어요. '갑자기 왜 지금?'이라고 생각했지만, 애플 인텔리전스를 생각해 보면, 통화 녹음 텍스트를 통해서 사용자의 정보를 더 잘 알 수 있기 위함인 것이죠.

"AI for the rest of us" 이번 WWDC 키노트의 키워드였는데요. 애플 인텔리전스에서 나, 너, 우리가 일상에서 실제로 사용할 수 있는 AI를 제공하겠다는 애플의 포부가 보이는 듯합니다.

- ChatGPT를 통합한 Siri

애플이 OpenAI와 협력한다는 사실은 많은 반향을 불러일으켰죠. WWDC에서 그 실체가 공개되었는데요, Siri에 ChatGPT-4o가 탑재됩니다. ChatGPT-4o는 지난 5월에 공개된 최신 버전인데요, Siri에서 처리할 수 없는 질문, 예를 들어 "레몬을 활용한 5코스 식사 레시피 알려줘"와 같은 질문을 ChatGPT가 처리하게 된다는 것이죠. Siri가 먼저 사용자의 요청을 받고, 질문을 분석한 후 답변이 어렵다고 판단되면 ChatGPT로 재요청하는 방식이며 이러한 과정에서 사용자에게 'ChatGPT로 물어볼래?'와 같이 동의를 받습니다. 

애플이 OpenAI와 협력했다는 부분도 그렇지만, 앞서 말씀드린 애플 인텔리전스와 같이 생각해 보면 이제 애플이 개인적인 맥락뿐만 아니라 범용 지식을 제공하는 영역에서도 사용자에게 AI 경험을 제공할 수 있다는 점이 인상깊었어요. 결국 AI를 서비스로 제공하는 영역에서 애플이 모든 부분을 커버할 수 있게 되는 것이죠. 

온디바이스와 서버를 넘나들며 보안을 챙기다

위에서 고객의 데이터를 가져가는 부분에 대해 '찝찝하다'라고 느낀 분이 분명히 있었을 것 같아요. 다 좋은데, 애플이 나의 화면을 계속 보고 있고, 통화를 녹음하고, 나의 개인적인 인간관계를 인식해서 메시지, 메일, 사진, 지도, 그리고 3자 앱 데이터까지 쓴다고? 해킹이라도 당하면 나의 모든 것이 알려지는 것이 아닌가, 하는 생각이 들 수밖에 없습니다. 

이 부분을 충분히 고려했던 애플은 WWDC에서 긴 시간을 할애해 '보안'에 대해 설명했습니다. 그리고 애플 인텔리전스에서 가장 흥미로웠던 것도 이 부분이었어요. '어떻게 보안을 지키면서도 개인 맥락에 맞게 AI를 제공하는가?' 애플 인텔리전스는 두 영역으로 나눠볼 수 있습니다. '온 디바이스 AI'와 '서버 AI'이죠. 

온디바이스 AI는 서버를 거치지 않고 단말 단계에서 사용자의 요청을 받고, 사용자의 데이터를 학습하고 분석하여 처리하는 AI를 말합니다. 중앙 서버를 거치지 않고, 네트워크 연결 없이도 처리할 수 있어 보안에 강점을 가집니다. (온디바이스 AI에 대해서는 예전 레터 '온디바이스 AI....넌 누구냐'로 다룬 바 있으니 참고해 주세요.) 또한 빠르게 사용자의 요청을 처리할 수 있고, 인터넷이 안 되어도 사용할 수 있으며, '나'의 데이터 및 환경에 최적화되어 있습니다. 

이러한 장점이 있지만 동시에 기기 단에서 처리되기 때문에 제약도 많습니다. 자체 데이터만 활용 가능하기 때문에 외부 데이터를 활용할 수 없어 복잡한 요청은 처리하기 어렵고, 모델이 기기에 탑재되어야 하기 때문에 대형 언어모델을 활용할 수도 없습니다. 그렇기 때문에 온디바이스로 생성형 AI 모델을 활용하는 것은 매우 어려운 일이죠. 기기의 칩 성능이 수반되어야 하고, 동시에 적합한 소형 모델이 있어야 합니다. 구글이 소형 모델 '젬마'를 만든 것도 같은 맥락입니다. 

이를 해결하기 위해 애플 인텔리전스는 온 디바이스와 서버 AI를 같이 구동하는 복합 구조를 택했습니다. 애플 인텔리전스 내에서 사용자의 요청이 어느 방식으로 처리되면 좋을지 판단하고 그에 따라 적합한 방식으로 처리되도록 하는 것이죠.

먼저, 앱에서 사용자의 사용 '의도'를 디바이스 내에서 판별하고, 그 의도에 적합한 기능을 디바이스 자체에서 처리합니다. 덕분에 개인 맥락에 맞는 답변과 행동을 빠르게 제공할 수 있죠. 여기에는 자체적으로 구축한 약 30억 크기의 파라미터(매개변수, 데이터로 이해해 주세요)를 학습한 소형 언어 모델, 이미지 모델이 활용됩니다. 고객이 요청하면, 온디바이스 색인 검색을 통해 요청에 관련된 개인정보만을 학습하고 처리합니다. 이 모든 과정은 입력부터 출력까지(end-to-end) 암호화되어 있고 외부와 공유되지 않기 때문에 앞서 말씀드렸듯 보안이 보장됩니다. 

그 이상의, 외부 데이터가 필요하거나 좀 더 복잡한 연산이 필요한 요청은 서버를 통해 처리합니다. 여기서 문제는 서버입니다. '서버'는 사용자의 정보를 저장하고, 잘못된 목적에 사용할 수 있고, 기업이 다른 목적으로 사용하지 않겠다고 해도 확신할 수 없거든요. 애플은 서버로 처리되는 요청에 대한 보안을 보장하기 위해 애플 실리콘 서버 기반의 클라우드 인텔리전스 시스템인 '비공개 클라우드 컴퓨팅(PCC, Private Cloud Compute)'을 활용합니다.

즉, 애플의 아이폰, 맥에 적용되는 기기 보안과 프라이버시 기능을 클라우드로도 확장하는 것입니다. 애플 서비스나 기기 담당자도 해당 클라우드 데이터를 확인할 수 없을 뿐만 아니라, 사용자의 요청에서 서버의 연산력이 필요한 부분만 서버로 보내고 요청이 처리된 후에는 서버에서 삭제됩니다. 해킹을 막기 위해, 권한이 있고 암호화된 코드만 실행할 수 있게 했으며, 해당 코드는 특정 노드(컴퓨팅 자원)에 할당된 애플 승인 캐시에 저장되어 있는 코드여야 합니다. 외부의 보안 전문가들이 보안 점검을 할 수도 있도록 하여 보안성을 강화한다고 하죠. 즉, 사용자의 데이터는 서버에 절대 저장되지 않고, 요청을 처리하기 위해서만 사용되며, 외부의 위험에 안전할 수 있도록 한 것입니다. 

애플 인텔리전스의 핵심은 온디바이스로 구동할 수 있는 여러 소형 모델을 자체 개발 및 튜닝하고, 서버에서도 보안을 보장할 수 있는 장치를 마련하여 사용자가 다양한 AI 기능을 보안 걱정 없이 사용하도록 의도했다는 것입니다. 

애플 인텔리전스는 알겠는데, 그럼 ChatGPT는? 이라고 생각하실 수 있겠습니다. 앞서 말씀드렸듯 Siri에 ChatGPT가 통합되었는데, Siri에서 ChatGPT로 재요청되는 건들에 대해서는 어떻게 보안을 보장할지는 WWDC 키노트에서 다루지 않았거든요.  

애플은 언론 보도를 통해 ChatGPT 사용자들의 보안을 위해 개인정보보호가 내장되어 있으며, ChatGPT로 재요청 시 사용자의 IP가 가려지고 OpenAI도 요청을 저장하지 않을 것이라고 답했습니다. 이러한 부분이 아니더라도, 사실 저는 ChatGPT로 재요청되는 명령은 애초에 개인 정보가 아니었을 것이고, 애플이 ChatGPT로 재요청하기 전에 고객에게 선택권을 주었다는 점에서 어느 정도 보완이 되었다고도 생각합니다. 앞으로 애플이 구글의 LLM도 탑재할 계획이라고 언급한 것을 생각해 보면, 해당 경우에도 이번과 같은 방식으로 진행되지 않을까 싶어요.