매월 둘째, 넷째주 일요일에 뉴스레터를 발행하고 있습니다. 

Apple Intelligence 는 AI 일반 명사를 애플 스타일대로 부르는 마케팅 용어입니다. 필 쉴러가 비행기 조종사로 나온 것처럼 왠지 그 분이 붙였을 것 같은 이름이죠. 기술적으로는 ChatGPT 모델 API를 호출하는 것처럼 애플은 Foundation 모델을 개발자가 직접 호출하는 API를 제공하지는 않습니다. 대신 운영체제 곳곳에 사용자가 사용하는 곳에 지능을 접목하도록 펼치는 방식을 선택했습니다. 그래서 애플 내부의 모든 개발팀이 개선 사항을 내놓은 것 같은 느낌입니다. 실제 분위기는 올해 WWDC에 참가하지 못해서 아직 물어보지 못했습니다.

키노트와 PSU에서 설명한 AI/ML 관련 내용은 다음과 같습니다. 여러분들도 이 내용들이 가장 관심이 많으시겠죠

• Foundation Models
• Private Cloud Compute
• Siri 개선과 Personal Context
• Xcode 16 개선
• Writing Tools 쓰기 도구로 감싸진 텍스트 생성
• Image Playgrounds 이미지 생성
• Genmoji 이모지 생성
• CreateML / CoreML 개선

그 중에서 직접 개발했다고 하는 파운데이션 모델은 온디바이스에서 동작하지만, 특별한 경우(?) Private Cloud Compute에서 실행한다고 설명합니다.
파운데이션 모델에 대해서는 머신러닝 리서치 페이지에 올라온 글을 참고하시면 됩니다.
On-Device and Server Foundation Models
모델 트레이닝 데이터 수집을 위해서 AppleBot 이라는 웹 크롤러를 만들어서 돌렸다는 얘기도 있네요.

파운데이션은 각 역할을 담당하는 모델을 만들고, 사이즈를 줄이고, 최적화하고 아답터로 묶어서 제공한다고 설명합니다. 아래에는 다른 모델들과 비교한 연구 결과도 포함되어 있습니다. 예를 들어 요약 모델은 로컬에서는 Mistral-7B나 Gemma-7B보다 높고, 서버에서 돌리면 GTP-4-Turbo와 비슷한 수준이네요. macOS Sequoia 베타1에는 이미 Apple Intelligence를 위한 파운데이션 모델과 아답터가 500메가 정도 설치가 되어 있습니다. 하지만 시연에서 보여준 대부분의 기능은 아직 사용할 수 없습니다 ㅜㅜ

위 글에도 링크가 있지만 프라이버시와 개인 정보를 위해서 안전한 형태로 Private Cloud Compute로 확장한다고 설명합니다. 이 부분은 개발자 사이트가 아니라, 보안 관련 Security 블로그에 올라와 있습니다. Private Cloud Compute
보안 전문가들이 안정성 검사를 하고 해킹 가능성을 점검하는 경우를 위해서 연구용 디바이스를 제공한다고 합니다. 어떤 식으로 진행되는지 전혀 모르겠지만 흥미롭네요. Swift Server로 직접 모델을 실행하고 전달하는 구조라고 하는 데 어떻게 실행해 볼 수 있는지도 궁금합니다. 엔터프라이즈 내에서 사용할 수 있는 리소스를 제공하지는 않을려나요. PCC가 너무 궁금한데 아직은 사용해 볼 수 없어서 많이 아쉽습니다. PCC를 제외하고 공개된 내용들 하나씩 살펴보겠습니다.

# Writing Tools

Writing Tools는 TextView 나 WebView에서 선택하면 메뉴에 노출되고 새로운 Delegate로 액션이 시작되는지 종료되는지 알 수 있습니다. 텍스트 중에서 특정 태그나 범위를 제외하기도 가능합니다. 저도 지금까지는 ChatGPT API를 이용해서 요약도 하고, 번역도 하도록 구현했었는 데, 이제는 macOS나 iOS에서 개발자가 문법 검사나 요약 요청을 보내는게 아니라 사용자가 텍스트를 선택하고 메뉴에서 액션을 선택하면 그걸 개발자가 인지하고 반응하도록 하는 구조입니다. 운영체제가 대신 처리해주는 부분이 많아졌습니다.

# Genmoji

Writing Tools는 Label 이나 TextView에서 처리가 되는 반면에 Genmoji는 Text Input 컨트롤을 확장합니다. 입력창에서 만들어진 Genmoji는 AttiributedString 형태로 표시하거나 Webview에 보여줄 수 있습니다. 메시지로 보내거나 APNS 푸시 메시지에 담아서 보낼 수도 있습니다. 느낌상 작은 이모지라서 SVG처럼 그냥 포함해서 보내는 게 아닐까 싶은데요 구현체는 NSAdaptiveImageGlyph 라는 UIKit / AppKit에 구현된 클래스입니다. 예상대로 Data 타입으로 그대로 보내는군요

# Assistant Intent 와 Schema

기존에도 시리와 단축어로 앱을 실행하기 위해서 Intent를 전달할 수 있었는데요, 동작 가능한 액션과 도메인 카테고리가 확 늘어났습니다. 이 부분이 가장 직접적으로 체험하게 될 부분 같습니다. 특히 Assistant Schema라고 부르는 개념으로 확장되면서 Assistant Intent가 대폭 늘어났습니다.

Siri는 아마도 화면 인식 모델과 접근성 API로 화면을 인지하고 미리 도메인과 액션을 세분화해서 기존보다 많은 타입과 액션을 연결해서 앱을 동작하나 봅니다. 개발자 입장에서는 시리로 개별적으로 테스트 하지 않더라도, Assistant Intent를 구현하고 단축어로 테스트하면 시리가 처리한다고 보장이 된다고 하네요. 특히 Xcode가 Intent가 제대로 동작하는 지 살짝 검증을 해준다고 합니다.

# CreateML과 CoreML

CreateML로 pyTorch 모델을 변환해서 CoreML 모델로 최적화하면 Sonoma보다 더 빠르다고 하고, CoreML에도 여러 모델이 추가됐습니다. 기존에 있던 모델까지도 같이 보여줘서 딱 정확하게 뭐가 추가된 것인가는 잘 모르겠습니다. 특히 CoreML로 온디바이스 모델을 실행할 때 CPU, GPU와 NPU까지 가속할 수 있다고 하는데, 이 부분에서 아직까지는 PCC와 연결고리는 못 찾았습니다.

# Xcode 16 beta

Xcode 16 베타는 macOS Sonoma에도 설치가 가능합니다만, macOS Sequoia에서는 Xcode 15 버전이 실행이 안됩니다. 16으로 강제 이주를 원하는 것 같습니다. 물론 우회해서 실행할 수 있는 방법이 있긴 합니다만 16을 실행하려면 넘어가는 게 맞을 것 같습니다. 왜냐하면 Xcode 16부터 제공하는 Predictive Code Completion 모델이 시스템 프레임워크를 사용하기 때문에 Sonoma에서는 안됩니다. Sequoia에서 Xcode 16 베타를 설치하면 시뮬레이터 다운로드하는 것처럼 모델을 다운로드하고 용량이 2기가 정도가 됩니다. 정확히 어디에 설치되는가 경로는 찾지 못했지만 이 부분은 온디바이스에서 실행되는 것 같습니다. 아참 Xcode 16 새 기능을 사용하려면 M1 이상 애플 실리콘 맥에서만 가능하고 메모리도 16기가 이상이라서 저처럼 인텔 아이맥을 쓰시는 분들은 안된다고 합니다. 내년쯤에 회사에 M4 맥 스튜디오 사달라고 하고 싶습니다.

반면에 코드 컴프리트와 같이 소개된 Swift Assistant는 코파일럿처럼 코드를 생성해주는 데 PCC로 확장이 되야 사용할 수 있는 것 같습니다. 그래서 아직은 사용이 불가능합니다 ㅜㅜ Writing tools이나 ImagePlayground까지 아직 베타에는 포함되지 않았는 데 마찬가지 이유로 PCC 연동되는 기능들이 다 빠진 것으로 보입니다. 아마도 대규모 사용자가 요청을 보내면 받아줄 서버 증설도 필요하겠죠. 사용자와 개발자가 PCC를 주로 사용하게 될 테니까요.

# macOS Sequoia 와 Private Framework

macOS Sequoia에서 Private Framework를 조사해봤습니다. macOS Sonoma에 있는 Private Framework는 대략 1620개. Sequoia 에서는 대략 1850개로 230여개 늘어났습니다. Sequoia에 추가된 새로운 프라이빗 프레임워크 중에 눈에 띄는 것들은 다음과 같습니다.

Writing Tools 관련

➔ WritingTools 서비스를 위한 UI와 API를 구현한 것 같습니다. 문법 검사하거나 요약, 다시 쓰기 같은 동작을 처리한다고 봐야겠죠 (구현체는 있는데 못 쓴다니 PCC 때문인 것 같습니다)

음성 지원(?) 관련

➔ 음성으로 시작하는 명령이나 음성 처리를 담당하려나 봅니다

화면 지능 담당(?)

➔ 정확히는 모르겠지만 아마 화면을 인식하는 모델이 아닐까 싶네요

번역 관련

➔ 번역 관련 시연을 했던가요 세션도 있지만 번역 관련 API가 별도로 포함된 것 같구요
TranslationAPISupport.framework

토큰 관련

➔ LLM을 위해서 토큰 관련 프레임워크가 있네요

텍스트 생성 및 요약

➔ 요약과 텍스트 생성을 위한 프레임워크가 있네요

스티커 관련

➔ 스티커를 다루는 프레임워크인 것 같고

스팟라이트 관련

➔ 스팟라이트에 임베딩과 지식 관리를 도와주는 프레임워크 일까요?

화면 공유 관련

➔ 아이폰 화면 미러링이나 다른 사람 화면 공유하기 관련 프레임워크 같습니다

생성 관련 API들

➔ GenerativeExperiences, GenerativeFunction이 어떤 경험을 생성하는 것인지, 어떤 함수를 생성하는 것인지 모르겠습니다만 프로롬프와 관련이 있을 수 도 있겠네요

이미지 생성 & 입력 관련

➔ 이미지 생성하는 Image Playground 화면이나 입력 도구 관련 인 것 같네요

모델 관리

➔ 여러 모델을 관리해야 하니까 모델 카타로그가 있는 것 같구요

노트와 계산기 관련

➔ 계산기 필기체는 노트의 한 종류더군요. 그래서 노트 관련 프레임워크도 생기고 계산기용 프레임워크도 있나 봅니다

PCC 관련

➔ PCC 데몬과 API를 포함하는 프레임워크가 있고, 클라이언트용 API도 있네요. 하지만 문서화되지 않아서 아직은 뭔지 잘 모르겠습니다

프롬프트와 요약 관련

➔ 프롬프트 생성도 필요할 것 같고 Proactive가 붙은 것은 예측해서 뭔가 처리하나 봅니다

시리 관련

➔ 시리 관련 프레임워크는 기존에도 꽤 있었는데, 추가된 것도 많습니다. 아무래도 연결지점이 많고 모델이 많아서 오케스트레이션도 필요하니까 프레임워크가 많아진 것 같습니다

# WWDC 24 세션들과 변화

Swift 6는 그동안 꾸준히 언급되어 왔지만 Swift Concurrency기반 Actor 데이터 레이싱 문제를 해결하는 것이 핵심 사항입니다. Sendanble, Copyable 구분도 필요하고 Atomic<> 제네릭 타입도 쓸만한 것 같습니다. Swift 최적화 영상도 있는데 아직 살펴보지 못했습니다. Embedded Swift가 추가됐는데 이걸 올릴 만한 임베디드 장비는 라즈베리파이 뿐이네요. 라즈베리파이는 Swift 5.x도 느리지만 돌아가긴 합니다. Swift Testing도 많이 기대됩니다. 최신 버전 JUnit 기능들을 매크로 형태로 많이 흡수해서 테스트 코드 작성도 빠르게 작성하도록 도움이 될 것 같습니다. 그냥 Swift Assistant가 Swift Testing 코드도 다 작성해주면 안될까요 흑흑

SwiftData는 Core Data처럼 Persistence 저장소를 선택할 수 있게 되면서 유연해졌습니다.

UIKit 중에서는 UIGraphicsGetImageFromCurrentImageContext() API가 deprecated 된게 눈에 띄네요. 은근 뷰 캡처해서 이미지로 만들 때 썼는데 아직은 대체 API를 설명해주지 않고 있습니다. 예전 방식인 UIActionSheet와 UIAlertView, UIMenuController도 이번에 Deprecated 되네요. 

저는 watchOS 관련은 후순위라서 아직 살펴본게 없고, visionOS 관련해서는 은근 기대하면서 보고 있습니다. 가장 눈에 띈 부분은 enterprise API를 기업들과 협약하고 열어준다는 부분입니다. 팀 쿡의 인터뷰에서도 포춘지 100대 기업들 중에 절반이 비전 프로를 사용해서 사내 근무 환경을 개선하고 싶다고 합니다. 특히 공장이나 창고 등에서 카메라처럼 일반 앱 개발자는 사용할 수 없는 API를 허용한다는 부분이 신기했습니다. 기업 환경에서 먼저 익숙하게 사용하게 될 수도 있겠습니다. Tabletop 게임이나 입력 방식, 입체적인 앱을 만들 수 있는 방식도 개선되고 visionOS 2부터는 한국어도 지원합니다. 하지만 판매를 안할 뿐이죠. 1차 출시국을 봤더니 visionOS Lab이 있던 곳이더군요. 역시 한국은 후순위라서 ㅜㅜ

마지막으로 디자인 관련 세션들은 강하게 추천드립니다
게임 디자인, visionOS를 위한 공간 디자인과 감정 디자인 설명은 매우 인상적이었구요 iPadOS에서 바뀐 탭바와 사이드바 설명도 깔끔했습니다. 아직 대부분의 영상이 한글 자막은 없지만 드디어 HIG 문서가 한글화되서 올라온 것을 알고 계신가요. https://developer.apple.com/kr/design/human-interface-guidelines/ 이제 맘놓고(?) HIG를 디자이너와 공유할 수 있겠네요.

WWDC 24 주간은 끝났지만 세션 영상이 123개로 봐야할 영상이 쌓여있습니다. 베타가 올라가고 새로운 아이폰이 출시될 가을쯤에는 새로운 개발 환경이 생기겠네요. 물론 저도 장비를 바꿔야 합니다 ㅜㅜ 아이폰은 15 프로 맥스니까 맥을 바꾸는 날까지 WWDC 애플 뮤직 플레이리스트나 들으면서 적금이라도 들어야 하려나 봅니다.

# 같이 보기

> macOS Sequoia 배경 화면으로 추가된 Macintosh 이미지들을 다운로드 받을 수 있는 사이트

> 팀쿡과 iJustine 유투버 인터뷰 Tim Cook on Apple Intelligence, Privacy and more! WWDC 2024 Interview

> 팀쿡과 MKBHD 유투버 인터뷰 Talking Tech and AI with Tim Cook!

> 존 그루버가 캘리포니아 극장에서 애플 AI 전략 담당 John Giannandrea, Craig Federighi 소프트웨어 수석 부사장, Greg Joswiak 글로벌 마케팅 수석 부사장과 토크쇼를 진행했습니다 The Talk Show Live From WWDC 2024