자율주행 만든 까닭,

페이지와 헤어질 결심

꼭 한달 전 유튜버 카일 폴이 영상(좌표) 하나를 올렸습니다. 도로 전방에 가짜 벽을 세우고 두 대의 자율주행차를 주행시킨 영상이었는데요. 첫 번째 실험군은 컴퓨터인 HW3(하드웨어 3라고 부름)와 구형 소프트웨어인 FSD 버전 12.5.4.2을 탑재한 모델Y였습니다. 차량은 자율주행 기능을 활성화했지만, 가짜 벽을 결국 인식하지 못했습니다. 두 번째 실험군은 최신 컴퓨터인 HW4(또는 AI4로 읽음)와 최신 소프트웨어인 FSD 버전 13을 탑재한 사이버트럭이었습니다. 해당 차량은 가짜 벽을 인식하고 스스로 정지했습니다. 

오늘날 테슬라 차량의 자율주행 성능이 좋아진 이유가 바로 여기에 있습니다. HW4는 2023년부터, FSD 버전 13은 2024년 4월부터 서서히 탑재되고 있습니다. 지난해 테슬라 자율주행이 퀀텀 점프를 한 이유입니다. 하지만 12년 전만 하더라도 일론 머스크는 자율주행 개발을 꿈꾸지 않았습니다. (잠시 시간을 돌려 보겠습니다. 더 자세한 내용은 제가 쓴 매그니피센트7에 있습니다.)

2013년: 협력의 탐색

• 👨일론 머스크 테슬라 CEO: 함께 자율주행을 개발할 수 있다면, 이 산업을 10년은 앞당길 수 있어. 테슬라는 차량 하드웨어와 실제 도로 데이터를 갖고 있고, 구글은 AI와 지도 기술에 강하잖아. 
• 🧔래리 페이지 구글 창업자: 물론이지! 사실 우리도 자율주행을 중요한 미래 기술로 보고 있어. 아직 상용화는 멀었지만 말야. 구글카 프로젝트(훗날 웨이모) 역시 척척 진행 중이야. 서로의 기술을 공유할 수 있는 여지가 있는지, 우리 팀과 이야기해볼게.
• (👉머스크는 출장때마다 페이지의 집에서 며칠간 묵곤 했다. 이들은 절친한 사이였다. 때문에 초창기 테슬라는 구글과 협력해 자율주행을 개발하려고 했다.)

2014년: 갈등으로 전환

• 👨일론 머스크: 딥마인드를 인수한다고? 너무 한 것 아냐! AI 기술을 한 기업이 독점하게 되면, 인류 전체에 위협이 될 수 있어.
• 🧔래리 페이지: 무슨 소리야! 우리가 AI를 책임지고 이끌 수 있어. AI 발전에는 인재와 자본이 필요하고 구글이 딱 맞는 기업이라고.
• 👨일론 머스크: 그건 아니지. 내가 딥마인드 창업자들한테 직접 연락해서 인수를 말리려고 했던 것도, 다 너 때문이었어. AI는 누구나 접근할 수 있어야 해. 혼자서 인류의 미래를 결정할 일은 아니라고!  
• (👉머스크와 페이지는 미래에 등장할 AI의 정체를 놓고 종종 대화를 나눴다. 머스크는 AI를 인류를 위협할 초지능의 전단계로 보았던데 반해, 페이지는 AI를 중립적 도구로 인식했다. 하지만 구글이 딥마인드를 인수하면서 갈등의 골이 깊어졌다. 관련 기사)

2015년: 헤어질 결심

• 🧔래리 페이지: 일론! 수츠케버를 오픈AI로 데려간다고??? 그건 너무 한 거 아니야? 수츠케버는 우리 팀의 핵심이야.
• 👨일론 머스크: 나도 수츠케버가 중요하다는 거 알아. 하지만 오픈AI는 AI를 모두에게 열려 있게 만들려는 비영리단체야. 인재를 독점하는 걸 결코 두고 볼 순 없었어.
• 🧔래리 페이지: 꼭 그렇게까지 해야해?!? 
• (👉이들은 수츠케버를 두고 또 한번 충돌을 빚었다. 수츠케버는 노벨상 수상자인 제프리 힌턴 토론토대 교수의 수제자다. 구글은 힌턴과 수츠케버가 설립한 AI 기업 DNN 리서치를 인수했는데, 머스크가 샘 올트먼과 함께 2015년 구글 딥마인드의 대항마인 오픈AI를 설립하면서 수츠케버를 몰래 영입했다.)

테슬라 자율주행 대반격,

HW4로 로보택시 꿈꾼다

머스크는 직접 자율주행을 개발하기로 결심합니다. 많은 기술 요소가 필요한데요. 핵심은 소프트웨어인 AI, 하드웨어(컴퓨터), 그리고 카메라 레이더 라이다와 같은 센싱 기술입니다. 테슬라에서는 소프트웨어를 FSD(Full Self Driving), 컴퓨터인 하드웨어를 HW(하드웨어)라고 이름 붙였습니다. 훗날 HW를 가리켜 AI라고 혼용합니다. (자세한 연도)

📚용어사전: 레이더(Radar, Radio Detection and Ranging)는 전파인 라디오파를 이용해 물체와의 거리나 속도를 알아내는 기술입니다. 라이다(LiDAR, Light Detection and Ranging)는 레이저 빛을 이용해 물체의 위치와 형태를 파악하는 기술입니다. 초음파 센서(Ultrasonic Sensor)는 사람이 들을 수 없는 아주 높은 주파수의 소리(초음파)를 발신해 가까운 거리의 물체를 감지하는 기술입니다. 

걸음마를 떼다 (HW1: 2014~2015년) 

2014년, 테슬라는 처음으로 차량에 HW1을 탑재했습니다. 당시 핵심 반도체는 모빌아이가 개발한 아이큐(EyeQ)3라는 칩셋이었는데요. 카메라 영상을 통해 차량 주변을 실시간으로 분석했습니다. 차량 앞쪽에는 흑백 카메라가 1대, 차량 주변에는 짧은 거리를 감지할 수 있는 초음파 센서 12대를 달았습니다. 또 전면에는 보쉬가 만든 장거리 레이더를 달아 앞차와의 거리를 유지하거나 장애물에 대응할 수 있도록 했습니다.

앞차와의 간격을 자동으로 조절해주는 ‘크루즈 컨트롤’과 차선을 유지해주는 ‘차선 유지 보조’도 할 수 있었습니다. 그리고 이듬해 처음으로 소프트웨어인 '오토파일럿(Autopilot)'을 접목합니다. 악천후나 복잡한 환경에서 한계가 분명했고, 차량 컴퓨터의 연산 능력도 자율주행을 완전히 맡기기엔 부족했는데요. 그럼에도, 자동차를 ‘움직이는 스마트폰’으로 바꾸려는 비전은 뚜렷했습니다.

반도체라는 각성 (HW2: 2016년) 

하지만! 그해 5월, 오토파일럿을 활성화한 상태로 주행하던 테슬라 차량이 대형 트레일러와 충돌해 운전자인 조슈아 브라운이 사망했습니다. 자율주행 사상 첫 사망 기록이었습니다. 사회적으로 자율주행차는 위험 그 자체로 인식됐습니다. 곧 테슬라는 모빌아이하고 결별하고, 엔비디아의 드라이브 PX2를 탑재한 HW2를 런칭합니다. 

막대한 센서까지 달았습니다. 총 8개의 카메라를 전방, 측면, 후방에 장착해 360도 시야를 확보했습니다. 또 초음파 센서 12개를 달아 근거리 물체를 감지할 수 있도록 했습니다. 장거리 레이더까지 갖췄는데요. 악천후에 대비할 수 있도록 한 센서였습니다. 신호등 인식, 정지 표지판 감지, 자동 차로 변경과 같은 기능을 위한 필수 부품이었습니다. 서서히 자율주행 차량의 면모를 갖추게 된 것입니다. 

하지만 마음 속에서는 꿈틀대는 것이 있었습니다. 바로 “두뇌인 반도체를 직접 만들겠다”는 야심이었습니다. 애플 AMD 인텔 등에서 활약한 실리콘밸리의 반도체 구루로 불리는 짐 켈러와 인텔과 애플에서 활동한 피트 배넌을 영입한 것도 이 때입니다. HW의 핵심인 자체 FSD 칩 개발에 나서게 된 것입니다.

일보 전진 (HW2.5: 2017년)

2017년 8월 HW2.5를 내놓습니다. 겉보기에는 HW2와 유사하나, 진전이 있었습니다. 센서 구성은 HW2와 동일했습니다. 하지만 엔비디아 드라이브 PX2 플랫폼을 그대로 유지하면서도, GPU 연산 능력을 강화하고 데이터 암호화 모듈을 추가합니다. 이 때부터 테슬라는 영상 처리 수준이 급격히 상승합니다.

누군가 차량에 접근하거나 충격을 가할 경우, 카메라가 자동으로 주변 상황을 녹화하고 이를 저장했습니다. 자동차가 스스로 주변을 인식하는 순간이었습니다. 다만 컴퓨터의 연산 성능이 여전히 떨어져, 멀쩡한 카메라의 성능을 절반만 사용했습니다. 더욱이 애플의 엔지니어였던 월터 황이 오토파일럿을 활성화하고 달리다 고속도로 방호벽에 충돌해 사망하는 사건까지 벌어집니다.

오토파일럿도 아닌데 오토파일럿이라는 마케팅 문구를 쓰지 말라는 지탄이 쏟아졌습니다. 하지만 테슬라는 소프트웨어를 인터넷으로 업데이트해주는 OTA(Over-The-Air) 전략을 적극적으로 펼칩니다. “우리의 차는 오늘 보다 내일이 더 안전하다”라는 메시지를 내보낸 것입니다.

📚용어사전: OTA는 Over The Air의 약자입니다. 인터넷이나 모바일 네트워크을 이용해 소프트웨어 업데이트나 데이터를 전송하는 기술을 뜻합니다. 자동차나 스마트폰 같은 기기에 케이블을 연결하거나 서비스 센터를 방문하지 않아도, 인터넷을 통해 바로 새 소프트웨어를 설치하거나 기능을 개선할 수 있게 해줍니다.

스스로 일어서다 (HW3: 2019년)

세상이 테슬라를 달리 보기 시작한 것은 HW3 출시 때부터입니다. 테슬라 스스로 FSD 전용 칩셋을 설계하는데 성공했습니다. 연산성능이 HW2.5보다 약 21배 향상됐는데요. 이에 따라 초당 약 2300프레임의 이미지 데이터를 즉석에서 처리할 수 있게 됐습니다.

또 FSD 칩셋을 하나 더 장착했습니다. 혹시 하나가 고장 나더라도 나머지 하나가 즉시 기능을 이어받는 이른바 ‘듀얼 리던던시 설계’였습니다. 반도체는 차량의 성능을 대폭 끌어 올렸습니다. 도심 내 교차로와 신호등을 인식하고 주행 경로를 결정할 뿐 더러, 다차선 회전 교차로에서도 안전하게 진입하며, 실제 교통규칙을 인지하고 따르고, 주차된 차가 혼자서 운전자 위치로 이동하게 된 것도 이때부터입니다.

테슬라는 2020년 처음으로 ‘FSD 베타 프로그램’을 공개했습니다(상세한 내용). 일반 도로에서 실제로 자율주행 기술을 테스트하게 한 첫 사례이기도 했습니다. 하지만 너무 자신감이 충만했는지 머스크는 “내년이면 100만 대의 테슬라 차량이 로보택시로 운행될 것”이고 “테슬라 차량 소유자라면 앞으로 매년 최대 3만 달러의 수익을 창출할 수 있다”고 호언 장담했습니다. (과도한 자신감으로 비판을 받게 됩니다.)

비약적 발전 (HW4: 2023년)

오늘날 미국 실리콘밸리를 달리는 많은 테슬라의 자율주행차에는 HW4가 탑재 돼 있습니다. 2023년부터 고급 차종인 모델 S와 모델 X를 중심으로 장착했는데요. 반도체 성능이 크게 향상되면서, 차량 전체가 또 한번 업데이트 됐습니다. HW3가 14nm(나노미터) 공정 기반이라면, HW4는 5nm 공정을 토대로 했습니다. 그만큼 집적도가 올라간 것입니다. 또 12개의 고해상도 카메라를 달았습니다. 카메라는 5메가픽셀로 업그레이드 됐습니다. 

한 동안 테슬라 차량에서 떼어냈던, 레이더도 다시 붙였습니다. 눈처럼 시야 확보가 어려운 조건에서도 차량이 주변 환경을 보다 정밀하게 파악해야 한다고 판단한 것입니다. FSD 버전 13이 2024년 4월부터 나오면서 성능은 비약적으로 발전했습니다. 비지도 학습 기반으로 훈련된 뉴럴넷이 차량을 조종하게 된 것인데요. 수십억 마일의 주행 데이터를 학습한 AI가 차량을 운전하기 시작한 것입니다. 그리고 머스크는 “올해 6월 텍사스주 오스틴에서 모델Y 차량을 이용해 완전 자율주행 로보택시 영업을 시작할 것”이라고도 밝혔습니다.

이번엔 HW4를 분해해 볼 차례입니다. 테슬라의 두뇌인 HW4는 차량 전면 트렁크인 프렁크 내부, 전면 유리창 하단 중앙에 있습니다. 그 이유는 따로 있습니다. 바로 각종 카메라와 센서의 거리를 계산해 보면 이 곳이 정중앙이기 때문데요. 정 가운데에 있어야 신호를 빨리 파악할 수 있습니다.

자율주행차용 컴퓨터인 HW4는 크기가 대략 가로 25~30cm, 세로 15~20cm, 두께 4~6cm 정도입니다. A4용지 3분의2 정도 됩니다. 시스템온칩(SoC)라고 해서 여러 연산 장치들을 묶어 놓은 패키지라고 생각하면 이해가 쉽습니다. (참고 소스) SoC 안에는 엄청나게 많은 연산 장치들이 들어 있습니다.

수백 TOPS를 담당하는 NPU

• CPU(중앙처리장치): ARM 코르텍스 A72 설계. 일반 연산과 제어를 담당
• NPU(신경망처리장치): 대규모 딥러닝 연산을 위한 전용 하드웨어 가속기인데요. 테슬라 FSD 칩에는 두 개의 대형 신경망 가속 어레이가 있어, 각각의 어레이가 수십~수백 TOPS의 연산을 담당합니다. (마치 초고속 슈퍼 계산기 로봇을 차에 태운 것과 같습니다. 로봇들이 1초에 수십억 문제를 동시에 풀 수 있어서, 도로 상황을 순식간에 이해하고 바로바로 운전 결정을 내릴 수 있게 돕는다고 생각하면 이해가 쉽습니다. TOPS는 Tera Operations Per Second의 약자로 초당 1조 번의 연산 능력입니다.)
• GPU(그래픽처리장치): 영상 후 처리 및 보조 연산을 담당합니다.
• 메모리: 수 기가바이트(GB)대 고속 LPDDR4/5 메모리입니다. 실시간으로 대용량 데이터 버퍼링과 신경망 연산을 지원하는데 필요합니다.
• ISP(이미지 신호 프로세서): 카메라에서 들어오는 영상을 전처리하는데 필요합니다.

상당한 비용의 구성입니다. 부품 업계와 증권 업계에 따르면, HW 원가만 약 800달러(115만원) 정도 됩니다. 여기에다 8개 카메라(400달러)와 초음파 및 레이더(300~500달러)까지 합할 경우 1500~2000달러에 달할 것으로 보고 있습니다. 300만원 가까이 하는 컴퓨터인 셈입니다. 테슬라는 FSD 소프트웨어를 붙여 소비자한테 자율주행 기능을 8000달러(1153만원)에 팔고 있는 셈입니다. 구독을 하면 월 99달러 입니다. (참고 SK증권 보고서)

얼마나 빠르고 똑똑한가

자동차에 이렇게 비싼 컴퓨터를 다는 이유는 단순히 기능 추가 때문이 아닙니다. 자율주행은 결국 인공지능의 문제이고, 인공지능의 본질은 ‘얼마나 빠르고 똑똑하게 생각할 수 있는가’, 즉 연산 능력에 달려 있기 때문입니다. HW3는 약 72TOPS(초당 72조번 연산)였는데, HW4는 300~500(초당 300~500조번 연산) 능력을 갖고 있는 것으로 추정됩니다. 왜 이런 막대한 연산 능력이 필요하냐고요?

예를 들어, 자율주행차가 좌회전 우회전을 한다고 해보겠습니다. 이 한 번의 과정을 위해 자동차는 △ 카메라와 레이더로 주변 차량, 보행자, 신호등, 도로 표시 감지 △ 회전 각도와 속도 계산 △ 주변 차와 충돌하지 않도록 경로 예측 △ 날씨나 노면 상태 반영 △ 돌발 상황 대비한 시뮬레이션 등이 필요합니다. 회전 한 번만 하는데도 수십억 번의 연산이 필요한 셈입니다.

HW5 올해말 등장한다?

이게 끝은 아닙니다. 올해 말에 2000~2500 TOPS 성능을 갖춘 HW5(AI5)를 준비하고 있는 것으로 알려졌습니다. 그 이후는 어떨까요? 추측입니다. 이런 속도라면, HW6(AI6)는 2027~2028년께  5,000~6,000 TOPS 성능으로, HW7(AI7)은 2030년 전후에 1만TOPS로 나올 가능성이 있습니다. 

현재 엔비디아의 AI 데이터센터용 가속기인 H100 GPU의 INT8(8비트 정수) 연산 성능이 약 4000 TOPS이니 2030년이면 자율주행 차 한대가, 오늘날 데이터센터용 칩 H100 2.5대나 달고 다니게 되는 셈입니다. 왜 이런 괴물 성능이 필요할까요? 바로 미래의 차는 핸들도 브레이크도 액셀도 필요 없을테고, 안전을 위해 당연히 엄청난 안전성(곧 연산능력)이 필요하기 때문입니다.

35만대의 GPU를 확보하라

하나 더 있습니다! 테슬라는 대규모 AI 빅데이터센터를 두고 있습니다. 바로 미국 텍사스주 오스틴의 테슬라 본사에 있는 코르텍스인데요. 테슬라와 xAI(머스크가 세운 인공지능 기업)가 AI 하드웨어에 투자한 금액만 작년 100억 달러(약 14조원) 이상입니다. 코르텍스에는 초기에 5만대의 엔비디아 H100 GPU를 설치했는데요. 향후 35만대까지 늘릴 계획입니다.

H100 단품 가격으로만 10억달러(1조4000억원)을 투입한 것입니다. 여기에 더해 데이터센터를 위해 필요한 서버, 스토리지, 네트워크, 전력·냉각 설비 등을 합하면? 약 20~30억달러(2조8000억~4조3000억달러)를 썼을 것으로 추정됩니다. 

테슬라 자율주행 차량이 수집한 데이터를 이 곳 코르텍스에서 학습을 시킨뒤 OTA로 테슬라의 자율주행차량 HW에 전달합니다. 즉 코르텍스는 학습용, HW는 실시간 추론용인 셈입니다. 테슬라가 엄청난 컴퓨팅 파워를 구축하기 시작한 이유입니다.

"테슬라는 사고를 피하는 기술을 만드는 회사다. 그런데 세상은 아직도 사고 이후만 갖고 평가를 한다." (일론 머스크)

테슬라가 규제 완화에 집중하는 것은 또 있습니다. 바로 자동차 안전 테스트의 개편입니다. KNCAP, NHTSA, Euro NCAP 등 전 세계 충돌시험 체계는 여전히 사고가 발생한 이후를 검증하는 체제라는게 테슬라의 주장입니다. 예를 들어 미국의 NHTSA 평가 방식은 ‘5 스타’ 등급제인데요. 정면, 측면, 전복 사고를 평가하고 1점부터 5점까지 부여한 뒤 각 항목의 부상 확률을 가중치로 합산하는 방식을 씁니다.

"에어백이 터질때 까지 기다릴 것인가"

머스크는 이의를 제기합니다. 그는 “전 세계가 사고의 정의를 에어백이 터지는 상황이 필요한 충돌로 본다”면서 “자율주행 기술의 핵심 가치는 사고를 사전에 줄이는 것”이라고 주장했습니다. 또 그는 “현실 세계에서 완벽한 시스템은 없다”면서도 “장기적으로 오토파일럿이 사고와 사망, 중상 가능성을 10분의 1로 줄일 수 있다”고 주장했습니다.

머스크는 현재 충돌시험 체계가 사고 이후 결과만 고려하는 수동적 안전 진단이라고 정의했습니다. 그러면서 테슬라처럼 AI와 자율주행을 통해 사고 자체를 예방하려는 기업한테 이러한 평가 방식은 ‘구시대적’이라고 주장합니다. 앞으로 머스크는 자동차 안전에 대한 정의 자체를 바꾸려는 ‘패러다임 시프트’에 대한 시동을 걸 가능성이 큽니다. 실제로 한 미국 자율주행차 업계 관계자는 “테슬라가 안전 체제 개편에 엄청난 공을 들이고 있다”고 귀띔했습니다. 머스크가 줄곧 제기한 문제점은 세 가지로 요약됩니다.

안전에 대한 정의를 바꿔라!

1️⃣첫째: 자율회피 기술은 평가 대상이 아니다. 테슬라는 카메라 기반의 비전 시스템과 AI 알고리즘을 활용해 충돌을 아예 피하려는 전략을 추구한다. 하지만 현재의 충돌시험은 이런 능력을 점수에 반영하지 않는다.

2️⃣둘째: 테슬라의 비정통적 설계는 불이익을 받는다. 플러시형 도어 핸들, 파노라마 유리 지붕, 자동 도어 해제 기능 부족 등은 구조를 위한 접근이 어렵다는 이유에서 충돌시험에서 감점 요소가 된다. 

3️⃣셋째, OTA(Over-the-Air) 업데이트를 인정하지 않는다. 테슬라는 출고 이후에도 OTA를 통해 지속적으로 소프트웨어를 개선하고 안전 기능을 강화한다. 하지만 충돌시험은 ‘출고 당시 상태’만을 기준으로 삼는다. 자율주행차는 매일 더 안전해지고 있지만, 과거의 기준으로 평가받는 것은 억울하다.

그렇다면 테슬라는 불만 표출을 넘어, 어디까지 노리는 걸까요? 아마도 ‘충돌시험의 정의’를 바꾸는 것을 목표로 삼고 있지 않을까 합니다. 테슬라 입장에 서서 생각해 보면, 이런 방법으로 자율주행차를 평가해야합니다.

"덜 부딪히느냐가 핵심이다"

즉 지금까지는 “얼마나 덜 다치느냐”를 기준으로 삼았다면, 앞으로는 “얼마나 덜 부딪히느냐”가 핵심 평가 기준이 돼야 한다는 주장입니다. 머스크가 바꾸려는 건 단순히 점수가 아니라, 시험 규칙의 체인지입니다.