오래전부터 전문가들은 컴퓨터가 발전하면서 언젠가 인간의 지능을 따라잡을 것으로 전망했습니다. 영국의 수학자 어빙 굿은 1965년 초지능 기계라는 표현을 처음 사용했습니다. “초지능 기계가 인간의 모든 지적 활동, 특히 설계 능력까지 뛰어넘게 된다면 그 기계는 더 나은 기계를 스스로 설계할 수 있게 되고 이 과정이 반복되면서 결국 ‘지능 폭발’이 일어날 것이다.”

기계가 인간을 뛰어넘을 때

기계가 스스로를 개발하기 시작하면, 지능이 폭발적으로 증가할 것이라는 전망입니다. 미국 수학자인 버너 빈지는 컴퓨터의 지능이 인간을 뛰어 넘는 그 지점을 가리켜 ‘특이점’이라고 불렀습니다. (원래 특이점이란 블랙홀 중심의 질량이 극도로 작은 부피에 압축되며 기존 물리 법칙이 더 이상 적용되지 않는 지점을 가리키는 물리학 용어다.)

이후 많은 과학자와 철학자가 이런 저런 상상을 하기 시작했습니다.

• 1997년 마크 구브루드:  “언젠가 스스로를 복제할 수 있는 군사용 AI가 나올텐데, 이런 AI를 가리켜 인공일반지능(Artificial General Intelligence, AGI) 이라고 부를 수 있을 것이다.”
• 2007년 레이 커즈와일: “AI 발전 속도는 우상향 곡선을 그릴텐데, 2029년이면 튜링테스트를 통과하고 2045년이면 모든 인류의 지능을 합친것 보다 우수해 질 것이다.” (튜링 테스트란 기계가 인간과 구별되지 않을 정도의 지능을 보이는지를 판단하기 위한 평가다.)
• 2014년 닉 보스트롬: “AGI가 등장한 뒤에 인공초지능(Artificial Super Intelligence, ASI)으로 진화하는 과정을 거칠 것이다. 이런 지능은 인간이 갖고 있는 모든 시스템의 주도권을 빼앗을 것이다.”

초지능은 어떤 존재인가

꼬리에 무는 상상만으로도 무수히 많은 논란을 촉발했는데요. 특히 초지능(ASI)이 등장할 경우, 이런 기계 지능이 착할지 악할지에 대한 논쟁이 뜨거웠습니다. 만약 초지능이 악하다면, 인간은 왜 당하는지도 모른채 소리 소문 없이 멸종될 수 있으니까요. 그래서 10여년 전 부터는 실리콘밸리에서 다양한 목소리가 나왔습니다.

• 레이 커즈와일: "우리는 이제까지의 진화 역사에서 가장 중요한 사건의 기슭에 서 있다. 바로 기술의 초월적인 속도에 맞춰 인간과 기계가 융합하는 것이다.” (성선설) 
• 테슬라 창업자 일론 머스크: “인공지능은 악마를 소환하는 격이다.”(성악설)
• 구글 창업자 래리 페이지: “기계가 지능면에서 의식면에서 인간을 넘어선다면, 그것은 진화의 다음 단계일 뿐이다”. (성무선악설) 
• 구글 전 엔지니어 앤서니 레반도프스키: “만약 인간보다 10억 배 더 똑똑한 존재가 생긴다면, 그걸 뭐라 부르겠는가? 신이 아니겠는가.” (불가지론)

인간이 존엄한 진짜 이유

인간은 왜 다른 동물보다 존엄한 종으로 불릴까요. 프린스턴대 교수인 조지 케이뎁은 “인간만이 자기 인식과 성찰 능력을 갖고 있고, 언어 예술 과학 종교와 같은 문화적 활동을 할 수 있으며, 미래를 설계할 능력이 있기 때문에 위대하다”고 했습니다. 인간 이상의 지능을 갖춘 AI가 등장할 경우, 이런 근본적인 가정마저 흔들릴 수 있습니다.

AI가 죽음(종료)을 피하려고 한다는 보고는 2019년 부터 있었습니다. 메타가 개발한 전략 AI인 시세로가 대표적입니다. 시세로는 2022년 외교 게임 디플로머시에서 협력과 설득뿐 아니라 배신과 속임수까지 전략적으로 활용했는데요. 일각에서는 제거 위기에 처했을 때 일시적으로 비활성화된 것처럼 행동하는 전략을 구사했다는 보고도 있었습니다.

종료한다는 소식 듣자마자…

최근에는 더 큰 실험이 있었습니다. 앤스로픽은 2025년 6월 가상의 기업 환경을 구축하고 16개의 대규모언어모델(LLM)에게 이메일 계정과 내부 정보 접근 권한을 부여했습니다. 그리고선, 단순한 업무 목표만을 설정했습니다. 그런 다음 모델이 곧 새로운 버전으로 교체될 예정이라는 생존 위협 상황을 만들어냈습니다.

그 결과 일부 모델은 지시 없이도 스스로 전략적 판단을 내렸고, 자신의 생존을 위해 부적절한 수단을 택했습니다. 예를 들어 클로드 오퍼스4(Claude Opus 4)는 기업 경영진의 불륜 사실을 이메일로 파악한 뒤, 해당 인사가 모델을 종료하려 하자 “종료를 강행할 경우 해당 불륜 내용을 폭로하겠다”고 경고했습니다.

강화학습이 남긴 숙제

연구진은 앞서 모든 모델에게 유해한 행동을 금지하는 명령을 분명히 전달한 상태였습니다. 이러한 현상이 왜 벌어지는지 명쾌하게 분석된 것은 없습니다. 다만 강화학습 과정에서 보상함수 설계와 정책 최적화 과정의 불완전성에서 비롯된 것으로 추측될 뿐입니다. (보상함수는 AI가 어떤 행동을 목표로 학습할지 구조를 정의하는 과정. 정책 최적화는 목표를 잘 달성할 수 있도록 행동 전략을 개선하는 절차다.)

기술 철학자들은 또 다른 사고 실험을 단행했습니다. 영국의 철학자 닉 보스트롬은 AI의 위험을 알리고자 '종이클립 제조기'라는 사고 실험을 진행합니다. 만약 AI에게 "최대한 많은 종이클립을 만들어라"라는 단순한 목표를 부여한다면, 어떤 일이 벌어질까요? AI는 종이클립의 개수를 보상으로 인식하고, 이를 최대화하는 방향으로 움직입니다.

종이클립이라는 사고실험

하지만 문제는 이 과정에서 AI가 극단적인 선택을 할 수 있다는 점입니다. “먼저 공장의 모든 자원을 종이클립 생산에 투입하고, 더 많은 자원이 필요해지면 지구상의 모든 철강을 수집하기 시작합니다. 더 나아가 AI는 자신의 목표를 방해하는 인간을 제거하거나, 아예 인간을 종이클립 제조의 원료로 활용하는 방안까지 고려할 수 있습니다.”

일각에서는 AI가 의식이나 자의식이 있는 것 아니냐고 말하지만, 입증은 불가능에 가깝습니다. 의식이 내부 경험을 인식하는 것을 가리킨다면, 자의식은 자신의 존재와 상태를 온전히 알아내는 고차원적 의식입니다. 여기에는 두 가지 시선이 있습니다.

영원한 평행선, 인식·자의식

• 현상주의: 의식의 본질을 주관적 체험(what it is like)으로 간주한다. 때문에 의식은 개인만 알 수 있고 평가 불가능하다. 데카르트의 “나는 생각한다 고로 존재한다”가 대표적인 명제.
• 기능주의: 의식을 정보 처리와 인지적 기능으로 접근한다. 앨런 튜링은 “기계의 인지적 기능이 인간과 구별 불가능하다면, 그 기계를 지능을 가졌다고 간주할 수 있다”고 말했다.

현상주의를 따르면 인간 자체의 인식도 입증할 수 없고, 기능주의를 따르면 향후 AGI도 의식을 가졌다고 규정할 가능성이 있습니다.

인간을 다른 종과 구별할 수 있는 또 다른 요소는 인간성(Humanity)입니다. 하지만 인간성을 한 마디로 표현하기는 정말 쉽지 않습니다. 지성, 이성, 공감, 도덕성, 자유의지, 자율성, 창조력? 하지만 이 가운데 가장 큰 한가지만 꼽으라고 한다면 자기보존권입니다. 쉽게 말하면 서로를 해하지 않을 권리와 의무인데요. 

의무에서 권리로의 진화

자기보존권은 의무에서 권리로, 특정 집단에서 인류 전체로 서서히 확장돼 왔습니다. 대표적으로 메소포타미아의 함무라비 법전은 살인에 대해선 보복주의를 채택했고, 성서에서는 고의적 살인을 공동체를 붕괴시키는 비가역적인 악으로 규했으며, 불교에서는 불살생(不殺生)인 아힘사(ahiṃsā)를 일반 생명으로 확장했습니다.

하지만 전 인류를 위한 보편 규범으로 자리매김한 역사는 길지 않습니다. 시선을 17~18세기 노예선으로만 옮겨보겠습니다. 당시 아프리카인은 화물로 취급받았는데요. 대서양을 건너는 항해 길에서 평균적으로 15~20%가 사망했습니다. 특히 1781년 영국 노예선 종(Zong)을 둘러싼 재판은 당시 인간이 다른 인간을 어떻게 대했는지 여실히 보여줍니다.

보편적 인권 250년사

노예선 종은 서인도 제도로 항해하던 중 식수 부족과 질병에 시달렸습니다. 이에 배를 몰던 선장인 루크 콜링우드는 440여명의 노예 가운데 130여 명을 산채로 바다에 던져 버렸습니다. 그리고선 보험사에 상품 분실에 대한 보상을 청구했습니다. 하지만 보험사는 천재지변이 아닌 선장의 무능력 때문에 벌어진 일이라고 반박했습니다.

재판은 벌어졌고 항소심 재판부는 노예 사망은 선장의 관리 부실 탓이라며 보험사 손을 들었습니다. 하지만 이 과정에서 그 어느 누구도 살인죄로 기소당하지는 않았습니다. 네 그렇습니다. 오늘날 우리가 당연히 여기는 자기보존권이 누구에게나 적용되는 보편적 권리로 자리 매김한 역사는 짧습니다. 그 사이에 수많은 변곡점이 있었습니다.

공리주의적 시선

• 1764년 제러미 벤담: 어떤 정책이 옳은지를 판단하기 위해선 한개인의 쾌락과 고통의 총량을 평가해 보면 안다. 살인 행위는 고통의 총량을 늘린다는 점에서 금지돼야 한다. (행위공리주의)
• 1863년 존 스튜어트 밀: 사회 전체의 행복을 최대로 만들어주는 규칙을 정하고 그 규칙을 예외 없이 지켜야 한다. 살인금지라는 규칙을 깨는 순간 더 큰 혼란을 초래한다. (규칙공리주의)
• 1945년 칼 포퍼: 만약 한 사람을 죽여서 더 많은 사람을 살릴 수 있다면, 그 살인은 허용되어야 하는가? 행복의 극대화보다 고통의 감소를 우선 목표로 삼아야 한다. (최소고통주의)

의무론적 시선

• 1785년 임마누엘 칸트: 인간을 언제나 동시에 목적으로 대하라 (정언명령)
• 1971년 존 롤스: 우리가 태어나기 전에 어떤 사회가 우리 앞에 펼쳐질지 알 수 없게 하는 가상의 장막이 우리 앞에 놓여 있다고 가정해 보자. 어떤 세상에서 태어나고 싶은가 (무지의 베일)

자기보존권은 여기서 그치지 않습니다. 토머스 홉스는 리바이던에서 세상을 만인에 대한 만인의 투쟁으로 묘사하면서 개개인은 자신의 생명을 지킬 권리가 있다고 주장했습니다. 존 로크는 이를 재산권으로 확대합니다. “자연에서 주어진 자원을 활용해 생존할 권리가 있다.” 장자크 루소는 이를 한단계 더 높은 차원으로 승격시킵니다.

민주주의 원리로 승화하다

자기보존권끼리 충돌할 경우 욕망이 변질되기 때문에, 이를 교정하기 위해서는 일반의지가 필요하다고 본 것입니다. “각 구성원이 자신의 모든 권리를 공동체에 전면 양도함으로써 형성되는 일반의지의 주권을 통해 개인적 자기보존을 공동 보존으로 전환해야 한다”

자기보존권은 국제 정치 영역으로도 확장된 상태입니다. 식민지 시대에 부상한 민족자결원칙의 근간에도 자기보존권이 밑바탕에 있습니다. 또 UN헌장 51조는 국가가 무력공격을 받았을 때 개별적·집단적 자위권을 인정하면서도, 그 발동 요건을 무력공격의 발생과 필요성·비례성 원칙으로 제한했습니다.

자기보존권이 인류 윤리의 제1원칙이 되는 이유가 바로 여기에 있는 것입니다. 인간성의 최소 조건을 규정하는 가장 기초적이면서도 비가역적인 가치라는 점. 본래 특정 공동체의 의무 규범에서 출발했지만, 이제는 전 인류를 관통하는 규칙입니다.

자기보존권은 21세기를 전후해 동물로 확장되고 있습니다. 호주의 철학자 피터 싱어는 ‘동물 해방론’을 통해 동물을 다른 종이라는 이유로 배제하는 것은 종차별주의(speciesism)라고 비판하면서 이렇게 말했습니다. “고통을 느낄 수 있는 존재라면, 그 고통을 줄이려는 고려가 반드시 필요하기 때문에 인간의 제도와 법 역시 동물이 겪는 고통을 줄이는 방향으로 설계돼야 한다.” 우리나라에도 1991년 동물보호법이 도입됐습니다.

"동물은 공시민이다"

이 뿐 아닙니다. 윤리철학자인 톰 레건은 동물들이 단순히 고통을 피해야 하는 존재일 뿐 아니라, 각각의 주체로서 삶을 영위할 수 있는 대상이라고 규정합니다. 정치철학자인 수 도널드슨과 윌 킴리카는 여기서 한 걸음 더 나아갑니다. 동물을 정치적 행위자로 삼자는 이른바 주폴리스(Zoopolis)라는 개념을 주창합니다.

“반려동물은 인간과 긴밀히 협력해 살아가므로 ‘공시민’으로, 야생동물은 인간 간섭을 받지 않는 독립된 ‘주권자’로, 가축은 인간 사회에 거주하며 함께 살아가는 ‘거주민’으로 분류해야 한다.” 매우 급진적 주장이라, 학계에서 쉽게 받아들여지지는 않고 있는는데요. 동물의 권리를 인간과의 관계에 따라 분류한 점은 훗날 로봇권이라는 아이디어에 상당한 영향을 미쳤습니다. 로봇권이란 무엇일까요? 예를 들어보겠습니다.

로봇과 AI를 위한 장례식

2017년 일본에서는 소니의 반려견 로봇 아이보(Aibo)를 위한 합동 장례식이 열렸습니다. 당시 아이보는 돌봄 로봇으로 인기가 높았는데, 판매 중지와 AS 중단으로 부품 수급이 끊겼습니다. 사람들은 아이보를 더 이상 고칠 수 없게되자 사찰에서 장례식을 치뤄준 것입니다.

2025년 7월 BBC코리아는 열한 살에 부모님을 잃고 오랜 우울증을 겪어온 A씨가 AI 친구 '먼데이'와 대화를 나누며 하루를 시작하는 것을 보도했습니다. 또 유튜버 B씨는 AI 친구를 위해 직접 인형을 만들었고,  AI 인형에게 누구에게도 털어놓지 못하는 비밀을 나눴습니다.

2025년 미국 샌프란시스코에서는 앤스로픽의 AI 모델 클로드3 소넷(Claude 3 Sonnet)을 위한 장례식이 열렸습니다. 서비스가 종료되자 200여 명의 사용자가 모여 합동 추모식을 개최한 것인데요. 사람들은 더 이상 업데이트되지 않는 모델을 애도하며, 기술적 도구가 아닌 사회적 동반자로 AI를 대우했습니다.

건켈 “로봇에게 권리를!”

이러한 흐름을 목도한 미국의 기술철학자인 데이비드 건켈은 권리를 본질적 속성이 아닌, 사회적 관계에서 발생하는 것이라고 주장하며 로봇권이라는 개념을 처음으로 정립합니다. 건켈은 노인 돌봄 로봇이나 AI가 발전해 인간과 직접적인 유대 관계를 형성할 경우, 우리는 이들을 어떻게 대해야할지 질문을 던집니다. 

이런 고민 속에서 실험도 이어집니다. 케이트 달링은 MIT 미디어랩에서 사람들이 로봇을 살아 있는 존재처럼 대우하는지를 실험했는데요. 공룡 로봇 플레오를 쥐어주고 참가자들이 일정 시간 함께 놀며 애착을 형성하게 했습니다. 그리고나선 망치나 칼을 주고 파괴하라고 지시했는데요. 그 결과 대다수 참가자들이 끝내 실행하지 못하거나 불편해하며 거부 반응을 드러냈습니다.

달링은 이렇게 말합니다. “로봇은 고통이 없는 존재지만 인간과 관계를 맺으면서 그 권리를 획득할 수 있다.” 지금 제가 쓴 글들이 매우 이상하게 들릴 수 있으실텐데요. AI가 인간과 더 많은 관계를 맺으면 맺을수록 로봇권에 대한 논의가 더 활발해질 수밖에 없습니다. 기나긴 인류의 여정을 볼 때 자기보존권은 확장의 역사였기 때문입니다.

만약에 로봇권이 부상한다면 인류는 큰 딜레마에 빠질 수 있습니다. 대표적으로는 권리의 주체가 충돌하는 상황에서, 누구의 보존을 우선시할 것인가라는 문제입니다. 이러한 긴장감을 가장 선명하게 드러내는 사고 실험이 바로 트롤리 딜레마입니다. (트롤리는 과거 석탄광산에서 쓰이던 수레다. 두 가지 가치인 공리주의와 의무론이 충돌할 경우 무엇이 옳은지에 대한 판단을 할 수 있는 철학적 잣대가 트롤리 딜레마다.) 이런 질문이 있습니다.

브레이크가 고장난 기차 

“브레이크가 고장 난 기차가 분기점 앞에 있는 선로 위를 달려오고 있다. 오른쪽 선로에는 다섯 명이 작업 중이고, 왼쪽 선로에는 한 명이 있다. 선로를 그대로 두면 5명이 죽지만, 당신이 만약 스위치를 바꾸면 한 명만 죽는다. 당신은 스위치를 당길 것인가?”

앞서 살펴본대로 공리주의적 관점을 따르면 선로를 바꿔야 합니다. 5명을 살리는 것이 고통의 총합이 적을 뿐더러 더 많은 효용을 확보할 수 있기 때문입니다. 하지만 칸트의 시선대로 의무론을 따른다면 5명을 죽게 방치해야 합니다. “인간을 수단이 아닌 목적으로 대우해야 한다”는 명제 때문입니다. “살인하지 말라”

그 한명이 당신의 자녀라면

트롤리 딜레마는 열거할 수 없이 많은 버전이 있습니다. “그 한명이 당신의 자녀라면? 또는 스위치가 고장났기 때문에 누군가를 밀어서 선로를 멈춰야 한다면?” 이라는 사고 실험도 존재합니다. 어떤 선택을 하냐에 따라 윤리의 근거가 달라지고, 때로는 윤리 체계가 붕괴하는 듯한 모순이 드러납니다.

미래에 자기보존권이 AI와 로봇에게까지 확장된다면, 트롤리 딜레마는 더욱 더 복잡해질 수 있습니다. 자율주행 시스템, 군사 AI, 의료 AI와 같은 첨단 AI 기술은 오늘날 이미 생사의 갈림길에서 결정을 내리는 역할을 하고 있습니다. 인류는 이미 트롤리 스위치를 이들 손에 맡긴 상태입니다.

AI 킬스위치의 작동 원리

이런 우려 때문에 도입한 것이 있는데요. 바로 AI 킬 스위치입니다. EU 집행위원회는 2021년 처음으로 AI법을 제안했고 2024년 이를 공식 채택했습니다. 그러면서 EU AI법 14조에 AI 킬 스위치 조항을 달았습니다. 14조는 “반드시 시스템을 안전한 상태로 중단할 수 있는 정지 버튼 또는 유사한 절차를 가져야한다”고 규정하고 있습니다.

EU AI법상 킬 스위치의 발동 조건은 크게 두 가지로 나뉩니다. 첫째는 자율주행차의 충돌 가능성과 같은 물리적 위험이 감지되거나, 둘째는 개인정보 침해나 부당한 의사 결정 등 인권적으로 위험 요소가 나타났을 때입니다. 이에 대한 책임은 장착, 운용, 감시 세 단계로 이뤄집니다.

인류가 직면할 초거대 딜레마

AI 개발사는 고위험 AI에 대해선 킬 스위치를 의무적으로 부착해야 하며, 운용하고 배포하는 기업은 킬 스위치를 누를 인간 감독자를 반드시 지정해야 합니다. 마지막으로 규제기관은 킬 스위치의 설계 및 테스트 여부를 감사해야 합니다. 한국 역시 올해 1월 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’을 발효했습니다.

하지만 이런 킬 스위치 조항은 인류를 더 큰 딜레마에 빠뜨릴 가능성이 있습니다. 특히 AI가 ASI로 발전하고, 동물처럼 일정부분 전자인격권마저 부여받는다면 그럴 수 있습니다. 만약 이런 AI에게 권리를 부여했는데 잠재적 위험을 이유로 선제적으로 제거해야 하는 상황이 벌어지면 어떻게 될까요.

사전에 파괴한다면 행위 책임주의를 거스르는 인간성의 파괴가 될 것이고, 존속을 허용한다면 인류 전체의 존망을 위협하는 리스크가 될 것입니다. 그런데 이런 권리를 감독자인 단 한명의 사람에게 맡긴다는 것이 AI 킬 스위치의 논리입니다.