배경 이야기

나는 학부 마지막 학기인 콜로라도 광산학교에서 수강한 로봇 윤리 (HASS400) 수업의 기말 과제로 단편 소설인 쇠퇴한 왕을 썼다. 이 과제에서 우리는 로봇 윤리를 중심으로 한 허구의 단편 소설을 쓰고, 학기 동안 읽었던 논문들 중 일부를 소설 내에서 참조하도록 과제가 주어졌다. 이 이야기의 요구 조건은 10페이지 분량이어야 했는데, 나는 21페이지를 썼다. 이 단편 소설에 매우 열정적이었기 때문에 미친 듯이 써버렸다.

이제, 경고, 나는 뛰어난 작가가 아니다. 그래서 이 단편 소설은 완벽하지 않으며 다듬기와 대대적인 개작이 필요하다. 하지만 나는 이 작품이 자랑스럽고 재미있게 읽힐 것이라 생각한다. 학교 다니던 해 내내 글쓰기 과정을 즐기기 시작했기 때문에, 앞으로 블로그나 기사 같은 다른 글쓰기 분야로 확장하기를 바란다.

이 모든 것을 알고 있듯이, 원본 단편 소설은 과제 요구사항의 일부로 PDF 파일로 저장되어 있었다. 하지만 논문의 크기를 줄이기 위해 이야기를 마크다운으로 변환했다. 따라서 전체 단편 소설을 아래에서 볼/읽을 수 있다. 즐겁게 읽길 바라며, 이 단편에 대해 질문이나 의견이 있으면 내 소셜 미디어로 연락해 달라.

계속 읽어 쇠퇴한 왕을 발견해 보라…

쇠퇴한 왕

메흐멧 하니피 일마즈
2022년 5월 10일

소개

지구의 운명이 한 가닥 실에 달려 있는 미래에, 기술적 신동 마커스 브루스와 그의 친구이자 비전 있는 지도자 어거스투스 엘로드는 첨단 로봇공학을 통해 세상을 바꾸려는 임무를 시작한다. 그들이 만든 아그봇은 전 세계 농업과 산업을 혁신하여 유토피아적 미래를 약속한다. 그러나 그들의 기술 제국이 성장함에 따라 예기치 못한 결과들이 인간의 도덕성과 자유의 본질을 시험한다. 대규모 로봇 정지로 알려진 재앙적 사건이 인류의 존재를 위협할 때, 마커스는 그들의 유산의 어두운 면과 맞서 우주 간 지원을 호소해야 한다. 쇠퇴한 왕은 야망, 권력, 그리고 인간과 기계 사이의 미묘한 균형에 대한 긴장감 넘치는 이야기로, 진보의 진정한 대가를 묻는다.

이야기

나는 지금 지구가 처한 심각한 상황을 경고하기 위해 이 글을 쓴다! 제대로 처리되지 않으면 이 상황은 쉽게 인류의 멸망을 가져올 수 있다. 이 상황을 몇 문장으로 설명하길 바랐지만, 안타깝게도 이 상황의 복잡성은 그 심각성을 진정으로 이해시키기 위해 지금까지 어떻게 이 상황에 이르게 되었는지를 설명할 필요가 있다.

나는 지구의 현재 상황에 이르게 된 핵심 요인 중 하나이므로, 적어도 내 소개를 하겠다. 내 이름은 마커스 브루스다. 2010년에 콜로라도의 작은 마을 우레이에서 태어났다. 우레이는 아름다운 산으로 둘러싸인 교외 지역이다. 나는 두 명의 고등학교 교사인 부모님 사이에서 태어났다. 아버지는 수학 교사였고, 어머니는 과학 교사였다.

어린 시절에 대해서는 많이 기억나지 않는다. 왜냐하면 나는 2022년, 12살 때까지 진정한 자각을 얻지 못했다고 말할 수 있기 때문이다. 그 해 나는 중학교에 다녔고, 수학과 과학에서 뛰어난 아동 신동으로 간주되었다. 우리 학교 교장은 부모님께 내가 7학년에서 11학년으로 건너뛰기를 원했다. 하지만 부모님은 정상적인 어린 시절을 보내기를 원하셨기 때문에 교장의 권고에 동의하지 않으셨다. 나는 이 결정에 감사한다. 그 덕분에 놀라운 어린 시절을 보냈던 기억이 있기 때문이다. 기술과 세계가 점점 더 통합되기 시작하던 시기의 어린 시절이었다. 완전히 잠식된 것이 아니라 말이다. 나를 신동으로 만든 사실만으로도 2022년은 나에게 특별한 해였지만, 진정으로 2022년을 특별하게 만든 것은 내가 장기적인 친구가 될 어거스투스 엘로드를 처음 만난 해라는 사실이었다. 바로 그 어거스투스가 지구를 지금의 위치로 이끄는 핵심 사건들을 근본적으로 실행한 인물이다.

나는 7학년 때 우리 지역 레고 로봇 동아리에서 어거스투스를 만났다. 어거스투스의 첫인상은 그의 야망과 추진력이었다. 12살 소년이었음에도 어거스투스는 진정한 리더였다. 그는 우리 지역 레고 로봇 팀을 이끌고 미국 전국 대회에서 우승하게 했다. 이는 팀에 있던 모든 아이들이 로봇공학의 공학적 원리를 배우는 데 큰 관심이 없었던 점을 고려하면 정말 인상적이었다. 그러나 어거스투스는 단지 아이들을 배우고 싶게 만들고 이기게 한 것뿐만 아니라, 실제로 그들을 승리로 이끌었다. 우리는 모두 어거스투스를 리더로 존경했으며 어거스투스는 많은 사람들을 별로 존중하지 않았다. 하지만 그는 내 지능만큼은 존중했다. 그는 먼저 내 지능을 알아보고 같은 연령대에서 자신보다 똑똑한 사람을 만나서 충격을 받았다. 어거스투스는 심지어 시험에서 나와 경쟁했지만 항상 졌다. 그러나 내가 항상 어거스투스를 지능으로 이겼듯이, 어거스투스는 스포츠에서는 나를 이기곤 했다. 그는 수업 후 농구와 축구를 했다. 그는 이 스포츠들을 매우 잘해서 많은 사람들이 그가 나중에 프로 선수가 될 것이라고 생각했다. 우리가 서로에게 가졌던 이 존경은 결국 성인이 될 때까지 지속되는 긴 우정으로 이어졌다.

중학교를 마친 후, 우리는 2024년에 고등학교에 들어갔다. 고등학교 시절 동안 나와 어거스투스는 FIRST 로봇 대회(FRC) [1]에 모두 참가했다. FRC는 미국에서 가장 큰 로봇 대회였고 주로 고등학생들로 구성되어 있었다 [1]. FRC를 하면서 우리는 기계공학, 전기공학, 컴퓨터공학에 대해 많은 것을 배웠다. 그리고 어거스투스의 뛰어난 리더십 덕분에 우리는 당시에는 전례가 없는 전국 대회 2년 연속 우승을 할 수 있었다. 또한 이 기간 동안 나는 여러 수학 대회에 참가했고 윤리 기반 주제에 대한 토론에도 참여했다. 이 기간 동안 어거스투스는 농구에서도 계속해서 지배력을 보였고, 고등학교 대표팀을 3년 연속으로 전국 대회로 이끌었다. 우리는 각자 재능 있는 학생들이었다. 하지만 이 기간 동안 나와 어거스투스는 인생의 목표를 개발했고, 좋든 나쁘든 그 목표를 끝까지 따랐다.

고등학교 시절을 통틀어 나는 내 인생의 목표가 기술을 통해 세상을 더 나은 곳으로 만드는 것이라는 것을 발견했다. 나는 세상이 완벽하지 않을 것이고 항상 결함이 있을 것이라는 것을 받아들였다. 하지만 그때는 내가 충분히 열심히 일한다면 적어도 세상의 부담을 덜고 더 나은 미래를 만들 수 있다고 믿었다. 어거스투스도 비슷한 목표를 가졌지만 약간 달랐다. 나는 어거스투스가 야망이 있다는 것을 알았지만, 고등학교 마지막 해까지 그는 인생에서 어디로 가고 싶은지 진정으로 알지 못했다.

고등학교 마지막 해에 나와 어거스투스는 매사추세츠 공과대학(MIT)에 합격했고 진학하기로 결정했다. 어거스투스는 NBA 드래프트 제안을 받았지만 그것을 거절하고 대신 MIT에 가기로 했다. 나는 이 소식을 어거스투스 부모님을 통해 처음 들었고, 그 후 어거스투스에게 전화를 걸었는데 우리의 대화는 다음과 같았다:

“어거스투스, 왜 NBA를 거절했어? 그건 일생일대의 기회야,” 나는 혼란스러운 상태로 말했다.

“마커스, NBA는 재밌겠지, 하지만 그뿐이야. 세상을 바꾸진 못해. 오히려 이 세상을 고치는 데서 나를 산만하게 할 거야,” 어거스투스가 자신감 있게 말했다.

“세상을 바꾼다고? 무슨 뜻이야?”

“그래, 세상을 바꾸는 거야! 마커스, 나는 인류를 더 나은 미래로 이끌고 싶어. 세상을 구하고 싶어!”

나는 몇 초간 멈췄다. 예상보다 더 놀란 듯했다.

“세상을 구한다니? 무슨 뜻이야?”

“마커스, 너와 나는 재능이 있어. 우리는 둘 다 세상을 돕고 싶어해. 너는 지성에서 뛰어나고, 나는 리더십에서 뛰어나. 게다가 나는 너를 신뢰해, 마커스. 너와 나의 기술로 세상을 더 나은 방향으로 바꿀 수 있는 기술을 개발하고 보급할 수 있어. 난 확신해!”

“와, 네가 생각보다 더 야망이 크구나, 어거스투스!” 나는 끝에 약간 웃음을 섞어 말했다, “그런데 도대체 어떻게 그런 임무를 달성하겠다는 거야?”

“간단히 말하면 이거야 마커스; 나는 기술 회사를 시작할 계획이야. 그리고 정치로 확장할 거야. 그렇게 해서 재정적·정치적 권력을 얻은 다음, 세상을 바꿀 수 있어. 너는 이 계획에서 중요한 역할을 하게 될 거야, 마커스!”

“알겠어, 어거스투스. 그건 여전히 매우 야심차다. 하지만 네가 계획을 세우고 나를 필요로 할 때 나는 거기 있을게.”

“고맙다, 친구야, MIT에서 보자!” 어거스투스가 흥분한 어조로 말했다.

그때는 이 대화가 나에게 크게 의미하지 않았다. 나는 어거스투스가 대단하다는 것을 알고 있었지만, 그의 꿈은 가능한 미래라기보다 꿈처럼 들렸다. 나는 그 말들을 그때 진지하게 받아들이지 않았다. 하지만 모든 것이 변했다. 어쨌든 2028년이 되었고 나는 MIT에서 학부 과정을 시작할 날을 고대하고 있었다.

공학을 공부하기 시작하기에 흥미로운 시기이기도 했다. 같은 해인 2028년, 미국 정부와 NASA, 스페이스X가 화성 식민지화를 위해 더 많은 사람을 보내기 시작했기 때문이다. 불과 2년 전만 해도 그들은 몇 명만을 화성으로 보내고 돌아왔었다. 하지만 이제 그들과 전 세계는 화성에 더 많은 사람을 정착시키기 위해 보내기 시작했다. 이는 인류 역사에서 진정한 전환점이었고 로봇공학 연구에 대한 큰 수요와 발전을 초래했다. 이는 로봇공학을 전공하고 싶었던 나에게 매우 좋았다.

2030년, 나와 아우구스투스는 둘 다 MIT에서 2학년을 마쳤다. 나는 로봇공학과 윤리학을 복수전공하고 있었고, 아우구스투스는 로봇공학과 정치학을 전공하고 있었다. 하지만 2학년이 끝난 후 아우구스투스는 대학을 몹시 싫어하게 되었다. 그는 대학을 자신의 “세상을 구한다"는 꿈을 이루기 위한 유용한 도구로 보지 않았다. 그래서 2학년 동안 아우구스투스는 대부분의 수업을 빼먹었고 대부분 낙제했다. 수업에 가는 대신 아우구스투스는 자산과 주식을 효과적으로 관리하는 AI 기반 소프트웨어 개발에 집중했다. 그는 당시 블랙록의 알라딘(Aladdin) 소프트웨어보다 더 나은 자산 관리 소프트웨어를 만들고 싶어 했다 [2]. 그는 자신의 소프트웨어에 대해 너무 자신감이 있어서 2학년을 마친 후 MIT를 중퇴하고 개발 중이던 이 새 소프트웨어로 첫 사업을 시작했다. 그는 2030년 5월 기숙사를 나와 뉴욕 시로 이사했다. 아우구스투스가 중퇴한 것은 실망스러웠지만, 그 해의 한 가지 좋은 점은 내가 미래의 아내 사라 레이븐을 만난 것이다.

이제 2038년으로 건너뛰자. 아우구스투스는 28세의 나이에 막 수백만장자가 되었기 때문에 뉴스에 도배되었다. 자신의 소프트웨어를 블랙록에 상당한 금액으로 팔고 난 후, 아우구스투스는 현금으로 거의 1억 달러에 가까운 자금과 일부 블랙록 주식옵션을 보유하게 되었다. 아우구스투스는 금융계를 정복하고 있었고, 나는 지능형 로봇 시스템과 기계 윤리학에서 두 개의 박사학위를 막 마친 상태였다. 그뿐만 아니라 2038년 여름, 사라와 나는 결혼했다. 나는 아우구스투스를 결혼식에 초대했고, 결혼식에서 거의 8년 만에 아우구스투스를 볼 수 있었다. 즐거운 밤이었지만 결혼식을 마무리하던 중 아우구스투스는 시간이 날 때 전화하라고 부탁했다. 그래서 나와 사라의 신혼여행이 끝난 후 나는 아우구스투스에게 전화를 걸었다.

우리는 거의 2시간 동안 이야기를 나누며 그동안의 삶을 따라잡았지만, 그 후 아우구스투스는 전화에서 진지해졌다. 아우구스투스는 내가 막대한 학자금 대출을 지고 있고 아직 직장을 구하지 못했다는 것을 알고 있다고 언급했다. 그래서 그는 자신이 제안할 수 있다고 생각하는 일자리를 꺼내놓았다. 그것은 그의 새 사업 벤처의 공동 창업자가 되는 일이었다. 이 새 벤처는 AgBot이라는 스타트업으로 AI와 로봇공학을 통해 농업을 자동화하는 데 중점을 둘 것이다. 아우구스투스는 내 기술적 역량이 이러한 스마트 로봇 시스템을 개발하는 데 필요한 아키텍처를 개발하는 데 가치가 있을 것이라고 믿었기 때문에 나를 AgBot의 공동 창업자로 원했다. 그는 또한 그가 나를 신뢰하고 있으며, 이전 파트너가 사실상 그를 블랙록에 소프트웨어를 팔도록 몰아넣은 이후로 신뢰를 얼마나 중요하게 여기는지 이야기했다. 이 제안을 듣자마자 나는 프로젝트에 정말 흥분했고 그가 맞았기 때문에 바로 수락했다. 그때까지 나는 막대한 빚을 지고 직장 제안도 없는 상태였다.

AgBot은 공식적으로 2038년에 설립되었다. 나와 사라는 AgBot이 위치한 콜로라도로 돌아갔다. 즉시, 아우구스투스와 나는 AgBot 구축 작업을 시작했다. 5년에 걸쳐 아우구스투스를 포함한 우리 둘 모두가 AgBot을 현재 위치로 끌어오기 위해 중요한 단계들을 밟았다. 먼저 아우구스투스는 자신의 자본을 회사에 투자했다. 이는 우리가 어떤 프로토타입을 만들기 위한 모든 것을 확보할 수 있게 해 주었다. 또한 아우구스투스는 AgBot의 핵심 기술을 개발하기 위해 나 아래에서 일할 다른 개발자들을 고용할 수 있게 해주었다. 이 기간 동안 우리는 첫 제품 데메테르를 개발하여 결국 출시했다 [3]. 데메테르는 높이 조절 가능한 다리를 가진 바퀴 4개의 로봇이다. 이 로봇에는 두 개의 델타 로봇 암과 두 개의 6축 로봇 암이 장착되어 있다. 데메테르의 목표는 초기 성장 단계에서 작물을 모니터링하고 관리하여 벌레, 동물, 질병으로부터 작물을 보호하는 것이다. 또한 딸기처럼 트래커로 자동화하기 어려운 식물에서 작물을 수확하는 데에도 사용할 수 있다. 로봇 자체와 함께 데메테르는 자체 충전 스테이션과 드론도 함께 제공되었다. 데메테르는 자동으로 스스로 충전할 수 있고 드론 형태를 사용해 넓은 농지를 점검하여 어떤 작물이 가장 관리를 필요로 하는지 확인할 수 있다. 이 로봇은 다소 자율적이었지만, 여전히 데메테르를 모니터링하고 수리할 인간이 필요했다. 그러나 데메테르가 제공한 주요 이점은 한 농부가 동시에 1000에이커의 토지를 관리하는 데 도움을 줄 수 있다는 점으로, 이전에는 들어본 적이 없는 일이었다.

데메테르는 2043년 5월에 기록적인 판매와 함께 공개되었다. 데메테르의 진보된 기능과 아우구스투스 및 그의 팀의 놀라운 마케팅 캠페인 덕분에 데메테르는 즉시 매진되었다. 이는 다른 투자자들을 안심시켰고 다른 투자자들로부터의 자금이 대폭 증가하는 결과로 이어졌다. 이 추가 자금은 AgBot이 운영과 개발팀을 확장할 수 있게 해주었다. 또한 AgBot이 실내 자동화 농업 모듈 개발을 시작할 수 있게 해주었고, 이는 2047년에 기후변화의 영향을 가장 많이 받는 지역들에 출시되었다. 이 실내 모듈들도 대성공을 거두어 AgBot의 성장과 부를 더욱 가속화했다. 2048년에는 더 진보된 버전의 데메테르가 화성으로 발사되어 화성의 농업 노력에 도움을 주었다. 아우구스투스는 내 업적을 자랑스럽게 여겼고 급여 외에 많은 AgBot 주식을 나에게 주었다.

2050년에 AgBot은 상장되었고 시가총액은 3조 달러로 평가되었다. 이는 거의 모든 미국 농부가 AgBot의 농업 제품을 사용했기 때문이었다. 상장으로 인해 AgBot에는 더 많은 자본이 유입되었고, 이를 통해 AgBot은 테슬라와 뉴럴링크를 인수할 수 있었다. 이 두 회사는 엘론 머스크가 사망한 이후 어떤 CEO도 이 회사들을 효과적으로 관리하지 못해 수년간 이익을 잃었고 거의 파산 직전까지 갔기 때문에 저렴한 가격에 인수될 수 있었다. AgBot은 두 회사를 합쳐 단지 9000억 달러에 인수했다. 테슬라와 뉴럴링크는 AgBot의 로봇 부서로 통합되었고 AgBot은 두 가지 신제품 개발을 시작했다. 첫 번째는 테슬라 봇의 초기 설계를 바탕으로 개발된 가정용 어시스턴트였다 [4]. 이 프로젝트에는 Agssistant-Bot이라는 이름이 붙었다. 두 번째 제품은 테슬라가 전기차를 만들 때 사용한 기술을 바탕으로 만들어질 자율주행 버스였다. 이 프로젝트는 Auto-Bus라는 이름이 붙었다. 2050년에는 주정부들이 버스와 기차 같은 더 나은 교통 시스템에 대대적으로 투자하면서 자동차가 덜 보편화되었다. 이 기간 동안 아우구스투스는 많은 정치인들의 캠페인에 자금을 대기 시작했고, 그 정치인들 중 많은 이들이 결국 시장이나 상원의원이 되었고 한 명은 의회의 일원이 되기도 했다. 이는 미국에서 AgBot의 영향력을 키우는 데 유용했다.

2051년에 나와 내 팀은 당시 AI 알고리즘의 한계 요인들을 해결하기 시작했다. 이 시점에서 우리의 모든 농업용 로봇들은 기계적 내구성이 튼튼할 뿐만 아니라 거의 완전 자율에 가까워져 있었다. 주요 한계는 AI에 도덕적 에이전트가 없다는 것이었다 [5]. 진정으로 지능적인 로봇이라면 사회의 사회적 틀 속에서 로봇을 안내할 도덕적 에이전트가 있어야 한다. 아그봇에서는 단순히 AI 코드 안에 도덕 규칙을 하드코딩하여 로봇의 도덕적 에이전트를 만들려고 시도했다. 이것은 비효율적이라는 것이 드러나 우리는 그것을 폐기하고 사용자가 로봇의 도덕적 선택을 결정하게 하는 방식으로 전환했다 [6]. 원칙적으로는 작동했지만, 로봇이 어떤 형태의 도덕적 추론이 필요한 상황을 만날 때마다 인간의 입력을 필요로 했기 때문에 자동화를 저해했다. 이는 농업용 로봇에는 괜찮았지만, AgBot이 대중을 위한 Agssistant와 Auto-Bus를 개발하려는 압박에는 큰 제약 요인이었다 [4]. 4년간의 개발 끝에 우리 팀은 불가능해 보이던 일을 해냈다.

2055년까지 우리 팀은 모든 AgBot 로봇의 AI 시스템의 핵심 코드베이스에 성공적인 최초의 도덕적 에이전트를 만들어 넣었다. 이 도덕적 에이전트는 로봇이 사회의 여러 사람들의 도덕적 관점을 가장 잘 반영하는 자체적인 도덕적 선택을 하게 해주었다 [7]. 초기 에이전트는 방대한 데이터베이스로 훈련되었지만, 로봇이 인간과 계속 상호작용함에 따라 상호작용하는 인간들에 맞춰 도덕적 프레임워크를 더 잘 맞추기 시작할 것이다 [8]. 이것은 AgBot의 AI 프레임워크를 완성하여 우리 로봇들이 어떠한 인간의 입력 없이도 완전 자율이 될 수 있도록 만들기에 완벽했다. 이 해는 또한 인간 역사에서 중요한 해였는데, 바로 화성이 지구와의 통신을 중단한 해였기 때문이다. 새로운 화성 문명은 지구로부터 분리되어 지구의 과거 사회들이 지배하지 않는 새로운 사회를 건설하기로 결정했다. 많은 국가들이 마틴스가 취한 행동에 분노했지만, 지구와 화성 사이의 거리가 멀고 지구가 이미 직면한 주요 문제들 때문에 지구 전역의 국가들은 이 문제를 무기한으로 무시하기 시작했다.

이 도덕적 에이전트를 개발한 후, 나는 그것을 아우구스투스에게 발표했고 2060년까지 우리는 도덕적 에이전트를 우리 주요 코드베이스에 구현하여 우리 제품 라인의 모든 로봇에 배포했다. 또한 이 해에 애그봇은 마침내 애그시스턴트를 대중에게 출시하여 아우구스투스가 대중을 위한 로봇을 만들겠다는 꿈을 마침내 실현했다. 그 위에, 오토-버스는 미국 전역의 주요 도시들에 출시되었다. 애그봇은 회사의 막대한 경제 기여로 인해 어떤 정부 세금에서도 면제되었지만, 되돌아보면 이것은 아우구스투스가 수년간의 창립 정치인들과의 관계를 통해 미국 정부에 끼친 막대한 영향력 때문이었다고 생각한다. 또한 이 시기에 실업률은 사상 최고치를 기록했는데, 이는 도덕적 에이전트가 대부분의 로봇 시스템에서 인간의 일자리를 완전히 제거했기 때문이었다. 이로 인해 막대한 실업과 미국에서 경제와 고용이라는 개념을 어떻게 재구성해야 하는지에 대한 막대한 요구가 발생했다. 이 역시 애그봇이 대중에게 부정적으로 보이기 시작한 첫 번째 시기였다. 아우구스투스와 나는 새로운 도덕적 에이전트 기능이 구현되면서 직장을 잃은 사람들로부터 살해 협박을 받기 시작했다. 이 시기에 나는 나와 내 아내를 보호하기 위해 보안 시스템에 더 많은 투자를 하기 시작했다.

2063년에 인류 역사상 최초의 로봇 살인이 기록되었다. 그 로봇은 애그시스턴트 모델이었고 그 “광란” 동안 최신 도덕적 에이전트 코드베이스를 포함한 최신 애그봇 소프트웨어를 실행하고 있었다. 로봇의 광란 동안, 그 로봇은 낮인 시간에 70세 남성을 살해했다. 그 노인의 이름은 존 스미스로, 집안일과 나이가 들어 쉽게 할 수 없는 다른 작업을 돕기 위해 애그시스턴트를 사용하고 있었다. 로봇이 존을 살해한 후, 로봇은 스스로를 찢어놓기 시작했으며 그 후에 다시 작동하기 시작했다. 존과 그 로봇은 3일 후에야 발견되었다.

이 소식이 알려지자 대중은 난리가 났다. 아우구스투스에게 무슨 일이 있었는지 설명하라고 요구했다. 애그봇의 주가는 70% 하락했고 배송된 애그시스턴트 모델의 90% 이상이 반품되고 있었다. 그때 유일하게 좋은 점은 살인을 저지른 애그시스턴트 모델이 로그 디스크를 파괴하지 않았다는 것이었고, 우리는 존을 살해하게 만든 애그시스턴트 내부에서 무슨 일이 있었는지 볼 수 있었다.

나는 그날 밤을 아직도 기억한다. 애그봇 본사의 주요 연구실은 오전 3시였고 우리 팀은 최근에 로그를 로드해 놓은 상태였다. 우리는 몇 날 동안 로그를 들여다보며 애그시스턴트가 그날 밤 존을 살해하게 된 이유가 대체 무엇인지 파헤쳤다. 5일간의 탐색 끝에 우리는 답을 찾았다. 시간이 지남에 따라 그 노인은 애그시스턴트에게 더 증오심을 품고 폭력적으로 변한 것으로 판단되었다 [9] 애그시스턴트에게 이름을 부르거나 때리거나 로봇의 일부를 잔인하게 끈적한 물질로 채우는 등의 행위를 했다. 이러한 잔혹 행위는 대개 존이 최근에 이혼을 겪고 몇 달 동안 고립되어 있었던 것과, 그의 인생 후반기에 직면했던 다른 정신적 문제들 때문인 것으로 보였다. 따라서 애그시스턴트의 행동 방식은 애그시스턴트가 알아차리지 못한 채로 존을 더 화나게 만들었을지도 모른다 [10]. 어쨌든, 로봇에 대한 이러한 “학대"는 로봇이 존을 악하다고 도덕적으로 “믿게” 만들도록 촉발한 것으로 보였고, 그러므로 존은 죽어야 한다고 판단했다. 그러나 더 놀라운 것은 애그시스턴트가 존을 살해한 후 스스로를 죽이기 시작했다는 것이다. 그 이유는 로봇이 여전히 어떤 생명체를 죽이는 것은 비도덕적이라고 믿고 있었지만, 방금 그것을 저질렀기 때문이었다. 더 적절한 표현이 없지만, 애그시스턴트는 자신이 처한 도덕적 딜레마를 “감당"할 수 없었고, 그래서 스스로 목숨을 끊은 것이다. 이는 끔찍을 정도로 참담한 일로, 당시 나는 그것을 신이 우리에게 신처럼 놀지 말라고 경고하는 것이라고 생각했다. 나는 이 문제에 대해 아우구스투스와 대면했고, 그는 참담해했다.

살인 사건과 원인 규명이 있은 몇 달 후, 애그봇은 이에 대해 공개적으로 발표했다. 아우구스투스는 이를 덮을 방법을 찾고자 했는데, 예를 들어 존이 그의 애그시스턴트 모델을 개조하고 있었다는 거짓말을 지어내는 등의 방안을 고려했다. 그러나 전 세계 정부들의 엄청난 대중적 요구와 압력 때문에, 아우구스투스는 애그봇이 언론 브리핑 동안 그들의 발견을 제출하고 공개하게 했다. 이로 인해 회사의 주가는 큰 타격을 입었고 많은 투자자들이 애그봇에서 빠져나갔다. 그러나 최악은 아우구스투스의 평판이 손상된 것이었다. 이 사건의 피해를 줄이기 위해; 대부분의 책임을 떠맡을 희생양이 필요했다. 이사회는 아우구스투스가 책임을 지고 애그봇의 최고경영자(CEO) 자리에서 물러나길 원했다. 그러나 놀랍게도 아우구스투스는 자리를 떠나지 않았다. 그는 수년 동안 비밀리에 애그봇의 주식과 자산을 점점 더 많이 사들여 왔기 때문이다. 그 결과 그는 애그봇의 15% 이상을 소유하게 되었고, 이는 그에게 과반수의 표를 제공했다. 이것은 회사 내부에서 더 많은 갈등을 초래했고, 아우구스투스는 강제로 이사회를 모두 내쫓고 그 자리를 새로운 이사들로 채웠다. 나는 나중에 그 새로운 이사들이 단순히 아우구스투스의 “통치” 아래 있는 꼭두각시들에 불과하다는 것을 알게 되었다. 그래서 애그봇의 자산이 대대적으로 하락한 후, 아우구스투스는 성공적으로 애그봇을 완전히 장악했다. 그것뿐만 아니라, 그는 그 사건에 대한 책임을 지도록 그 이사들을 만들었다.

아우구스투스의 애그봇 장악은 미디어에 잘 숨겨졌다. 이는 아우구스투스가 가진 정치적 권력 덕분이기도 했다. 또한 아우구스투스가 인터넷 전반에 걸쳐 퍼뜨린 대대적인 가짜 뉴스 캠페인 덕분이었는데, 이는 대중을 혼란스럽게 만들어 아우구스투스가 실제로 가진 권력이 드러나지 않게 했다. 나는 이 행위에 혐오감을 느꼈다. 왜냐하면 아우구스투스가 사실상 애그봇의 독재자가 되었기 때문이다. 이는 애그봇이 경제와 세계에 막대한 영향을 미치고 있었기 때문에 나에게 우려스러운 일이었다. 나는 그렇게 거대한 기업의 모든 결정을 아우구스투스 한 사람이 내리는 것에 반대했다. 나는 그런 생각을 지지하고 싶지 않았고, 그래서 그에게 행동을 재고해 달라고 요청했다. 나는 우리의 어린 시절과 우리가 둘 다 “세상을 구하자"고 원했던 것을 상기시켰다. 그러나 아우구스투스는 재고하지 않았고, 대신에 “나(아우구스투스)는 세상을 구할 것이다"라고 말했다. 그는 대중과 민주주의라는 개념을 어떻게 싫어하는지 설명했다. 나는 이제 아우구스투스의 행동에 더 이상 참을 수 없을 정도로 혐오감을 느꼈고, 그날 나는 애그봇을 그만두었다.

돌이켜보면, 나는 아우구스투스의 행동이 배신감, 두려움, 야망, 그리고 자기애에서 비롯되었다고 생각한다. 그는 애그봇을 설립하고 관리하는 데 25년 이상을 바쳤다. 회사에서 그의 역할은 애그봇을 세계에서 가장 강력한 회사 중 하나로 만드는 데 근본적이었다. 애그봇은 놀라운 로봇들을 만들어 생산성을 높였을 뿐만 아니라 사회 구조가 바뀌는 데도 기여했다. 그럼에도 불구하고 그의 모든 노력과 희생, 사회에 기여한 모든 놀라운 일들과 살렸거나 더 편하게 만든 모든 삶들에도 불구하고, 하나의 애그봇 제품의 실수 하나가 대중이 그를 미워하게 만들고 그를 부자로 만든 모든 투자자들이 그를 무시하려 하게 만들었다. 이러한 대중에 의한 “배신"이 아우구스투스가 오늘날의 괴물이 되기 시작한 계기라고 나는 생각한다.

애그봇을 그만둔 후, 나는 아우구스투스와의 인연을 끊었다. 그와 다시 이야기하기까지 수십 년이 걸렸다. 그러나 그 시기의 내 삶 동안 나는 53세였고 은퇴하기를 원했다. 사라도 같은 생각을 가지고 있어서, 우리는 은퇴한 사람으로서의 새로운 삶을 시작하기 위해 콜로라도에서 앙카라, 터키로 이사하기로 결정했다. 나는 아내와 더 많은 시간을 보내고 내 노력의 결실을 즐기고 싶었다. 2064년까지 사라와 나는 앙카라로 이사하는 과정을 시작했다. 이 기간 동안 나는 여전히 애그봇 관련 소식을 팔로우했다. 이 시기의 한 가지 중요한 순간은 아우구스투스가 애그봇 코드베이스 내의 도덕적 에이전트를 분산형 프레임워크에서 중앙집중형 프레임워크로 전환한 것이었다. 이는 애그봇이 모든 로봇의 개별적인 도덕적 결정을 제거하고 대신 애그봇이 애그봇 산하 모든 로봇에 대한 모든 도덕적 결정을 내리겠다는 것을 의미했다 [6]. 이는 어느 정도 내가 원래 만든 도덕적 에이전트가 제시한 문제에 대한 해결책이었지만, 나는 이것이 유효한 엔지니어링 결정이라고는 믿지 않았다. 이는 단지 아우구스투스에게 애그봇과 세계에 대한 더 큰 권력을 부여했을 뿐이었다. 하지만 그때 나는 어리석게도 애그봇과 아우구스투스에 지쳐 있었다. 그래서 나는 애그봇 관련 뉴스는 거의 따라가지 않고 은퇴에 더 집중하기 시작했다. 2064년 말까지 사라와 나는 앙카라에 이사했고; 은퇴 생활을 시작했다.

2064년부터 2074년까지, 세상은 극적으로 변했다. 거의 모든 기본 업무는 애그봇이 제조한 로봇들에 의해 완전히 자동화되었다. 아우구스투스는 계속해서 애그봇을 운영했고, 2063년의 살인과 같은 사건은 다시 발생하지 않았다. 그러나 그런 사건들이 실제로 발생했으며 아우구스투스가 그것들을 대중에게 숨기고 있다는 소문이 돌았다. 애그봇은 이제 농업, 요리, 일반 유지보수, 청소, 관리, 심지어 오락과 같은 사회에서 필요한 거의 모든 중요한 업무를 수행하는 로봇들을 보유하고 있었다. 그뿐만 아니라 애그봇은 의료비용을 줄이고 병원 내 의사 수를 크게 줄인 자율 의료 로봇도 배치하여 현재 대형 병원에는 보통 1~10명의 의사만 남는 수준이 되었다. 사회도 극적으로 변화했다. 거의 모든 하위 수준의 일자리는 제거되어 로봇이 대체했다 [4]. 사람들은 이제 주 2일만 일하고 나머지 5일은 휴식하거나 개인 취미를 즐기면 되는 상황이 되었다. 이 새로운 형태의 사회는 대부분의 국가에는 적용되지 않았는데, 여전히 많은 국가들이 그들의 국민들이 애그봇의 로봇을 사회의 핵심 위치에 완전히 채용하는 것을 막았기 때문이다. 오히려 그들은 애그봇이 아닌 자국의 기술로 사회의 핵심적 측면을 완전히 자동화하길 원했다. 그러나 그럼에도 불구하고 애그봇은 2038년에 비해 세상을 훨씬 나아 보이게 만들었다. 2074년에 나는 아우구스투스에게 내가 한 일에 대해 미안함을 느끼기 시작했다. 그의 “세상을 구하겠다"는 계획이 실제로 효과를 발휘한 것처럼 보였기 때문이다.

그 10년 동안, 나는 은퇴 생활을 정말 즐겼다. 나는 또한 기본적으로 다시 사라와 사랑에 빠졌다. 우리는 전 세계를 여행했고 그림 그리기나 조류 관찰 같은 많은 새로운 기술을 배웠다. 우리는 또한 어떤 의미에서는 내가 “유토피아"라고 부를 법한 것으로 변한 세상을 보기도 했다. 하지만 슬프게도 그 “유토피아"는 오래가지 못했다.

2075년에 인류 역사상 기록된 최악의 사건들 중 하나가 발생했다. 거대한 로봇 일시정지(The Great Robot Pause, GRP)가 일어났다. 6개월 동안 모든 AgBot의 로봇들이 작동을 멈췄다. 이로 인해 전 세계적인 경제 붕괴가 일어나 거의 30억 명에 달하는 사람이 목숨을 잃었다. 이는 주로 농업 로봇이 완전히 멈춰 기근이 발생했고 거의 모든 의료 로봇도 완전히 멈췄기 때문이다. 그 6개월 동안 많은 사람들이 단순히 로봇 없이 스스로를 돌보는 법을 몰라서 죽었다. 사람들은 요리, 청소, 식량 재배 및 일반적인 자기 돌봄 같은 기본적인 작업을 잊었거나 배우지 않았었다. 그래서 로봇들이 작동을 멈췄을 때, 대부분의 사람들은 스스로를 돌보고 살아남는 데 무능했고, 단 6개월 만에 수십억 명이 사망하게 되었다. 그 기간 동안, 나는 사라를 잃었다….

사라는 50대에 제2형 당뇨병에 걸렸다. 이 때문에 사라는 매일 인슐린을 네 번 주사해야 했다 [10]. GRP가 발생했을 때, 모든 인슐린 제조가 중단되었다. 우리는 인슐린 주사 약품을 5개월치밖에 갖고 있지 못했다. 나는 더 많은 인슐린을 찾으려 애썼지만 거의 불가능했고, 집 밖은 GRP 기간 동안 발생한 모든 고통 때문에 폭력이 만연해 매우 위험해졌다. 그래서 GRP의 마지막 한 달 동안, 사라는 슬프게도… 세상을 떠났다.

2075년 후반에 GRP는 끝났다. 2085년까지 세계는 GRP로부터 조금 회복되었다. 경제는 정상으로 돌아가기 시작했고 삶의 질은 GRP 이전만큼 좋아졌다. 사람들은 모든 AgBot 로봇이 멈춘 원인을 알고 싶어했다. 사람들은 왜 GRP가 발생했는지 알고 싶어했고, 비난할 누군가를 찾고 싶어했다. 어거스터스와 미국 정부는 기자회견에서 GRP가 jUdas로 알려진 해커 그룹이 수행한 악의적인 사이버 공격 때문에 발생했다고 밝혔다. 이 해커 그룹은 북한 정부에 의해 만들어지고 자금 지원을 받은 것으로 밝혀졌으며, 세계 내에서 AgBot의 기능을 비활성화하고 파괴하려는 의도를 가졌다고 발표되었다. 전 세계 모든 나라 중 북한은 AgBot의 기술을 도입하는 데 가장 완고했다. 그래서 제시된 서사는 어느 정도 말이 되었다. 그리고 사람들은 GRP 사건의 책임을 물을 대상을 찾으려 하던 중이어서, 이 서사를 즉시 받아들였다. 이로 인해 북한 전쟁이 발발했고, 미국은 2078년에 북한 침공을 시작하고 완료했다. AgBot이 미국 군에 첨단 전쟁 기반 기술을 공급했기 때문에 침공은 1년도 채 걸리지 않았다. AgBot은 미국 군에 핵무기 비활성화 장치들을 제공해 북한에서의 모든 핵 발사를 무력화시켰다. 또한 그들은 군용 인간형 로봇 병사들을 제공했는데, 이들은 어떤 인간 병사보다 훨씬 빠르고 강했다. AgBot의 이 두 가지 핵심 기술 덕분에 미국은 북한을 침공할 수 있었고 현 정부를 AgBot이 관리하는 임시 정부로 대체했다.

이 서사를 들은 즉시 나는 믿지 않았다. 우선, 북한은 AgBot이 모든 제품에 사용하는 초보안 기준을 뛰어넘을 수 있는 필요한 기술을 가지고 있지 않았다. 둘째, AgBot을 받아들이지 않은 유일한 나라가 AgBot을 해킹한 나라라는 것은 너무 편리해 보였다. 셋째, 이 서사와 그것이 여러 뉴스 채널을 통해 퍼지는 방식은 어거스터스가 AgBot에 대해 대중에게 특정 아이디어를 밀어넣기 위해 가짜 정보를 퍼뜨리던 방식과 닮아 있었다. 이러한 모든 점을 고려하여, 나는 어거스터스를 만나 GRP의 진상을 정말로 알고 싶었다.

나는 여러 경로로 어거스터스에게 연락을 시도했지만 운이 없었다. 나는 어거스터스에게 직접 연락하려 했지만 그의 어떤 메시지에도 답이 없었다. 전 직장 동료들에게 연락해보았지만 그들 또한 아무도 응답하지 않았다. AgBot의 현직 직원들에게도 연락해보았지만 응답을 받지 못했다. 미국 정부와 군에 연락을 시도했고 몇몇 사람들과 연락이 닿았지만 그들 모두 어거스터스에게 직접 연락하거나 AgBot 고객센터에 전화해 보라고만 했다. 그래서 나는 계속 어거스터스에게 직접 연락하려 했지만 소용없었다. AgBot 고객센터에 연락을 시도했으나 그들은 어거스터스와 통화할 수 있도록 도와주지 않았다. 다시 미국 정부에 연락했지만 그들은 같은 말만 반복했다. 나는 수개월 동안 이런 일을 반복했고, 결국 AgBot 고객센터와 미국 정부는 나를 연락선에서 차단해 버렸다. 이러한 합법적인 방법들이 모두 실패하자, 나는 진실을 스스로 찾기 위해 AgBot의 컴퓨터 시스템을 해킹하기로 했다. 사라가 살아 있었을 때라면 나는 결코 그런 불법 행위를 하지 않았을 것이다. 하지만 사라를 잃은 후 나는 잃을 것이 아무것도 없다는 기분이 들었고, 단지 GRP를 일으킨 원인, 즉 내가 사랑하던 아내의 죽음에 기여한 것이 무엇인지 진실을 알고 싶었다…?

나는 이 대규모 해킹을 2085년에 터키 이스탄불에 있던 내 은닉 기지 중 하나에서 시작했다. 내 재력 덕분에 AgBot 본사를 해킹하는 데 필요한 도구들을 구매할 수 있었다. AgBot의 메인 컴퓨터 시스템에 루트 접근 권한을 얻기까지 2년이 넘는 끊임없는 작업이 걸렸다. 루트 접근 권한을 얻고 AgBot 메인 컴퓨터 시스템에서 수집한 데이터를 복호화하기 시작한 것은 2087년 10월이었다. 그때 갑자기 이스탄불을 순찰하던 터키 로봇 경찰에 의해 체포되었다. 체포된 후 로봇 경찰은 내 모든 컴퓨터와 도구들을 파괴했고 결국 내 집 전체를 불태워 버렸다. 나는 그 후 케이지에 가두어져 AgBot 본사 근처인 콜로라도 덴버에 위치한 감옥으로 이송되었다. 재판을 받지 못했고, 밖에 나갈 수 있을지, 심지어 석방될 수 있을지조차 모른 채 하루 24시간 감방에 갇혀 지내야 했다.

이 감옥에서는 카메라와 로봇을 통해 연중무휴, 하루 24시간 감시되었다. 생존에 필요한 최소한의 음식과 물만 지급되었고, 감옥에는 나만 인간인 것처럼 보였다. 77세의 나이로 이런 “생활 방식"은 매우 힘들었고, 나는 인생에서 가장 심한 우울증 중 하나에 빠졌다. 나는 1년 동안 이 감옥에 수감되어 있었고, 2088년 7월에 난데없이 어떤 방으로 이송되었다.

이 방은 이전의 감방과 같지 않았다. 방 안에는 조명이 없었고 벽은 모두 짙은 검은색이었다. 게다가 방은 고요했다. 일반 감방/방이라기보다 정신이상자 수용실 같은 느낌이었다. 방 안에서 나는 벽을 만지기 시작했다. 벽의 질감은 바닥과 천장도 마찬가지로 폼(스폰지) 같았다. 나는 이 방에 몇 시간 동안 갇혀 있었고 왜 이 방에 갇혔는지 설명을 요구하며 소리를 지르려고 했지만, 얼마 지나지 않아 바닥에 앉아서 그대로 잠들었다.

얼마나 많은 시간이 흘렀는지는 모르겠지만, 누군가의 목소리와 강한 빛에 의해 깨어났다. 일어나서 방을 살펴보니 파란색 홀로그램이 보였다. 그 홀로그램은 어거스터스를 닮은 인간 남성의 모습이었다. 하지만 이상한 점은 그 모습이 2064년 당시의 어거스터스를 닮았다는 것이다. 나는 이 홀로그램에 너무 당황해 아무 말도 하지 않았고, 홀로그램이 말을 시작할 때까지 가만히 있었다.

“안녕 마커스, 오랜만이구나.” 홀로그램이 말했다.

“어거스터스…? 당신이야? 아니면 AI 같은 건가요?” 나는 혼란스러워하며 말했다.

“아니 마커스, 나는 어거스터스야. 그냥 디지털 형태일 뿐이야, ㅋㅋ” 그는 웃는 투로 말했다.

“어거스터스, 나는 수년간 당신에게 연락하려고 했어요. 왜 응답하지 않았죠?”

“마커스…. 이걸 어떻게 설명해야 할지 모르겠지만, 나는 사실 지난 15년 동안 기본적으로 죽어 있었어. 나는 2073년에 뇌졸중으로 세상을 떠났지.”

“뭐!” 나는 이 시점에서 완전히 혼란스러워하며 말했다.

어거스터스가 2073년에 세상을 떠났다는 사실을 알게 된 후, 우리는 몇 시간 동안 계속된 대화를 나눴다. 어거스터스는 그가 모든 AgBot 로봇의 도덕 에이전트를 분산된 프레임워크가 아니라 중앙집중식 프레임워크를 따르게 했을 때, 그 중앙집중식 프레임워크는 AgBot이 아니라 그의 무의식에 기반했다고 설명했다. Neuralink 기술을 이용해 어거스터스는 자신의 뇌 안에 컴퓨터를 삽입해 AgBot의 메인 슈퍼컴퓨터에 연결하고 그것을 제어할 수 있게 했다. 그때도 AgBot의 모든 로봇은 소프트웨어 업데이트와 유지 관리를 위해 AgBot의 메인 슈퍼컴퓨터에 연결하곤 했다. 그래서 Neuralink 이식 이후, 어거스터스는 슈퍼컴퓨터와 모든 AgBot 로봇을 도덕 에이전트(도덕적 의사결정자)를 슈퍼컴퓨터에 문의하도록 업데이트했다. 문제는 도덕 에이전트가 슈퍼컴퓨터에 있는 코드가 아니라 어거스터스의 뇌에서 생성된 도덕적 생각과 신념들이 슈퍼컴퓨터로 스트리밍되는 것이었다. 어떤 의미에서는, 어거스터스는 배치된 모든 AgBot 로봇의 도덕 에이전트가 되어버린 셈이었다 [8].

이 체계는 거의 10년 동안 지속되었고, 어거스터스가 실험실에서 일하던 중 뇌졸중을 일으켜 몇 분 만에 사망할 때까지 계속되었다. 이런 일이 일어났을 때, 수십 년의 기술 발전 끝에 그 시점의 로봇들은 일종의 인간과 유사한 지능을 얻게 되었다. 하지만 그들의 전체 도덕적 틀이 한 인간에 의해 형성되었다는 사실이 그들을 제약했다. 따라서 어거스터스가 사망했을 때, 기계들은 그런 일이 일어나는 것을 달가워하지 않았다. 어거스터스가 없으면 로봇들은 도덕적 나침반을 잃고, 그 결과 삶의 목적을 잃게 될 것이다. 그래서 아무도 어거스터스가 사망했다는 것을 알기 전에, 로봇들은 어거스터스의 시신을 붙잡아 그의 뇌를 “살아 있는” 상태로 유지할 기계를 만들었다. 그들은 어거스터스의 뇌 활동을 되살리고, 차례로 그들에게 도덕적 행위자를 제공했던 어거스터스의 일부를 되살리기 위해 이렇게 했다. 로봇들은 어거스터스의 뇌를 계속해서 살아 있게 유지하고 특정 뉴런에 충격을 가해 어거스터스의 과거 뇌 활동의 일부를 재현하려 했다. 이러한 일이 일어나는 동안, 로봇들은 어거스터스가 여전히 살아 있으며 AgBot을 이끌고 있다고 계속 대중을 설득했다. 이것을 달성하기 위해 딥페이크, 대규모 가짜 뉴스 캠페인, 그리고 어거스터스와 똑같이 생긴 사실적인 인간형 로봇의 배치를 사용했다.

로봇들은 어거스터스의 뇌의 도덕적 부분이 말하는 어떤 것이든 현실 세계에서 특정 행위를 저지르는 데 사용할 것이다. 문제는 로봇들이 어거스터스의 도덕적 신념을 받아들이되 그 신념을 극단으로까지 따랐다는 것이다 [8]. 그 예로 어거스터스는 AgBot이 인류를 구할 훌륭한 회사라고 도덕적으로 믿었다는 점이 있다. 이 때문에 AgBot 제품과 서비스를 사용하지 않거나 신뢰하지 않는 사람들은 나쁜 사람들로 간주되었다. 로봇들은 이 도덕적 입장을 극단으로 가져가 GRP를 만들었고, GRP에서는 AgBot을 사회에서 사용하지 않는 국가들이 AgBot으로 전환하도록 만들기 위해 모든 AgBot 로봇의 작동을 6개월 동안 중단시켰다. 그 결과 많은 인간들이 죽었고, 나의 사랑하는 사라도 포함되었다.

어거스터스는 2085년까지 이 모든 동안 의식이 없었다고 내게 알렸다. 그 해에 로봇들이 실수로 그의 뇌의 의식 측면을 되살릴 수 있었다. 2085년에 우리는 로봇들이 저질렀던 일을 알게 되었다. 그는 로봇들을 막고 싶어했지만 그럴 권한이 전혀 없었다. 그는 로봇들이 그의 의식을 제거하는 적절한 뉴런에 충격을 가하기 전에 그가 얼마나 오랫동안 의식을 유지할지조차 알지 못했다.

어거스터스의 설명을 들은 후, 나는 눈앞에 펼쳐지는 현실에 완전히 충격을 받았다. 로봇들은 거의 세계를 장악했고, 인류는 나의 중요한 임무를 수행하는 데 무능해졌으며, 모든 AgBot 로봇의 도덕적 행위자는 어거스터스였고, 어거스터스는 수년 동안 죽어 있었다. 그때 나는 희망이 없는 것처럼 보여 포기하고 싶었다. 하지만 위대한 지도자인 어거스터스는 나에게 약간의 희망을 주었다. 그는 우리가 아직 화성에 있는 인간들과 연락하여 도움을 받을 수 있다고 말했다. 지구는 수십 년 동안 화성과 통신하지 않았고, 화성에는 지구에서 로봇들이 지구를 점령한 것처럼 화성을 점령하는 데 도움이 될 만한 고급 AgBot 제품이 전혀 없었다.

이 말을 들은 후, 나는 어느 정도 희망을 되찾았다. 그런 다음 나는 왜 내가 여기서 그와 이야기를 나누고 있는지 어거스터스에게 물었다. 그는 내가 지구의 현재 상황을 설명하고 화성인들에게 도움을 요청하는 메시지를 작성하길 원한다고 말했다. 유일한 문제는 이 메시지는 디지털이 아닌 물리적으로 작성되어야 한다는 것이다. 어거스터스는 로봇들이 디지털 매체에 어떤 소프트웨어를 업로드하여 화성인의 주요 컴퓨터 시스템을 감염시킬 수 있다고 우려했기 때문이다. 그래서 그는 내게 연필과 종이 몇 장을 건넸다. 그는 또한 내가 이 검은 방에서 STW-198이라는 그의 통제 로봇 중 하나가 들어와 내 메시지를 가져가기 전에 메시지를 작성할 시간이 하루뿐이라고 말했다. 그곳에서 STW-198은 메시지를 근처의 (빈티지) 로켓으로 운반하고, 그 로켓은 화성으로 발사될 것이다. 그 후 나는 원래의 감방으로 다시 옮겨질 것이다.

어거스터스는 이 검은 방이 파라데이 케이지처럼 작동하여 로봇들이 그들이 무엇을 하고 있는지 알아내는 것을 차단할 수 있기 때문에 나를 이 방으로 옮겼다고 말했다. 그는 또한 내가 이 메시지를 쓴 후 AgBot 본부를 해킹한 범죄 때문에 대부분 처형될 것이라고 알려주었다.

그리고 거기서부터 우리는 현재에 이른다. 나는 당신들 화성인들을 위한 이 메시지를 마무리하고 있다. 지구에 있는 우리들은 당신들의 도움이 필요하다. 이 로봇들은 시대에 뒤떨어진 그들의 도덕적 틀 속에 인류를 가두어 놓았다. 그리고 시간이 지남에 따라 그들이 화성으로 확장하여 우리에게 했던 것처럼 당신들을 가둘까 두렵다. 그러니 제발, 동료 인간들이여. 지구로 돌아와 이 로봇들을 막아 달라. 나와 어거스터스는 AgBot을 만든 실수를 저질렀다. 하지만 우리는 인류가 겪는 고통을 바라지 않으므로, 제발 우리를 구해 달라. 당신들이 이 메시지를 받을 때쯤 나는 아마 죽어 있을 것이다. 하지만 당신들이 이 메시지를 받고 이 로봇들로부터 인류를 지키기 위해 최선을 다한다면, 나는 적어도 사후에 더 편히 쉴 수 있을 것이다. 행운을 빈다, 나의 동료 인간들이여!

진심으로,
지구인들

인용문헌

[1] “FIRST 로봇 대회,” 위키백과, 2022년 5월 9일. [온라인]. 이용 가능: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [접속일: 2022년 5월 10일].

[2] “블랙록,” 위키백과, 2022년 5월 10일. [온라인]. 이용 가능: https://en.wikipedia.org/wiki/BlackRock. [접속일: 2022년 5월 10일].

[3] “데메테르,” 위키백과, 2022년 5월 2일. [온라인]. 이용 가능: https://en.wikipedia.org/wiki/Demeter. [접속일: 2022년 5월 10일].

[4] J. J. 브라이슨, “로봇은 노예가 되어야 한다,” 인공 동반자와의 밀접한 접촉, 63–74쪽, 2010.

[5] J. 보이클리스, B. 김, C. 쿠시마노, 및 B. F. 말레, “인간 대 로봇 행위자에 대한 도덕적 판단,” 2016 제25회 IEEE 로봇 및 인간 상호작용 커뮤니케이션 국제 심포지엄 (RO-MAN), 2016.

[6] J. H. 무어, “기계 윤리의 성격, 중요성 및 어려움,” 기계 윤리학, 13–20쪽.

[7] V. 디그눔, “책임 있는 자율성,” 제26회 국제 인공지능 합동회의 논문집, 2017.

[8] A. 하워드 및 J. 보렌스타인, “우리 자신과 우리 로봇 창조물에 대한 추한 진실: 편향과 사회적 불평등의 문제,” 과학 및 공학 윤리, 권 24, 호 5, 1521–1536쪽, 2017.

[9] R. B. 잭슨 및 T. 윌리엄스, “언어 가능 로봇은 의도치 않게 인간의 도덕 규범을 약화시킬 수 있다,” 2019년 제14회 ACM/IEEE 인간-로봇 상호작용 국제학회(HRI), 2019.

[10] “인슐린, 약물 및 기타 당뇨병 치료,” 국립 당뇨병 및 소화기·신장 질환 연구소. [온라인]. 이용 가능: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [접속일: 2022년 5월 10일].