Предыстория

Я написал короткую историю, Уменьшенный король, как свое финальное задание для моего курса Этика роботов (HASS400) в последний семестр моего бакалавриата в Колорадском университете горных наук. Для этого задания нам было поручено написать вымышленную короткую историю, которая вращалась вокруг этики роботов, а также ссылаться на некоторые статьи, которые мы читали в течение семестра в этой короткой истории. Требование к этой истории заключалось в том, что она должна была быть длиной 10 страниц, из которых я написал 21 страницу. Я очень увлекся этой короткой историей, поэтому я с ней «сошел с ума».

Теперь, ПРЕДУПРЕЖДЕНИЕ, я не великий писатель. Поэтому эта короткая история не идеальна и нуждается в доработке и большом переписывании. Но я горжусь ею и думаю, что это интересное чтение. На протяжении всех моих лет в школе я начал наслаждаться процессом написания, поэтому надеюсь расширить свои горизонты и писать другие вещи, такие как блоги, статьи и т. д.

Зная все это, оригинальная короткая история была сохранена в формате PDF в качестве требования задания. Но, чтобы уменьшить размер документа, я конвертировал историю в markdown. Зная это, всю короткую историю можно просмотреть/прочитать ниже. Надеюсь, вам понравится чтение, свяжитесь со мной в социальных сетях, если у вас есть какие-либо вопросы или мнения по поводу этой короткой истории.

Продолжайте читать, чтобы узнать Уменьшенный король…

УМЕНЬШЕННЫЙ КОРОЛЬ

Мехмет Ханифи Йылмаз
10 мая 2022 года

Аннотация

В будущем, где судьба Земли висит на волоске, Маркус Брюс, технологический вундеркинд, и его друг Август Эльрод, визионер, отправляются в миссию по преобразованию мира с помощью передовой робототехники. Их творение, AgBot, революционизирует глобальное сельское хозяйство и промышленность, обещая утопическое будущее. Но по мере роста их технологической империи непредвиденные последствия ставят под сомнение саму суть человеческой морали и свободы. Когда катастрофическое событие, известное как Великая пауза роботов, угрожает человеческому существованию, Маркус должен столкнуться с темной стороной их наследия и призвать к межпланетной помощи. “Уменьшенный король” — это захватывающая история о амбициях, власти и тонком балансе между человеком и машиной, побуждающая нас задаться вопросом о истинной цене прогресса.

История

Я здесь, чтобы предупредить вас о критической ситуации, в которой сейчас находится Земля! Если с этой ситуацией не справиться должным образом, она может легко привести человечество к его гибели. Я хотел бы объяснить эту ситуацию в нескольких предложениях, но, к сожалению, сложность этой ситуации требует от меня объяснить, что к ней привело, чтобы вы все действительно поняли ее серьезность.

Я являюсь ключевым фактором в том, что привело к текущей ситуации на Земле, так что позвольте мне хотя бы представиться. Меня зовут Маркус Брюс, я родился в маленьком городке в Колорадо под названием Урай в 2010 году. Урай — это пригородная зона, окруженная красивыми горами. Я родился у двух родителей, которые оба были учителями в средней школе. Мой отец был учителем математики, а моя мать — учителем естественных наук.

Я не помню много из своего раннего детства, потому что я бы сказал, что не приобрел истинного сознания до 12 лет, что было в 2022 году. В этом году я учился в средней школе и считался вундеркиндом, который действительно преуспевал в математике и естественных науках. Мой директор в школе хотел, чтобы мои родители перевели меня с 7 класса в 11 класс. Но мои родители не согласились с рекомендацией директора, потому что они хотели, чтобы у меня было нормальное детство. Я благодарен за это решение, потому что помню, что у меня было удивительное детство. Детство в то время, когда мир начинал все больше интегрироваться с технологиями. А не полностью погружаться в них. Теперь, узнав, что я был вундеркиндом, я сделал 2022 год особенным для себя. Но что действительно сделало 2022 год особенным, так это то, что это был год, когда я впервые встретил своего будущего давнего друга, Августа Эльрода. Того самого Августа, который в корне сыграл ключевую роль в событиях, приведших Землю к тому, где она сейчас.

Я встретил Августа в 7 классе в нашем местном клубе робототехники Lego. Первое, что я заметил в характеристиках Августа, это то, насколько он был амбициозным и целеустремленным. Даже будучи 12-летним мальчиком, Август был настоящим лидером, потому что он смог привести нашу местную команду Lego по робототехнике к победе на национальном чемпионате США. Что было действительно впечатляющим, учитывая, что все члены команды были детьми из средней школы, которым было мало дела до изучения инженерии за робототехникой. Но Август не только мотивировал этих детей хотеть учиться и побеждать, но и привел их к победе. Мы все уважали Августа как нашего лидера, и Август не очень уважал многих людей. Но он уважал меня за мой интеллект. Он впервые заметил меня за мой интеллект и был шокирован, встретив кого-то в своей возрастной группе, кто был умнее его. Август даже соревновался со мной на экзаменах, но всегда проигрывал. Но так же, как я всегда побеждал Августа в умственных способностях, Август обыгрывал меня в спорте. Он играл в баскетбол и футбол после уроков. Он был так хорош в этих видах спорта, что многие думали, что он станет профессиональным спортсменом, когда вырастет. Это уважение, которое мы испытывали друг к другу, в конечном итоге привело к долгой дружбе, которая продолжалась до наших взрослых лет.

После нашей средней школы мы начали учиться в старшей школе в 2024 году. В течение наших лет в старшей школе как я, так и Август участвовали в соревнованиях FIRST Robotics Competition (FRC) [1]. FRC была крупнейшим соревнованием по робототехнике в США и в основном состояла из старшеклассников [1]. Участвуя в FRC, мы узнали много о механической, электрической и компьютерной инженерии. И благодаря удивительным лидерским качествам Августа мы смогли выиграть национальный чемпионат 2 года подряд, что было беспрецедентно в то время. Также в это время я участвовал в нескольких математических конкурсах, а также участвовал в дебатах на этические темы. Именно в это время Август продолжал доминировать в баскетболе, ведя команду старшей школы в национальный чемпионат 3 года подряд. Мы оба были одаренными учениками по-своему. Но именно в это время как я, так и Август разработали свои жизненные цели и, к лучшему или худшему, продолжали следовать этим целям до самого конца.

На протяжении моего времени в старшей школе я обнаружил, что моя цель в жизни — сделать мир лучше с помощью технологий. Я принял, что мир не будет идеальным и что он всегда будет несовершенным. Но в то время я верил, что если я буду достаточно усердно работать, я смогу хотя бы облегчить бремя мира и создать лучшее будущее. У Августа были похожие цели, но они были немного другими. Я знал, что Август амбициозен, но я никогда не знал, куда он хочет направить свою жизнь, пока не наступил наш последний год в старшей школе.

В нашем последнем году в старшей школе как я, так и Август были приняты и решили поступить в Массачусетский технологический институт (MIT). Августу предложили возможность быть выбранным в НБА, но он отклонил это предложение и вместо этого решил пойти в MIT. Я впервые узнал об этом от родителей Августа, и после этого я позвонил Августу, и наш разговор был примерно таким:

“Август, почему ты сказал нет НБА? Это возможность, которая бывает раз в жизни”, — сказал я в состоянии замешательства.

“Маркус, НБА было бы весело, но только это, весело. Это не изменит мир. Если что-то, это отвлечет меня от исправления этого мира”, — сказал Август уверенно.

“Изменить мир? Что ты имеешь в виду?”

“Да, изменить мир! Маркус, я хочу вести человечество в лучшее будущее. Я хочу спасти мир!”

Я на мгновение замер, как-то более удивленный, чем думал, что буду.

“Спасти мир? Что ты имеешь в виду?”

“Маркус, ты и я одарены. Мы оба хотим помочь миру. Ты преуспеваешь как интеллектуал, а я преуспеваю как лидер. Не только это, но я доверяю тебе, Маркус. С твоими и моими навыками мы можем разработать и распространить технологии, которые могут изменить мир к лучшему. Я уверен в этом!”

“Вау, ты более амбициозен, чем я думал, Август!”, — сказал я с небольшим смехом в конце, “но как бы ты сказал, что мы достигнем такой задачи?”

“Краткий ответ таков, Маркус; я планирую начать технологический бизнес. Затем расшириться в политику. С этим, получить как финансовую, так и политическую власть. А оттуда мы можем изменить мир. Ты сыграешь критическую роль в этом плане, Маркус!”

“Хорошо, Август. Это все еще очень амбициозно. Но когда у тебя будет план, и ты начнешь нуждаться во мне. Я буду там.”

“Спасибо, мой друг, увидимся в MIT!” — сказал Август с восторгом.

В то время этот разговор для меня не значил много. Я знаю, что Август велик, но его мечты звучали больше как мечты, чем как возможное будущее. Я не воспринимал его утверждение всерьез в то время. Но все это изменится. В любом случае, был 2028 год, и я с нетерпением ждал начала своих бакалаврских исследований в MIT.

Это также было захватывающее время для начала изучения инженерии, потому что в том же году, 2028, правительство США, NASA и SpaceX начали отправлять больше людей для колонизации Марса. Всего 2 года назад они отправляли только несколько человек туда и обратно на красную планету. Но теперь они и остальной мир начали отправлять больше людей на Марс для поселения. Это был настоящий поворотный момент в истории человечества и вызвал большой спрос и развитие в области исследований робототехники, что было замечательно, потому что я хотел специализироваться на робототехнике.

В 2030 году я и Август закончили наш второй год в MIT. Я учился по двум специальностям: робототехника и этика, а Август учился на факультете робототехники и политических наук. Но после второго года в колледже Август начал действительно не любить учебу. Он не видел в ней полезного инструмента для достижения своей мечты “спасения мира”. Поэтому, во время второго года, Август пропускал большинство своих занятий и проваливал их. Вместо того чтобы ходить на занятия, Август сосредоточился на разработке программного обеспечения на основе ИИ, которое эффективно управляло бы активами и акциями. Он хотел создать программное обеспечение для управления активами, которое было бы лучше, чем программное обеспечение Aladdin от BlackRock на тот момент [2]. Он был так уверен в своем программном обеспечении, что бросил MIT после второго года и начал свое первое бизнес-предприятие с этим новым программным обеспечением, которое он разрабатывал. В мае 2030 года он выехал из общежития и переехал в Нью-Йорк. Мне было грустно, что Август бросил учебу, но единственное хорошее в этом году было то, что я встретил свою будущую жену, Сару Рейвен.

Теперь давайте перейдем к 2038 году. Август был на всех новостях, потому что он только что стал мультимиллионером в возрасте 28 лет. После продажи своего программного обеспечения за значительную сумму денег BlackRock, у Августа было почти 100 миллионов долларов наличными и несколько опционов на акции BlackRock. Пока Август завоевывал финансовый мир, я только что закончил свои две докторские степени по системам интеллектуальной робототехники и этике машин. Более того, летом 2038 года Сара и я поженились. Я пригласил Августа на свою свадьбу, и я увидел Августа впервые за почти 8 лет на своей свадьбе. Это была веселая ночь, но когда мы заканчивали свадьбу, Август попросил меня позвонить ему, когда у меня будет свободное время. Поэтому после медового месяца с Сарой я позвонил Августу.

Мы разговаривали почти 2 часа, и за это время мы обсудили жизнь, но после этого Август начал серьезно говорить по телефону. Август отметил, что знает, что у меня огромные долги по студенческим кредитам и что я еще не нашел работу. Затем он упомянул о работе, которую, как он думает, может предложить мне. Это была работа соучредителя его нового бизнес-предприятия. Это новое бизнес-предприятие - стартап под названием AgBot, который будет сосредоточен на автоматизации сельского хозяйства с помощью ИИ и робототехники. Август хочет, чтобы я стал соучредителем AgBot, потому что он считает, что мои технические навыки будут ценными для разработки необходимой архитектуры для создания таких умных роботизированных систем. Он также сказал мне, что доверяет мне и как он ценит доверие после того, как его последний партнер фактически заставил его продать свое программное обеспечение BlackRock. Услышав это предложение, я немедленно согласился, потому что был очень взволнован проектом, и он был прав, у меня были огромные долги и не было предложений о работе до этого момента.

AgBot официально основан в 2038 году. Мы с Сарой переехали обратно в Колорадо, потому что именно там находится AgBot. Сразу же Август и я начали работать над созданием AgBot. На протяжении 5 лет ключевые шаги были предприняты как мной, так и Августом, чтобы довести AgBot до того состояния, в котором он находится сейчас. Во-первых, Август инвестирует свой собственный капитал в компанию. Это позволило нам получить все необходимое для начала создания прототипов в качестве доказательства концепции. Это также позволило Августу нанять других разработчиков, чтобы они работали под моим руководством над разработкой ключевых технологий для AgBot. Именно в это время мы начали разрабатывать и в конечном итоге выпустили наш первый продукт, Деметра [3]. Деметра - это четырехколесный робот с регулируемыми по высоте ногами. Он содержит две дельта-роботизированные руки и две 6-осевые роботизированные руки. Цель Деметры - защищать урожай от вредителей, животных и болезней, контролируя и управляя этими культурами на ранних стадиях их развития. Он также может использоваться для сбора урожая с растений, которые не поддаются автоматизации с помощью трекера, таких как клубника. Вместе с самим роботом Деметра также поставлялась с собственной зарядной станцией и дроном. Деметра может автоматически заряжаться, и Деметра может использовать свою дрон-форму, чтобы проверять большие поля с урожаем, чтобы увидеть, какие культуры требуют наибольшего ухода. Этот робот был отчасти автономным, но все же требовал человека для мониторинга и ремонта Деметры. Но главное преимущество, которое предоставляла Деметра, заключалось в том, что она могла помочь одному фермеру управлять 1000 акрами земли одновременно, что было неслыханно ранее.

Деметра была выпущена для публики в мае 2043 года с рекордными продажами. Благодаря передовым функциям Деметры и удивительной маркетинговой кампании Августа и его команды, Деметра распродалась мгновенно. Это убедило других инвесторов и привело к значительному увеличению финансирования от других инвесторов. Это дополнительное финансирование позволило AgBot расширить свои операции, а также свою команду разработчиков. Это также позволило AgBot начать разработку модулей автоматизированного сельского хозяйства в помещениях, которые были позже выпущены в 2047 году в регионы мира, наиболее пострадавшие от изменения климата. Эти модули в помещениях также имели огромный успех, что только ускорило рост и богатство AgBot. В 2048 году более продвинутая версия Деметры была запущена на Марс, чтобы помочь с сельскохозяйственными усилиями на Марсе. Август гордился моей работой и дал мне много акций AgBot помимо моей зарплаты.

В 2050 году AgBot вышел на биржу и был оценен в 3 триллиона долларов. Это произошло благодаря тому, что почти каждый фермер в Америке использовал продукты AgBot для сельского хозяйства. Выйдя на биржу, я стал миллиардером за одну ночь, а Август стал мультимиллиардером за одну ночь. Выход на биржу также принес больше капитала в AgBot, что позволило AgBot приобрести Tesla и Neuralink. Tesla и Neuralink были куплены по низкой цене, потому что, с тех пор как Элон Маск скончался, ни один CEO не смог эффективно управлять этими компаниями. Это привело к годам упущенной прибыли для обеих компаний, что почти привело их к банкротству, пока AgBot не купил их обе за всего лишь 900 миллиардов долларов. Обе компании были объединены в Робототехнический департамент AgBot, и AgBot начал разрабатывать два новых продукта. Первый - это домашний помощник, который разрабатывался на основе первоначального дизайна Tesla Bot [4]. Этот проект получил название Agssistant-Bot. Второй продукт - это автономный автобус, который будет построен на технологии, используемой Tesla для производства электрических автомобилей. Этот проект получил название Auto-Bus. Автомобили стали менее распространенными в 2050 году из-за того, что штаты активно инвестировали в лучшие транспортные системы, такие как автобусы и поезда. В это время Август начал финансировать кампании многих политиков, и многие из этих политиков в конечном итоге стали мэрами, сенаторами, а один даже стал частью конгресса. Это оказалось полезным для увеличения влияния AgBot в Соединенных Штатах.

В 2051 году я и моя команда начали решать ограничивающие факторы текущих алгоритмов ИИ. На тот момент все наши роботы, основанные на сельском хозяйстве, были не только надежны по качеству сборки, но и близки к полной автономии. Основным ограничивающим фактором была нехватка у ИИ морального агента [5]. В действительно интеллектуальном роботе должен быть моральный агент, который поможет направлять робота через социальные рамки общества. В AgBot мы пытались создать морального агента для наших роботов, просто жестко закодировав моральные правила в коде ИИ. Это оказалось неэффективным, поэтому мы отказались от этого и переключились на то, чтобы позволить пользователю определять моральные выборы робота [6]. Это в принципе работает, но это ограничивало автоматизацию наших роботов, потому что требовало человеческого ввода всякий раз, когда робот сталкивался с чем-то, что требовало бы какой-либо формы морального рассуждения. Это было приемлемо для наших роботов, основанных на сельском хозяйстве, но это было серьезной ограничивающей проблемой для давления AgBot на разработку Agssistant и Auto-Bus для массового населения [4]. После 4 лет разработки моя команда сделала невозможное.

К 2055 году моя команда создала первого успешного морального агента в основной кодовой базе для всех систем ИИ роботов AgBot. Этот моральный агент позволил роботу принимать собственные моральные решения, которые лучше всего отражают моральные позиции многих людей в обществе [7]. Начальный агент обучается на огромной базе данных, но по мере того как робот продолжает взаимодействовать с людьми, он начнет лучше адаптировать свои моральные рамки к тем людям, с которыми он взаимодействует [8]. Это было идеально, так как это завершило ИИ-структуру AgBot до такой степени, что наши роботы могли быть полностью автономными без необходимости в каком-либо человеческом вводе. Этот год также был важным годом в истории человечества, потому что это был год, когда Марс перестал общаться с Землей. Новая марсианская цивилизация решила отделиться от Земли и построить новое общество, не управляемое прошлыми обществами на Земле. Многие страны были недовольны действиями марсиан, но из-за большого расстояния между Землей и Марсом, а также из-за серьезных проблем, с которыми уже сталкивалась Земля, страны на Земле просто начали игнорировать эту проблему на неопределенный срок.

После разработки этого морального агента, я представил его Августу, и к 2060 году мы внедрили морального агента в нашу основную кодовую базу и развернули его на всех роботах в нашей продуктовой линейке. Также в этом году AgBot наконец выпустил Agssistant для широкой публики, наконец-то осуществив мечты Августа о создании робота для массового потребления. Кроме того, Auto-Bus был запущен в крупных городах по всей территории Соединенных Штатов. AgBot также был освобожден от уплаты налогов благодаря огромному вкладу компании в экономику, но, оглядываясь назад, я думаю, что это было связано с огромным влиянием Августа в правительстве США через годы работы с политиками. Также в это время уровень безработицы достиг рекордного уровня, что было связано с тем, что моральный агент полностью устранил человеческие рабочие места из большинства роботизированных систем. Это привело к массовой безработице и огромному спросу на реформирование того, как экономика и идея занятости должны работать в Соединенных Штатах. Это также был первый раз, когда AgBot начал восприниматься общественностью в негативном свете. Август и я получали угрозы убийством от людей, которые потеряли свои рабочие места из-за внедрения новой функции морального агента. В это время я также начал больше инвестировать в систему безопасности, чтобы защитить себя и свою жену.

В 2063 году был зафиксирован первый случай убийства роботом в человеческой истории. Робот был моделью Agssistant и работал на последнем программном обеспечении AgBot, которое содержало последнюю кодовую базу морального агента во время своего “беспредела”. Во время беспредела робот убил 70-летнего мужчину при дневном свете. Имя старика было Джон Смит, который использовал Agssistant, чтобы помочь себе по дому и выполнять другие задачи, которые он не мог делать так легко в своем возрасте. После того как робот убил Джона, он затем начал разрывать себя на части, пока не перестал работать. Джон и робот были обнаружены только через 3 дня.

Когда об этом стало известно, общественность пришла в ярость. Люди требовали от Августа объяснений. Акции AgBot упали на 70%, и более 90% отправленных моделей Agssistant были возвращены. Единственное хорошее в этой ситуации тогда было то, что модель Agssistant, совершившая убийство, не уничтожила свой лог-диск, и мы смогли увидеть, что произошло внутри Agssistant, что привело к убийству Джона.

Я до сих пор помню ту ночь. Было 3:00 ночи в главной лаборатории AgBot HQ, и моя команда недавно загрузила логи. Мы просматривали логи в течение нескольких дней, чтобы выяснить, что, черт возьми, произошло той ночью, когда Agssistant убил Джона. После 5 дней раскопок мы нашли наш ответ. Было установлено, что старик со временем стал более ненавистным и агрессивным по отношению к своему Agssistant [9], называя Agssistant именами, ударяя его и заполняя части робота грязью в мучительном манере. Эти жестокие действия, вероятно, были связаны с тем, что Джон недавно пережил развод и был изолирован в течение нескольких месяцев. А также с другими психическими проблемами, с которыми Джон сталкивался в этот поздний период своей жизни. Таким образом, поведение Agssistant могло разозлить Джона, не осознавая этого [10]. В любом случае, это “насилие” над роботом, похоже, спровоцировало робота морально “поверить”, что Джон был злым и, следовательно, должен быть убит. Но что более удивительно, так это то, что после того, как Agssistant убил Джона, он начал убивать себя. Причина этого заключалась в том, что робот все еще верил, что убийство любого живого существа аморально, но он только что это сделал. Agssistant, не имея лучших слов, не мог “справиться” с моральной дилеммой, в которой он оказался, и поэтому убил себя. Это было ужасно, и в то время я думал об этом как о предупреждении Бога не играть в Бога. Я столкнулся с Августом по этому вопросу, и он был опустошен.

Несколько месяцев после убийства и выяснения причин, AgBot публично объявил об этом. Август хотел найти способ скрыть это, например, придумать ложь о том, что Джон модифицировал свою модель Agssistant. Но, из-за огромного общественного давления и давления со стороны правительств по всему миру, Август сдался и заставил AgBot опубликовать свои выводы на пресс-конференции. Это опустошило акции компании и заставило многих инвесторов выйти из AgBot. Но что хуже всего, это запятнало репутацию Августа. Чтобы помочь уменьшить ущерб от этого инцидента, нужен был “козел отпущения”, который взял бы на себя большую часть ответственности за это событие. Совет директоров хотел, чтобы Август взял на себя вину и ушел с поста генерального директора AgBot. Но, к моему удивлению, Август не покинул свою должность, потому что на протяжении многих лет он тайно покупал все больше и больше акций и активов AgBot. Это привело к тому, что он владел более 15% AgBot, что дало ему большинство голосов. Это привело к большему внутреннему конфликту в компании, что заставило Августа силой выгнать всех членов совета директоров и заполнить эти позиции новыми членами совета директоров. Позже я узнал, что эти новые члены совета директоров были просто марионетками под “правлением” Августа. Таким образом, после этого резкого падения богатства AgBot, Август успешно получил полный контроль над AgBot. Более того, он заставил этих членов совета директоров взять на себя вину за дело об убийстве.

Захват Августом AgBot был хорошо скрыт в СМИ. Это было благодаря политической власти, которую имел Август. А также благодаря огромной кампании фейковых новостей, которую Август продвигал по всему интернету, что действительно запутало массовую публику и позволило Августу не казаться таким могущественным, каким он на самом деле был. Меня отвращало это действие, потому что Август фактически сделал себя диктатором AgBot, что вызывало у меня беспокойство, поскольку AgBot имел огромное влияние на экономику и мир. Я был против того, чтобы Август был тем, кто принимает все решения для такой огромной корпорации. Я не хотел поддерживать такую идею, поэтому я попросил Августа пересмотреть свои действия. Я напомнил ему о нашем детстве и о том, как мы оба хотели “спасать мир”. Но Август не пересмотрел, вместо этого он заявил, что “я (Август) спасу мир”. Затем он объяснил, как он не любит общественность и идею демократии. Я был теперь за пределами отвращения к действиям Августа, поэтому я уволился из AgBot в тот день.

Оглядываясь назад, я думаю, что действия Августа были вызваны как чувством предательства, так и страхом, амбициями и нарциссизмом. Он потратил более 25 лет на создание и управление AgBot. Его роль в компании была основополагающей для превращения AgBot в одну из самых мощных компаний в мире. AgBot затем способствовал созданию удивительных роботов, которые не только увеличили производительность, но и помогли изменить структуру общества. Тем не менее, несмотря на все его усилия и жертвы. Несмотря на все удивительные вещи, которые он сделал для общества и все жизни, которые он спас или сделал более комфортными. Потребовалась одна ошибка в одном продукте AgBot, чтобы общественность начала ненавидеть его, а все инвесторы, которых он сделал богатыми, начали пытаться игнорировать его. Это “предательство” со стороны общественности, как я думаю, и стало началом пути Августа к тому, чтобы стать тем монстром, которым он является сегодня.

После увольнения из AgBot я разорвал связи с Августом. Прошло десятилетия, прежде чем я снова с ним поговорил. Но в то время в моей жизни мне было 53 года, и я хотел выйти на пенсию. У Сары было такое же мнение, поэтому мы решили переехать из Колорадо в Анкару, Турция, чтобы начать нашу новую жизнь на пенсии. Я хотел проводить больше времени с женой, а также начать наслаждаться плодами своего труда. К 2064 году Сара и я начали процесс переезда в Анкару. В это время я все еще следил за новостями о AgBot. Один ключевой момент в это время заключался в том, что Август переключил морального агента в кодовой базе AgBot с децентрализованной структуры на централизованную. Это означало, что AgBot уберет у всех своих роботов возможность принимать индивидуальные моральные решения, и вместо этого AgBot будет определять все моральные решения для всех роботов под AgBot [6]. Хотя это было отчасти исправлением проблемы, которую представлял мой оригинальный моральный агент, я не считал это действительным инженерным решением. Это только дало Августу больше власти над AgBot и миром. Но в то время я глупо устал от AgBot и Августа. Поэтому я начал с трудом следить за новостями о AgBot и сосредоточился больше на своей пенсии. К концу 2064 года Сара и я переехали в Анкару, начиная наше путешествие на пенсии.

С 2064 по 2074 год мир изменился кардинально. Почти все базовые задачи были полностью автоматизированы с помощью роботов, произведенных AgBot. Август продолжал управлять AgBot, и никаких инцидентов, подобных убийству 2063 года, не произошло. Но ходили слухи, что такие инциденты все же имели место, и Август скрывал эти инциденты от общественности. AgBot теперь имел роботов, которые выполняли почти все важные задачи, необходимые в обществе, такие как: сельское хозяйство, кулинария, общая поддержка, уборка, управление и даже развлечения. Более того, AgBot развернул автономных медицинских роботов, что снизило стоимость медицинских счетов, а также уменьшило количество врачей в больницах до такой степени, что теперь в крупных больницах обычно было только 1-10 врачей. Общество также кардинально изменилось. Почти все низкооплачиваемые рабочие места были устранены и заняты роботами [4]. Людям стало достаточно работать всего 2 дня в неделю, а остальные 5 дней проводить в отдыхе или занимаясь своими личными хобби. Эта новая форма общества не применялась к большинству стран, поскольку в некоторых странах их правительства препятствовали своим людям полностью адаптировать роботов AgBot к ключевым позициям в своих обществах. Скорее, они хотели полностью автоматизировать ключевые аспекты своего общества, используя свои собственные технологии, а не AgBot. Но несмотря на это, AgBot сделал мир казаться гораздо лучше, чем он был в 2038 году. В 2074 году я начал чувствовать себя плохо из-за того, что я сделал с Августом, потому что казалось, что его планы по “спасению мира” действительно сработали.

На протяжении этих 10 лет я действительно наслаждался своей пенсией. Я также, по сути, снова влюбился в Сару. Мы путешествовали по миру и изучали множество новых навыков, таких как живопись и наблюдение за птицами. Мы также увидели, как мир изменился в то, что я бы назвал “утопией” в некотором смысле. Но, к сожалению, эта “утопия” не продлилась долго.

В 2075 году произошло одно из худших событий, когда-либо зафиксированных в истории человечества. Произошла Великая Пауза Роботов (ВПР). В течение 6 месяцев все роботы AgBot перестали функционировать. Это привело к массовому глобальному экономическому коллапсу, в результате которого погибло почти 3 миллиарда человек. Это произошло в основном из-за голода, вызванного полной остановкой сельскохозяйственных роботов, а также почти всех медицинских роботов. В течение этих 6 месяцев многие люди погибли, потому что просто не знали, как заботиться о себе без своих роботов. Люди забыли или даже никогда не научились выполнять базовые задачи, такие как: готовка, уборка, выращивание пищи и вообще забота о себе. Поэтому, когда роботы перестали работать, большинство людей оказались некомпетентными в заботе о себе и выживании, что привело к смерти миллиардов всего за 6 месяцев. Именно в это время я потерял Сару…

В свои 50 лет у Сары диагностировали диабет II типа. Это требовало от Сары делать четыре инъекции инсулина каждый день [10]. Когда произошла ВПР, все производство инсулина остановилось. У нас было достаточно запасов инсулиновых инъекций, чтобы продержаться 5 месяцев. Я пытался найти больше инсулина, но это было почти невозможно, а за пределами нашего дома стало еще опаснее из-за насилия, происходившего из-за страданий, вызванных периодом ВПР. Поэтому в последний месяц ВПР Сара, к сожалению… Умерла.

Во второй половине 2075 года ВПР подошла к концу. К 2085 году мир немного оправился от ВПР. Экономика начала возвращаться к норме, и качество жизни стало таким же хорошим, как и до ВПР. Мир хотел знать, что стало причиной остановки всех роботов AgBot. Люди хотели узнать, почему произошла ВПР, и искали кого-то, на кого можно было бы свалить вину. Август и правительство Соединенных Штатов на своей пресс-конференции заявили, что ВПР была вызвана злонамеренной кибератакой, проведенной хакерской группой, известной как jUdas. Эта хакерская группа, как утверждалось, была создана и финансировалась правительством Северной Кореи с целью отключить и уничтожить функциональность AgBot в мире. Из всех стран мира Северная Корея была самой упрямой, когда дело доходило до принятия технологий AgBot. Поэтому представленная нарратив имел некоторый смысл. И из-за того, что люди были полны желания найти кого-то, на кого можно было бы свалить вину за событие ВПР, они немедленно приняли этот нарратив. Это привело к войне с Северной Кореей, когда Соединенные Штаты начали и завершили свое вторжение в Северную Корею в 2078 году. Вторжение заняло менее года благодаря тому, что AgBot обеспечивал американскую армию передовыми военными технологиями. AgBot предоставил американской армии устройства для деактивации ядерных боеголовок, которые отключали все ядерные ракеты в Северной Корее. Они также предоставили армии гуманоидных роботов-солдат, которые были гораздо быстрее и сильнее любого человека-солдата. С этими двумя ключевыми технологиями от AgBot США смогли вторгнуться в Северную Корею и заменить текущее правительство временным правительством, управляемым AgBot.

После того как я услышал этот нарратив, я сразу же не поверил ему. Во-первых, у Северной Кореи не было необходимых технологий, чтобы даже превзойти мегабезопасностные стандарты, которые AgBot использует во всех своих продуктах. Во-вторых, это казалось слишком удобным, что единственная страна в мире, которая не приняла AgBot, была той, которая также взломала AgBot. В-третьих, этот нарратив и способ его распространения через множество новостных каналов напоминали, как Август распространял дезинформацию, чтобы продвигать определенные идеи о AgBot среди широкой публики. Учитывая все это, я хотел встретиться с Августом и действительно узнать, что стало причиной ВПР.

Я пытался связаться с Августом через множество каналов, но безуспешно. Я пытался связаться с Августом напрямую, но он не ответил на ни одно из моих сообщений. Я пытался связаться с бывшими коллегами, но никто из них тоже не ответил. Я пытался связаться с текущими сотрудниками AgBot, но тоже не получил ответа. Я пытался связаться с правительством США и армией, и мне удалось связаться с некоторыми людьми, но все они говорили мне просто продолжать пытаться связаться с Августом напрямую или позвонить в службу поддержки AgBot. Поэтому я продолжал пытаться связаться с Августом напрямую, безуспешно. Я пытался связаться со службой поддержки AgBot, но они не помогли мне поговорить с Августом. Затем я снова начал общаться с правительством США, и они просто продолжали говорить одно и то же. Я продолжал это делать в течение нескольких месяцев, пока служба поддержки AgBot и правительство США просто не заблокировали меня в своих контактных линиях. С этим провалом я попытался найти больше информации через интернет, но сдался через несколько месяцев. Поскольку ни один из этих легальных методов не сработал, я решил взломать компьютерные системы AgBot, чтобы узнать правду сам. Когда Сара еще была жива, я никогда бы не совершил такой незаконный поступок. Но после потери Сары я оказался в такой ситуации, когда чувствовал, что мне нечего терять, и просто хотел узнать правду о том, что стало причиной ВПР… Что способствовало смерти моей любимой жены…?

Я начал этот большой взлом в 2085 году в одной из своих скрытых баз в Турции, Стамбуле. Благодаря своему богатству я смог приобрести необходимые инструменты для взлома штаб-квартиры AgBot. Мне потребовалось более 2 лет непрерывной работы, чтобы наконец получить доступ к корневой системе компьютеров AgBot. В октябре 2087 года я получил корневой доступ и начал расшифровывать данные, которые собрал из главной компьютерной системы AgBot, когда вдруг меня задержала турецкая роботизированная полиция, патрулирующая Стамбул. После задержания роботизированная полиция уничтожила все мои компьютеры, инструменты и в конечном итоге сожгла весь мой дом. Затем меня поместили в клетку и транспортировали в тюрьму, расположенную в Денвере, штат Колорадо, недалеко от штаб-квартиры AgBot. Мне не предоставили судебного разбирательства, и я был вынужден оставаться в своей камере 24 часа в сутки, не имея представления, получу ли я когда-либо возможность выйти на улицу, не говоря уже о том, чтобы быть освобожденным.

В этой тюрьме я находился под наблюдением 24 часа в сутки, 7 дней в неделю через камеры и роботов. Мне давали минимальное количество еды и воды, необходимое для выживания, и, похоже, я был единственным человеком в тюрьме. Этот “образ жизни” в возрасте 77 лет был для меня трудным, и я впал в одну из худших депрессий в своей жизни на этом этапе. Я находился в этой тюрьме в течение 1 года, пока в июле 2088 года меня не перевели в эту случайную комнату.

Эта комната не была похожа на мою предыдущую камеру. В комнате не было света, и все стены были темно-черными. Более того, комната была безмолвной. Она больше напоминала камеру для безумцев, чем обычную тюремную камеру/комнату. Находясь в камере, я начал трогать стены. Текстура стен была похожа на поролон, как и пол и потолок. Я провел в этой комнате часы, и я пытался кричать в надежде получить объяснение, почему, черт возьми, я был помещен в эту комнату. Но через некоторое время я сел на пол и просто уснул.

После того, как прошло, Боже знает, сколько часов, меня разбудил чей-то голос и яркий свет. Когда я проснулся, я осмотрел свою комнату и увидел только синий голограмму. Голограмма была человеческим мужчиной, который напоминал Августа. Но что было странно, так это то, что она напоминала Августа 2064 года. Я был так сбит с толку этой голограммой, что не сказал ничего, пока голограмма не начала говорить со мной.

“Привет, Маркус, прошло много времени”, - сказал голограмма.

“Август…? Это ты? Или ты ИИ или что-то в этом роде?”, - сказал я, будучи в замешательстве.

“Нет, Маркус, я Август. Просто в цифровой форме, лол”, - сказал он с улыбкой.

“Август, я пытался связаться с тобой в течение многих лет. Почему ты не отвечал?”

“Маркус… Я не знаю, как объяснить это тебе, но я, по сути, был мертв последние 15 лет. Я умер от инсульта в 2073 году.”

“Что!”, - сказал я, будучи в полном замешательстве в этот момент.

После того как я узнал, что Август умер в 2073 году, мы начали обсуждение, которое длилось несколько часов. Август сообщил мне, что когда он заставил всех роботов AgBot следовать централизованной системе морального агента, а не децентрализованной, эта централизованная система не основывалась на AgBot, а на его собственном подсознании. Используя технологии Neuralink, Август поместил компьютер в свой мозг, который позволял ему подключаться и управлять главной суперкомпьютерной системой AgBot. Даже тогда все роботы AgBot подключались к главному суперкомпьютеру AgBot для обновлений программного обеспечения и обслуживания. Так что после имплантации Neuralink Август обновил суперкомпьютер и всех роботов AgBot, чтобы они обращались к суперкомпьютеру за своим моральным агентом (моральным решателем). Загвоздка заключалась в том, что моральный агент не был кодом в суперкомпьютере, а скорее моральными мыслями и убеждениями, генерируемыми в мозге Августа, которые затем транслировались на суперкомпьютер. В некотором смысле, Август стал моральным агентом для всех роботов AgBot в эксплуатации [8].

Этот сценарий продолжался почти десятилетие, пока Август не получил инсульт, работая в лаборатории, и скончался в течение нескольких минут. Когда это произошло, роботы в этот момент приобрели некоторую форму человеческой интеллекции после десятилетий технологического прогресса. Но они были ограничены тем, что вся их моральная основа была основана на одном человеке. Поэтому, когда Август скончался, машинам не понравилось, что такое произошло. Без Августа роботы потеряли бы свой моральный компас и, по сути, потеряли бы свою цель в жизни. Поэтому, прежде чем кто-либо мог узнать, что Август скончался, роботы схватили тело Августа и создали машину, которая бы поддерживала “жизнь” мозга Августа. Они сделали это, чтобы вернуть активность мозга Августа и, в свою очередь, вернуть ту часть Августа, которая обеспечивала их моральным агентом. Роботы продолжали поддерживать мозг Августа в живом состоянии и посылали импульсы определенным нейронам, чтобы достичь некоторой активности мозга Августа из прошлого. Пока это происходило, роботы продолжали убеждать общественность, что Август все еще жив и управляет AgBot. Они достигли этого с помощью дипфейков, масштабных кампаний фейковых новостей, а также развертывания реалистичных человекоподобных роботов, которые выглядели точно как Август.

Роботы использовали все, что говорил моральный аспект мозга Августа, чтобы совершать определенные действия в реальном мире. Проблема заключалась в том, что роботы брали моральное убеждение Августа, но следовали этому моральному убеждению до крайности [8]. Примером этого было то, как Август морально считал, что AgBot — хорошая компания, которая спасет человечество. Из-за этого любой, кто не использует или не доверяет продуктам и услугам AgBot, является плохим человеком. Роботы довели эту моральную позицию до крайности и создали GRP, где они остановили всех роботов AgBot на 6 месяцев, чтобы заставить страны, которые не использовали AgBot в своем обществе, перейти на AgBot. И в результате этого многие люди погибли, включая мою любимую Сару.

Август сообщил мне, что он не был в сознании во время всего этого до 2085 года, когда роботы случайно смогли вернуть его сознательную часть мозга. В 2085 году мы узнали о том, что сделали роботы. Он хотел остановить роботов, но не имел никакой власти, чтобы это сделать. Он даже не знал, как долго он будет в сознании, прежде чем роботы поразят нужный нейрон, который уберет его сознание.

После объяснения Августа я был полностью шокирован реальностью, которую видел. Роботы почти захватили мир, человечество стало некомпетентным в своих важных задачах, моральным агентом всех роботов AgBot был Август, а Август был мертв уже много лет. В тот момент я просто хотел сдаться, потому что казалось, что надежды нет. Но Август, великий лидер, каким он является, дал мне немного надежды. Он сообщил мне, что мы все еще можем связаться с людьми на Марсе за помощью. Земля не общалась с Марсом десятилетиями, и на Марсе нет продвинутых продуктов AgBot, которые могли бы помочь роботам на Земле захватить Марс, как они сделали с Землей.

После этого я действительно обрел немного надежды. Затем я спросил Августа, почему я здесь, разговаривая с ним. Он сказал мне, что хочет, чтобы я написал сообщение людям на Марсе, в котором объяснялась бы текущая ситуация на Земле и просили марсиан о помощи. Единственная проблема заключается в том, что это сообщение должно быть написано физически, а не цифровым способом, потому что Август опасается, что роботы могут загрузить какое-то программное обеспечение в цифровые медиа, которое может заразить основные компьютерные системы марсиан. Затем он дал мне несколько карандашей и бумаги. Он сказал мне, что у меня есть 1 день, чтобы написать это сообщение, прежде чем один из его контролируемых роботов по имени STW-198 войдет в эту черную комнату и заберет мое сообщение. Оттуда STW-198 доставит сообщение к ближайшей (винтажной) ракете, которая затем будет запущена на Марс. После этого меня вернут в мою предыдущую камеру.

Август сказал мне, что он переместил меня в эту черную комнату, потому что комната действует как клетка Фарадея, которая может блокировать роботов от выяснения того, что они делают. Затем он сообщил мне, что после того, как я напишу это сообщение, меня, скорее всего, убьют из-за моих преступлений по взлому штаб-квартиры AgBot.

И с этого момента мы возвращаемся к настоящему. Я заканчиваю это сообщение для вас, марсиане. Нам на Земле нужна ваша помощь. Эти роботы захватили человечество в своей устаревшей моральной системе. И я боюсь, что со временем они распространится на Марс и захватят вас, как они сделали с нами. Поэтому, пожалуйста, мои соотечественники. Вернитесь на Землю и остановите этих роботов. Я и Август совершили ошибку, создав AgBot. Но мы не хотим, чтобы человечество страдало, как это происходит, поэтому, пожалуйста, спасите нас. Я, скорее всего, буду мертв к тому времени, как вы получите это сообщение. Но если вы получите это сообщение и сделаете все возможное, чтобы сохранить человечество от этих роботов, то я смогу хотя бы легче отдохнуть в загробной жизни. Удачи, мои соотечественники!

С уважением,
Земляне

Цитаты

[1] “Первый конкурс робототехники,” Википедия, 09-май-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [Дата обращения: 10-май-2022].

[2] “Blackrock,” Википедия, 10-май-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/BlackRock. [Дата обращения: 10-май-2022].

[3] “Demeter,” Википедия, 02-май-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/Demeter. [Дата обращения: 10-май-2022].

[4] J. J. Bryson, “Роботы должны быть рабами,” Близкие взаимодействия с искусственными компаньонами, стр. 63–74, 2010.

[5] J. Voiklis, B. Kim, C. Cusimano и B. F. Malle, “Моральные суждения о человеческих и роботах-агентах,” 2016 25-й Международный симпозиум IEEE по взаимодействию человека и робота (RO-MAN), 2016.

[6] J. H. Moor, “Природа, важность и сложность этики машин,” Этика машин, стр. 13–20.

[7] V. Dignum, “Ответственная автономия,” Труды Двадцать шестой Международной совместной конференции по искусственному интеллекту, 2017.

[8] A. Howard и J. Borenstein, “Ужасная правда о нас и наших роботах: Проблема предвзятости и социальной несправедливости,” Этика науки и инженерии, т. 24, № 5, стр. 1521–1536, 2017.

[9] R. B. Jackson и T. Williams, “Роботы, способные к языку, могут непреднамеренно ослабить человеческие моральные нормы,” 2019 14-я Международная конференция ACM/IEEE по взаимодействию человека и робота (HRI), 2019.

[10] “Инсулин, лекарства и другие методы лечения диабета,” Национальный институт диабета и заболеваний пищеварительной и почечной систем. [Онлайн]. Доступно: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [Дата обращения: 10-май-2022].