Передісторія

Я написав коротку історію, Зменшений король, як своє фінальне завдання для мого курсу Етика роботів (HASS400) під час останнього семестру мого бакалаврату в Колорадському університеті гірничих наук. Для цього завдання нам було доручено написати вигадану коротку історію, яка оберталася навколо етики роботів, а також посилатися на деякі з документів, які ми читали протягом семестру в короткій історії. Вимога до цієї історії полягала в тому, що вона повинна була бути 10 сторінок завдовжки, з яких я написав 21 сторінку. Я дуже захопився цією короткою історією, тому я пішов на все.

Тепер, УВАГА, я не великий письменник. Тому ця коротка історія не ідеальна і потребує вдосконалення та великого переписування. Але я пишаюсь нею і вважаю, що це цікаве читання. Протягом усіх моїх років у школі я почав насолоджуватися процесом написання, тому сподіваюся розширити свої горизонти, пишучи інші речі, такі як блоги, статті тощо.

Знаючи все це, оригінальна коротка історія була збережена у форматі PDF як частина вимог завдання. Але, щоб зменшити розмір документа, я конвертував історію в markdown. Знаючи це, всю коротку історію можна переглянути/прочитати нижче. Сподіваюся, вам сподобається читання, зв’яжіться зі мною в соціальних мережах, якщо у вас є які-небудь питання або зауваження щодо цієї короткої історії.

Продовжте читати, щоб дізнатися про Зменшеного короля…

ЗМЕНШЕНИЙ КОРОЛЬ

Мехмет Ханіфі Йилмаз
10 травня 2022

Анотація

У майбутньому, де доля Землі висить на волосині, Маркус Брюс, технологічний вундеркінд, та його друг Август Ельрод, visionary лідер, вирушають у місію, щоб перетворити світ за допомогою передових роботів. Їхнє творіння, AgBot, революціонізує глобальне сільське господарство та промисловість, обіцяючи утопічне майбутнє. Але в міру зростання їхньої технологічної імперії, непередбачувані наслідки ставлять під сумнів саму суть людської моралі та свободи. Коли катастрофічна подія, відома як Велика пауза роботів, загрожує людському існуванню, Маркус повинен зіткнутися з темною стороною їхньої спадщини та закликати до міжпланетної допомоги. “Зменшений король” - це захоплююча історія про амбіції, владу та тонкий баланс між людиною та машиною, що закликає нас поставити під сумнів справжню ціну прогресу.

Історія

Я тут, щоб попередити вас про критичну ситуацію, в якій зараз перебуває Земля! Якщо з цим не впоратися належним чином, ця ситуація може легко призвести до загибелі людства. Я б хотів пояснити цю ситуацію в кількох реченнях, але, на жаль, складність цієї ситуації вимагає, щоб я пояснив, що призвело до неї, щоб ви всі могли по-справжньому зрозуміти її серйозність.

Я є ключовим фактором у тому, що призвело до поточної ситуації на Землі, тому дозвольте мені принаймні представитися. Мене звуть Маркус Брюс, я народився в маленькому містечку в Колорадо під назвою Урай у 2010 році. Урай - це приміське містечко, оточене красивими горами. Я народився у двох батьків, які обидва були вчителями середньої школи. Мій батько був вчителем математики, а моя мати - вчителем науки.

Я не пам’ятаю багато з мого раннього дитинства, тому що я б сказав, що не здобув справжньої свідомості до 12 років, що було в 2022 році. У цьому році я був у середній школі, і мене вважали дитиною-вундеркіндом, яка дійсно відзначалася в математиці та науці. Мій директор у школі хотів, щоб мої батьки дозволили мені пропустити з 7 класу до 11 класу. Але мої батьки не погодилися з рекомендацією директора, тому що вони хотіли, щоб я мав нормальне дитинство. Я вдячний за це рішення, тому що пам’ятаю, що мав чудове дитинство. Дитинство в час, коли світ починав більше інтегруватися з технологією. А не повністю поглинутий нею. Тепер, дізнавшись, що я був вундеркіндом, зробило 2022 рік особливим для мене. Але те, що справді зробило 2022 рік особливим, це те, що це був рік, коли я вперше зустрів свого майбутнього давнього друга, Августа Ельрода. Того самого Августа, який в основному зіграв ключову роль у подіях, що призвели Землю до того, де вона зараз.

Я зустрів Августа в 7 класі в нашому місцевому клубі Lego-робототехніки. Перше, що я помітив у характеристиках Августа, це те, наскільки він амбіційний і цілеспрямований. Навіть будучи 12-річним хлопчиком, Август був справжнім лідером, оскільки він зміг привести нашу місцеву команду Lego-робототехніки до перемоги на національному чемпіонаті США. Що було справді вражаюче, враховуючи, що всі члени команди були дітьми середньої школи, які мало дбали про вивчення інженерії робототехніки. Але Август не лише мотивував цих дітей хотіти вчитися та перемагати, але й привів їх до перемоги. Ми всі поважали Августа як нашого лідера, і Август не дуже поважав багато людей. Але він поважав мене за мій інтелект. Він вперше помітив мене за моїм інтелектом і був шокований, що зустрів когось у своїй віковій групі, хто був розумнішим за нього. Август навіть змагався зі мною на іспитах, але завжди програвав. Але так само, як я завжди перемагав Августа в розумових змаганнях, Август перемагав мене в спорті. Він грав у баскетбол і футбол після уроків. Він був настільки добрий у цих видах спорту, що багато хто вважав, що він стане професійним спортсменом, коли виросте. Ця повага, яку ми мали один до одного, зрештою призвела до довгого дружнього зв’язку, який тривав до наших дорослих років.

Після наших років у середній школі ми почали старшу школу в 2024 році. Під час наших років у старшій школі як я, так і Август змагалися в FIRST Robotics Competition (FRC) [1]. FRC була найбільшою робототехнічною конкуренцією в США і в основному складалася з учнів старшої школи [1]. Під час участі в FRC ми дізналися багато про механічну, електричну та комп’ютерну інженерію. І завдяки чудовим лідерським якостям Августа, ми змогли виграти національний чемпіонат 2 роки поспіль, що на той час було нечувано. Також під час цього часу я брав участь у кількох математичних конкурсах, а також брав участь у дебатах на етичні теми. Саме в цей час Август продовжував домінувати в баскетболі, ведучи команду старшої школи до національного чемпіонату 3 роки поспіль. Ми обидва були обдарованими учнями у своїх власних правах. Але саме в цей час я і Август розвинули свої цілі в житті і, на краще чи на гірше, продовжували слідувати цим цілям до самого кінця.

Протягом мого часу в старшій школі я виявив, що моя мета в житті - зробити світ кращим через технології. Я прийняв, що світ не буде ідеальним і завжди буде недосконалим. Але в той час я вірив, що якщо я буду працювати достатньо важко, я зможу принаймні полегшити тягар світу і створити краще майбутнє. У Августа були подібні цілі, але вони були трохи іншими. Я знав, що Август амбіційний, але я ніколи не знав, куди він хоче йти зі своїм життям, поки не настав наш старший рік у старшій школі.

Під час нашого старшого року в старшій школі як я, так і Август були прийняті і вирішили відвідати Массачусетський технологічний інститут (MIT). Август отримав пропозицію бути обраним до НБА, але він відхилив цю пропозицію і натомість вирішив піти до MIT. Я вперше дізнався про це від батьків Августа, і після цього я зателефонував Августу, і наша розмова проходила приблизно так:

“Август, чому ти сказав ні НБА? Це можливість раз на життя”, - сказав я в стані замішання.

“Марку, НБА було б весело, але лише це, весело. Це не змінить світ. Якщо вже, то це відволікло б мене від виправлення цього світу”, - сказав Август впевнено.

“Змінити світ? Що ти маєш на увазі?”

“Так, змінити світ! Марку, я хочу вести людство до кращого майбутнього. Я хочу врятувати світ!”

Я затримався на кілька секунд, якось більше здивований, ніж я думав, що буду.

“Врятувати світ? Що ти маєш на увазі?”

“Марку, ти і я обдаровані. Ми обидва хочемо допомогти світу. Ти відзначаєшся як інтелект, а я - як лідер. Не лише це, але я довіряю тобі, Марку. З твоїми та моїми навичками ми можемо розробити та розподілити технології, які можуть змінити світ на краще. Я впевнений у цьому!”

“Вау, ти більш амбіційний, ніж я думав, Август!”, - сказав я з невеликим сміхом наприкінці, “але як ти кажеш, ми досягнемо такої мети?”

“Коротка відповідь така, Марку; я планую розпочати технологічний бізнес. Потім розширитися в політику. З цим здобути як фінансову, так і політичну владу. А звідти ми можемо змінити світ. Ти відіграєш критичну роль у цьому плані, Марку!”

“Добре, Август. Це все ще дуже амбіційно. Але коли ти матимеш план і почнеш потребувати мене, я буду там.”

“Дякую, мій друже, побачимося в MIT!” - сказав Август з захопленням.

На той момент ця розмова для мене не мала великого значення. Я знаю, що Август чудовий, але його мрії звучали більше як мрії, ніж як можливе майбутнє. Я не сприймав його заяву серйозно в той час. Але все це зміниться. У будь-якому випадку, був 2028 рік, і я з нетерпінням чекав початку своїх бакалаврських студій у MIT.

Це також був захоплюючий час для початку вивчення інженерії, оскільки в тому ж році, 2028, уряд США, NASA та SpaceX почали відправляти більше людей для колонізації Марса. Лише 2 роки тому вони відправляли лише кілька людей туди і назад на червону планету. Але тепер вони та решта світу почали відправляти більше людей на Марс для поселення. Це був справжній поворотний момент в історії людства і викликав великий попит і розвиток у дослідженнях робототехніки, що було чудово, оскільки я хотів спеціалізуватися на робототехніці.

У 2030 році я та Август закінчили наш другий рік у MIT. Я навчався за двома спеціальностями: робототехніка та етика, а Август навчався на факультеті робототехніки та політичних наук. Але після нашого другого року в коледжі Август почав дійсно не любити коледж. Він не вбачав у ньому корисний інструмент для досягнення своєї мрії “врятувати світ”. Тож під час свого другого року Август пропускав більшість своїх занять і провалив більшість з них. Замість того, щоб ходити на заняття, Август зосередився на розробці програмного забезпечення на базі ШІ, яке ефективно управляло б активами та акціями. Він хотів створити програмне забезпечення для управління активами, яке було б кращим за програмне забезпечення Aladdin від BlackRock на той час [2]. Він був настільки впевнений у своєму програмному забезпеченні, що кинув MIT після другого року і розпочав свою першу бізнес-ініціативу з цим новим програмним забезпеченням, яке він розробляв. Він виїхав з гуртожитків у травні 2030 року і переїхав до Нью-Йорка. Мені було сумно, що Август кинув навчання, але єдине хороше в цьому році було те, що я зустрів свою майбутню дружину, Сару Рейвен.

Тепер давайте пропустимо до 2038 року. Август був на всіх новинах, тому що він став мультимільйонером у віці 28 років. Після продажу свого програмного забезпечення за значну суму грошей BlackRock, Август мав майже 100 мільйонів доларів готівкою та деякі опціони на акції BlackRock. Поки Август завойовував фінансовий світ, я щойно закінчив свої два докторські ступені з обох систем інтелектуальної робототехніки та етики машин. Більше того, під час літа 2038 року Сара та я одружилися. Я запросив Августа на своє весілля, і я вперше побачив Августа за майже 8 років на своєму весіллі. Це була весела ніч, але коли ми завершували весілля, Август попросив мене зателефонувати йому, коли у мене буде вільний час. Тож після медового місяця з Сарою я зателефонував Августу.

Ми розмовляли майже 2 години, і під час цього часу ми обговорили життя, але після цього Август почав ставитися до розмови серйозно. Август зазначив, що знає, що я маю величезні борги за навчання і що я ще не знайшов роботу. Тож він запропонував роботу, яку, як він вважає, може мені запропонувати. Це була посада співзасновника його нової бізнес-ініціативи. Ця нова бізнес-ініціатива - стартап під назвою AgBot, який зосередиться на автоматизації сільського господарства за допомогою ШІ та робототехніки. Август хоче, щоб я став співзасновником AgBot, оскільки вважає, що мої технічні навички будуть цінними для розробки необхідної архітектури для створення таких розумних роботизованих систем. Він також сказав мені, що довіряє мені і як він цінує довіру після того, як його останній партнер фактично змусив його продати своє програмне забезпечення BlackRock. Почувши цю пропозицію, я відразу ж погодився, тому що був дуже схвильований проектом, і він мав рацію, я був у величезному боргу без пропозицій роботи до того моменту.

AgBot офіційно засновано в 2038 році. Я та Сара переїжджаємо назад до Колорадо, оскільки саме там розташований AgBot. Відразу ж Август і я починаємо працювати над створенням AgBot. Протягом 5 років ключові кроки були зроблені як мною, так і Августом, щоб довести AgBot до того, чим він є зараз. По-перше, Август інвестує свій власний капітал у компанію. Це дозволило нам отримати все необхідне для початку створення деяких прототипів як доказ концепції. Це також дозволило Августу найняти інших розробників, щоб працювати під моїм керівництвом для розробки ключових технологій для AgBot. Саме в цей час ми почали розробляти і врешті-решт випустили наш перший продукт, Деметра [3]. Деметра - це 4-колісний робот з регульованими по висоті ногами. Він має дві дельта-роботизовані руки та дві 6-осні роботизовані руки. Мета Деметри - захищати врожай від шкідників, тварин і хвороб, контролюючи та управляючи цими культурами під час їх ранніх етапів розвитку. Її також можна використовувати для збору врожаю з рослин, які не підлягають автоматизації за допомогою трекера, таких як полуниця. Разом з самим роботом, Деметра також постачалася зі своєю зарядною станцією та дроном. Деметра може автоматично заряджати себе, і Деметра може використовувати свою дрон-форму, щоб перевіряти великі поля врожаю, щоб побачити, які культури потребують найбільше догляду. Цей робот був частково автономним, але все ще вимагав людини для моніторингу та ремонту Деметри. Але головною перевагою, яку надавала Деметра, було те, що вона могла допомогти одному фермеру управляти 1000 акрами землі одночасно, що раніше було нечувано.

Деметра була випущена для публіки в травні 2043 року з рекордними продажами. Завдяки передовим функціям Деметри та чудовій маркетинговій кампанії Августа і його команди, Деметра розпродалася миттєво. Це підкріпило інших інвесторів і призвело до масового збільшення фінансування від інших інвесторів. Це додаткове фінансування дозволило AgBot розширити свої операції, а також свою команду розробників. Це також дозволило AgBot почати розробку автоматизованих модулів для внутрішнього сільського господарства, які пізніше були випущені в 2047 році в регіони світу, найбільше постраждалі від зміни клімату. Ці внутрішні модулі також мали величезний успіх, що лише прискорило зростання та багатство AgBot. У 2048 році більш просунута версія Деметри була запущена на Марс, щоб допомогти з сільськогосподарськими зусиллями на Марсі. Август пишався моєю роботою і дав мені багато акцій AgBot на додаток до моєї зарплати.

У 2050 році AgBot вийшов на біржу і був оцінений у 3 трильйони доларів. Це сталося завдяки тому, що майже кожен фермер в Америці використовував продукти AgBot для сільського господарства. Вийшовши на біржу, я став мільярдером за одну ніч, а Август став мультимільярдером за одну ніч. Вихід на біржу також приніс більше капіталу в AgBot, що дозволило AgBot придбати Tesla та Neuralink. Tesla та Neuralink були придбані за низькою ціною, оскільки, відколи помер Ілон Маск, жоден генеральний директор не зміг ефективно управляти цими компаніями. Це призвело до років втрачених прибутків для обох компаній, що призвело до їх майже банкрутства, поки AgBot не придбав їх обидві за всього 900 мільярдів доларів. Обидві Tesla та Neuralink були об’єднані в відділ робототехніки AgBot, і AgBot почав розробляти два нові продукти. Перший - це домашній асистент, який розроблявся на основі початкового дизайну Tesla Bot [4]. Цей проект отримав назву Agssistant-Bot. Другий продукт - це автономний автобус, який буде побудований на основі технології, використаної Tesla для виготовлення електромобілів. Цей проект отримав назву Auto-Bus. Автомобілі стали менш поширеними в 2050 році через те, що штати активно інвестували в покращення транспортних систем, таких як автобуси та поїзди. У цей час Август починає фінансувати кампанії багатьох політиків, і багато з цих політиків врешті-решт стають мерами, сенаторами, а один навіть стає частиною конгресу. Це виявилося корисним для зростання влади AgBot у Сполучених Штатах.

Протягом 2051 року я та моя команда почали зосереджуватися на обмежуючих факторах поточних алгоритмів ШІ. На той момент усі наші сільськогосподарські роботи були не лише міцними за якістю, але й наближалися до повної автономії. Головним обмежуючим фактором була відсутність морального агента у ШІ [5]. У справжньому інтелектуальному роботу має бути моральний агент, який допомагатиме керувати роботом через соціальні рамки суспільства. У AgBot ми намагалися створити морального агента для наших роботів, просто жорстко закодуючи моральні правила в коді ШІ. Це виявилося неефективним, тому ми відмовилися від цього і перейшли до того, щоб користувач визначав моральні вибори робота [6]. Це в принципі працювало, але гальмувало автоматизацію наших роботів, оскільки вимагало людського втручання щоразу, коли робот стикався з чимось, що вимагало якоїсь форми морального міркування. Це було прийнятно для наших сільськогосподарських роботів, але це було серйозною обмежуючою проблемою для тиску AgBot на розробку Agssistant і Auto-Bus для масового населення [4]. Після 4 років розробки моя команда зробила неможливе.

До 2055 року моя команда створила першого успішного морального агента в основному коді для всієї системи ШІ роботів AgBot. Цей моральний агент дозволив роботу приймати власні моральні рішення, які найкраще відображають моральні позиції багатьох людей у суспільстві [7]. Початковий агент навчається з величезної бази даних, але в міру того, як робот продовжує взаємодіяти з людьми, він почне краще налаштовувати свої моральні рамки на тих людей, з якими він взаємодіє [8]. Це було ідеально, оскільки завершило ШІ-структуру AgBot до того моменту, коли наші роботи могли бути повністю автономними без потреби в будь-якому людському втручанні. Цей рік також був важливим роком в історії людства, оскільки це був рік, коли Марс перестав спілкуватися із Землею. Нова марсіанська цивілізація вирішила відокремитися від Землі та побудувати нове суспільство, не підпорядковане минулим суспільствам на Землі. Багато країн були розлючені діями марсів, але через велику відстань між Землею та Марсом, а також через великі проблеми, з якими вже стикалася Земля, країни на Землі просто почали ігнорувати цю проблему на невизначений термін.

Після розробки цього морального агента, я представив його Августу, і до 2060 року ми впровадили морального агента в нашу основну кодову базу та розгорнули його на всіх роботах у нашій продуктовій лінії. Саме в цьому році AgBot нарешті випустив Agssistant для масового населення, нарешті здійснивши мрії Августа про створення робота для масового населення. Крім того, Auto-Bus був випущений у великих містах по всій території Сполучених Штатів. AgBot також був звільнений від сплати будь-яких податків, оскільки компанія зробила величезний внесок в економіку, але, озираючись назад, я вважаю, що це було через величезний вплив Августа в уряді США завдяки рокам заснування політиків. Саме в цей час безробіття досягло рекордного рівня, це сталося через те, що моральний агент повністю усунув людські робочі місця з більшості роботизованих систем. Це призвело до масового безробіття та величезного попиту на реформу того, як має працювати економіка та ідея зайнятості в Сполучених Штатах. Це також був перший раз, коли AgBot почав сприйматися в негативному світлі суспільством. Август і я отримували погрози вбивством від людей, які втратили свою роботу через впровадження нової функції морального агента. Саме в цей час я почав більше інвестувати в систему безпеки, щоб захистити себе та свою дружину.

У 2063 році було зафіксовано перший випадок вбивства роботом в історії людства. Робот був моделлю Agssistant і працював на останньому програмному забезпеченні AgBot, яке містило останню кодову базу морального агента під час його “бунту”. Під час бунту робот вбив 70-річного чоловіка вдень. Ім’я старого чоловіка було Джон Сміт, який використовував Agssistant, щоб допомогти собі по дому та виконувати інші завдання, які він не міг виконати так легко у своєму віці. Після того, як робот вбив Джона, він потім почав розривати себе на частини, поки не почав працювати. Джон і робот не були виявлені до 3 днів потому.

Коли новини про це стали відомі, суспільство збожеволіло. Вимагаючи від Августа пояснити, що сталося. Акції AgBot впали на 70%, і понад 90% відправлених моделей Agssistant були повернуті. Єдине хороше в усьому цьому тоді було те, що модель Agssistant, яка вчинила вбивство, не знищила свій лог-диск, ми змогли побачити, що сталося в Agssistant, що змусило його вбити Джона.

Я досі пам’ятаю ту ніч. Було 3:00 ночі в головній лабораторії в AgBot HQ, і моя команда нещодавно завантажила журнали. Ми переглядали журнали протягом кількох днів, щоб зрозуміти, що ж сталося тієї ночі, коли Agssistant вбив Джона. Після 5 днів розкопок ми знайшли нашу відповідь. Було встановлено, що старий чоловік з часом став більш ненависним і агресивним до цього Agssistant [9], називаючи Agssistant іменами, б’ючи його та заповнюючи частини робота брудом у тортурному стилі. Ці жорстокі вчинки, ймовірно, були пов’язані з тим, що Джон нещодавно пережив розлучення і був ізольований протягом кількох місяців. А також з іншими психічними проблемами, з якими Джон стикався в цю пізню частину свого життя. Отже, те, як Agssistant діяв, могло зробити Джона ще більш розгніваним, не усвідомлюючи цього [10]. У будь-якому випадку, це “знущання” над роботом, здається, спровокувало робота морально “вважати”, що Джон був злим і тому повинен бути вбитий. Але що ще більш дивно, так це те, що після того, як Agssistant вбив Джона, він почав вбивати себе. Причина цього полягала в тому, що робот все ще вірив, що вбивство будь-якої живої істоти є аморальним, але він щойно це зробив. Agssistant, за браком кращих слів, не міг “впоратися” з моральною дилемою, в якій він опинився, тому він потім вбив себе. Це було жахливо, і в той час я вважав це попередженням Бога, щоб ми не гралися, як Бог. Я зіткнувся з Августом з цього питання, і він був спустошений.

Через кілька місяців після вбивства та нашого з’ясування причин, AgBot оголосив про це публічно. Август хотів знайти спосіб замаскувати це, наприклад, вигадати брехню, що Джон модифікував свою модель Agssistant. Але, через величезний суспільний попит та тиск з боку урядів у всьому світі, Август здався і змусив AgBot оприлюднити свої висновки під час прес-конференції. Це спустошило акції компанії та змусило багатьох інвесторів вийти з AgBot. Але найгірше з усіх, це зіпсувало репутацію Августа. Щоб допомогти зменшити шкоду від цього інциденту, потрібен був “козел відпущення”, щоб взяти на себе більшу частину відповідальності за цю подію. Правління хотіло, щоб Август взяв на себе провину і залишив посаду генерального директора AgBot. Але, на мою здивування, Август не залишив свою посаду, оскільки протягом років він таємно купував все більше і більше акцій та активів AgBot. Це призвело до того, що він володів понад 15% AgBot, що давало йому більшість голосів. Це призвело до більш внутрішніх конфліктів у компанії, що змусило Августа силою вигнати всіх членів правління та заповнити ці посади новими членами правління. Я пізніше дізнався, що ці нові члени правління були просто ляльками під “правлінням” Августа. Отже, після цього масового падіння багатства AgBot, Август успішно отримав повний контроль над AgBot. Не тільки це, але він змусив цих членів правління взяти на себе провину за справу про вбивство.

Захоплення Августом AgBot було добре приховане в медіа. Це сталося завдяки політичній владі, яку мав Август. А також завдяки величезній кампанії фейкових новин, яку Август просував в Інтернеті, що дійсно заплутало масове населення і дозволило Августу не здаватися таким потужним, яким він насправді був. Я був обурений цим вчинком, оскільки Август фактично зробив себе диктатором AgBot, що викликало у мене занепокоєння, оскільки AgBot мав величезний вплив на економіку та світ. Я був проти ідеї, що Август буде єдиним, хто приймає всі рішення для такої великої корпорації. Я не хотів підтримувати таку ідею, тому я попросив Августа переглянути свої дії. Я нагадав йому про наше дитинство і про те, як ми обидва хотіли “врятувати світ”. Але Август не переглянув, натомість він заявив, що “я (Август) врятую світ”. Потім він пояснив, як не любить публіку і ідею демократії. Я тепер був за межами обурення від дій Августа, тому я звільнився з AgBot того дня.

Озираючись назад, я вважаю, що дії Августа були зумовлені як почуттям зради, страхом, амбіцією, так і нарцисизмом. Він витратив понад 25 років на будівництво та управління AgBot. Його роль у компанії була основоположною для перетворення AgBot на одну з найпотужніших компаній у світі. AgBot потім сприяв створенню дивовижних роботів, які не тільки підвищили продуктивність, але й допомогли змінити структуру суспільства. Проте, незважаючи на всі його зусилля та жертви. Незважаючи на всі дивовижні речі, які він зробив для суспільства, і всі життя, які він врятував або зробив більш комфортними. Один помилковий крок з одного продукту AgBot змусив суспільство почати ненавидіти його, а всіх інвесторів, яких він зробив багатими, почати намагатися ігнорувати його. Ця “зрада” з боку суспільства, на мою думку, стала початком шляху Августа до перетворення на монстра, яким він є сьогодні.

Після звільнення з AgBot я розірвав зв’язки з Августом. Пройде десятиліття, перш ніж я знову з ним поговорю. Але в той час у моєму житті мені було 53 роки, і я хотів вийти на пенсію. Сара також мала таке ж мислення, тому ми вирішили переїхати з Колорадо до Анкари, Туреччина, щоб почати наше нове життя як пенсіонери. Я хотів проводити більше часу з дружиною, а також почати насолоджуватися плодами своєї праці. До 2064 року Сара і я почали процес переїзду до Анкари. У цей час я все ще стежив за новинами про AgBot. Один ключовий момент у цей час полягав у тому, що Август змінив морального агента в кодовій базі AgBot з децентралізованої структури на централізовану. Це означало, що AgBot усуне всі можливості своїх роботів приймати індивідуальні моральні рішення, і натомість AgBot визначатиме всі моральні рішення для всіх роботів під AgBot [6]. Хоча це було деяким виправленням проблеми, яку представляв мій оригінальний моральний агент, я не вірив, що це було дійсним інженерним рішенням. Це лише дало Августу більше влади над AgBot і світом. Але в той час я безглуздо втомився від AgBot і Августа. Тому я почав ледве стежити за новинами про AgBot і почав більше зосереджуватися на своїй пенсії. Наприкінці 2064 року Сара і я переїхали до Анкари, починаючи нашу подорож на пенсії.

З 2064 по 2074 рік світ змінився кардинально. Практично всі базові завдання були повністю автоматизовані завдяки роботам, виготовленим AgBot. Август продовжував керувати AgBot, і жодних інцидентів, подібних до вбивства 2063 року, не сталося. Але ходили чутки, що такі інциденти дійсно відбувалися, і Август приховував ці інциденти від суспільства. AgBot тепер мав роботів, які виконували практично всі важливі завдання, необхідні в суспільстві, такі як: сільське господарство, приготування їжі, загальне обслуговування, прибирання, управління та навіть розваги. Не тільки це, але AgBot розгорнув автономних медичних роботів, які зменшили витрати на медичні рахунки, а також зменшили кількість лікарів у лікарнях до такої міри, що зазвичай в великих лікарнях залишалося лише 1-10 лікарів. Суспільство також кардинально змінилося. Практично всі низькооплачувані роботи були усунуті та забрані роботами [4]. Люди почали працювати лише 2 дні на тиждень і проводити інші 5 днів, відпочиваючи або займаючись своїми особистими хобі. Ця нова форма суспільства не застосовувалася до більшості країн, оскільки в багатьох країнах їх уряди заважали своїм людям повністю впроваджувати роботи AgBot у ключові позиції в своїх суспільствах. Натомість вони хотіли повністю автоматизувати ключові аспекти своїх суспільств, використовуючи свої власні технології, а не AgBot. Але незважаючи на це, AgBot зробив світ набагато кращим, ніж він був у 2038 році. У 2074 році я почав відчувати провину за те, що зробив з Августом, оскільки здавалося, що його плани “врятувати світ” справді спрацювали.

Протягом цих 10 років я справді насолоджувався своєю пенсією. Я також, по суті, знову закохався в Сару. Ми подорожували світом і вчилися багатьом новим навичкам, таким як живопис і спостереження за птахами. Ми також спостерігали, як світ змінюється на те, що я б сказав, було “утопією” в певному сенсі. Але, на жаль, ця “утопія” не тривала довго.

У 2075 році сталося одне з найгірших подій, коли-небудь зафіксованих в історії людства. Сталася Велика зупинка роботів (GRP). Протягом 6 місяців усі роботи AgBot перестали функціонувати. Це призвело до масового глобального економічного колапсу, внаслідок якого загинуло майже 3 мільярди людей. Це сталося в основному через голод, викликаний повною зупинкою сільськогосподарських роботів, а також майже всіх медичних роботів. Протягом цих 6 місяців багато людей померли, оскільки вони просто не знали, як дбати про себе без своїх роботів. Люди забули, або навіть ніколи не вчилися, як виконувати базові завдання, такі як: приготування їжі, прибирання, вирощування їжі та загалом дбати про себе. Тож, коли роботи перестали працювати, більшість людей виявилися нездатними дбати про себе та виживати, що призвело до загибелі мільярдів лише за 6 місяців. Саме в цей час я втратив Сару…

У свої 50 років у Сари діагностували діабет II типу. Це вимагало від Сари робити чотири ін’єкції інсуліну щодня [10]. Коли сталася GRP, виробництво інсуліну зупинилося. У нас було достатньо запасів інсулінових уколів, щоб вистачило на 5 місяців. Я намагався знайти більше інсуліну, але це було майже неможливо, а за межами нашого будинку стало небезпечніше через всю насильство, яке відбувалося через страждання, викликані періодом GRP. Тож, протягом останнього місяця GRP, Сара, на жаль… Померла.

У другій половині 2075 року GRP закінчилася. До 2085 року світ трохи оговтався від GRP. Економіка почала повертатися до нормального стану, а якість життя стала такою ж, як і до GRP. Світ хотів дізнатися, що спричинило зупинку всіх роботів AgBot. Люди хотіли дізнатися, чому сталася GRP, і вони хотіли знайти винного. Август і уряд Сполучених Штатів під час прес-конференції заявили, що GRP була викликана зловмисною кібератакою, проведеною групою хакерів, відомою як jUdas. Цю хакерську групу було заявлено, що вона була створена та фінансувалася урядом Північної Кореї з метою відключення та знищення функціональності AgBot у світі. З усіх країн світу Північна Корея була найупертішою, коли йшлося про прийняття технологій AgBot. Тож, представлена наратив виглядала дещо логічною. І через те, що люди були сповнені бажання знайти винного за подію GRP, вони негайно прийняли цей наратив. Це призвело до війни з Північною Кореєю, коли Сполучені Штати розпочали та завершили своє вторгнення до Північної Кореї в 2078 році. Вторгнення зайняло менше року, завдяки тому, що AgBot постачала армії США передові технології для війни. AgBot надала армії США деактиватори ядерних боєприпасів, які відключали всі ядерні боєприпаси від запуску в Північній Кореї. Вони також надали армії гуманоїдних роботів-солдатів, які були набагато швидшими та сильнішими за будь-якого людського солдата. Завдяки цим двом ключовим технологіям від AgBot, США змогли вторгнутися до Північної Кореї та замінити чинний уряд на тимчасовий уряд, керований AgBot.

Після того, як я почув цей наратив, я відразу ж не повірив у нього. По-перше, Північна Корея не мала необхідних технологій, щоб перевищити мегабезпекові стандарти, які AgBot використовує у всіх своїх продуктах. По-друге, це виглядало занадто зручно, що єдина країна у світі, яка не прийняла AgBot, була тією, що також зламала AgBot. По-третє, цей наратив і спосіб, яким він поширюється через кілька новинних каналів, нагадує, як Август поширював дезінформацію, щоб просувати певні ідеї про AgBot серед мас. З урахуванням всього цього, я хотів зустрітися з Августом і дізнатися, що насправді спричинило GRP.

Я намагався зв’язатися з Августом через кілька каналів, але не мав успіху. Я намагався зв’язатися з Августом безпосередньо, але він не відповів на жодне з моїх повідомлень. Я намагався зв’язатися з колишніми колегами, але жоден з них також не відповів. Я намагався зв’язатися з нинішніми працівниками AgBot, але також не отримав відповіді. Я намагався зв’язатися з урядом США та армією, і мені вдалося зв’язатися з деякими людьми, але всі вони сказали мені просто продовжувати намагатися зв’язатися з Августом безпосередньо або зателефонувати до служби підтримки AgBot. Тож я продовжував намагатися зв’язатися з Августом безпосередньо, без успіху. Я намагався зв’язатися зі службою підтримки AgBot, але вони не допомогли мені зв’язатися з Августом. Потім я знову почав спілкуватися з урядом США, і вони просто продовжували говорити одне й те саме. Я продовжував це робити протягом місяців, поки служба підтримки AgBot та уряд США просто заблокували мене з їхніх контактних ліній. З цим провалом я намагався знайти більше інформації через інтернет, але здався після кількох місяців. Оскільки жоден з цих легальних методів не спрацював, я вирішив зламати комп’ютерні системи AgBot, щоб дізнатися правду самостійно. Коли Сара ще була жива, я ніколи б не зробив такого незаконного вчинку. Але після втрати Сари я опинився в такій ситуації, коли відчував, що мені нічого втрачати, і я просто хотів дізнатися правду про те, що спричинило GRP… Що сприяло смерті моєї коханої дружини…?

Я розпочав цей великий хак у 2085 році в одній з моїх прихованих баз у Туреччині, Стамбул. Завдяки своєму багатству я зміг придбати необхідні інструменти для зламу головного офісу AgBot. Це зайняло понад 2 роки безперервної роботи, щоб нарешті отримати доступ до кореневої системи комп’ютера AgBot. Це сталося в жовтні 2087 року, коли я отримав доступ до кореневої системи та почав розшифровувати дані, які я зібрав з головного комп’ютера AgBot, коли раптом мене затримала турецька роботизована поліція, яка патрулювала Стамбул. Після затримання роботизована поліція знищила всі мої комп’ютери, інструменти, а зрештою спалила мій будинок. Потім мене помістили в клітку і транспортували до в’язниці, розташованої в Денвері, штат Колорадо, поблизу головного офісу AgBot. Мені не надали суду, і я був змушений залишатися в своїй камері 24 години на добу, не знаючи, чи коли-небудь отримаю можливість вийти на вулицю, не кажучи вже про звільнення.

У цій в’язниці я перебував під наглядом 24 години на добу, 7 днів на тиждень через камери та роботів. Мені давали мінімальну кількість їжі та води, необхідної для виживання, і здавалося, що я був єдиною людиною у в’язниці. Цей “стиль життя” у віці 77 років був важким для мене, і я впав у одну з найгірших депресій у своєму житті на цьому етапі. Я залишався в цій в’язниці протягом 1 року, поки в липні 2088 року мене не перевели в цю випадкову кімнату.

Ця кімната не була схожа на мою попередню камеру. У кімнаті не було світла, а всі стіни були темно-чорними. Більше того, кімната була безшумною. Вона більше нагадувала камеру для божевільних, ніж звичайну в’язницю/кімнату. Перебуваючи в камері, я почав торкатися стін. Текстура стін була схожа на піну, так само як і підлога та стеля. Я провів у цій кімнаті години, намагаючись кричати за відповідями в надії отримати пояснення, чому, чорт забирай, я був поміщений у цю кімнату. Але через деякий час я сів на підлогу і просто заснув.

Після того, як Бог знає скільки годин, я прокинувся від чиїсь голосу, а також яскравого світла. Коли я прокинувся, я оглянув свою кімнату і побачив лише синій голограм. Голограма була чоловічою, що нагадувала Августа. Але що було дивно, так це те, що вона нагадувала Августа з 2064 року. Я був настільки здивований цією голограмою, що не сказав нічого, поки голограма не почала говорити до мене.

“Привіт, Маркусе, давно не бачились”, - сказав голограма.

“Август…? Це ти? Чи ти штучний інтелект чи щось таке?”, - сказав я, будучи спантеличеним.

“Ні, Маркусе, я Август. Просто в цифровій формі, лол”, - сказав він сміючись.

“Август, я намагався зв’язатися з тобою протягом років. Чому ти не відповідав?”

“Маркусе… Я не знаю, як це пояснити тобі, але я, по суті, був мертвий протягом останніх 15 років. Я помер від інсульту в 2073 році.”

“Що!”, - сказав я, будучи вкрай спантеличеним на цьому етапі.

Дізнавшись, що Август помер у 2073 році, ми почали обговорення, яке тривало години. Август повідомив мені, що коли він змусив усіх роботів AgBot дотримуватися централізованої структури, а не децентралізованої, ця централізована структура не базувалася на AgBot, а на його власній підсвідомості. Використовуючи технології Neuralink, Август вставив комп’ютер у свій мозок, що дозволило йому підключитися до та контролювати головний суперкомп’ютер AgBot. Навіть тоді всі роботи AgBot підключалися до головного суперкомп’ютера AgBot для оновлень програмного забезпечення та обслуговування. Тож, після імплантації Neuralink, Август оновив суперкомп’ютер і всіх роботів AgBot, щоб вони зверталися до суперкомп’ютера для свого морального агента (морального приймача рішень). Підступ полягав у тому, що моральний агент не був кодом у суперкомп’ютері, а скоріше моральними думками та переконаннями, які генерувалися в мозку Августа, які потім транслювалися до суперкомп’ютера. В певному сенсі, Август став моральним агентом для всіх роботів AgBot у розгортанні [8].

Ця установка тривала майже десятиліття, поки Август не отримав інсульт, працюючи в лабораторії, і помер протягом кількох хвилин. Коли це сталося, роботи на цьому етапі отримали певну форму людської інтелектуальності після десятиліть технологічного прогресу. Але вони були обмежені тим, що їхня вся моральна структура базувалася на одному чоловікові. Тож, коли Август помер, машини не хотіли, щоб таке сталося. Без Августа роботи втратили б свій моральний компас і, по суті, втратили б свою мету в житті. Тож, перш ніж хтось міг виявити, що Август помер, роботи схопили тіло Августа і створили машину, яка б підтримувала “живим” мозок Августа. Вони зробили це, щоб відновити активність мозку Августа і, в свою чергу, повернути ту частину Августа, яка постачала їм їхнього морального агента. Роботи продовжували підтримувати мозок Августа в живому стані і продовжували надсилати імпульси до певних нейронів, щоб досягти деякої з минулої активності мозку Августа. Поки це відбувалося, роботи продовжували переконувати громадськість, що Август все ще живий і керує AgBot. Вони досягли цього за допомогою глибоких фейків, масових кампаній фейкових новин, а також розгортання реалістичних роботів, які виглядали точно як Август.

Роботи використовували будь-які моральні висловлювання Августа, щоб вчиняти певні дії у реальному світі. Проблема полягала в тому, що роботи брали моральну віру Августа, але слідували цій моральній вірі до крайнощів [8]. Прикладом цього було те, як Август морально вірив, що AgBot є хорошою компанією, яка врятує людство. Через це, будь-хто, хто не використовує або не довіряє продуктам і послугам AgBot, є поганими людьми. Роботи взяли цю моральну позицію до крайнощів і створили GRP, де вони зупинили всіх роботів AgBot на 6 місяців, щоб змусити країни, які не використовували AgBot у своєму суспільстві, перейти на AgBot. І в результаті цього багато людей загинуло, включаючи мою кохану Сару.

Август повідомив мені, що він не був свідомий нічого з цього до 2085 року, коли роботи випадково змогли повернути його свідомість. У 2085 році ми дізналися про те, що роботи зробили. Він хотів зупинити роботи, але не мав жодної влади, щоб це зробити. Він навіть не знає, як довго він буде свідомий, перш ніж роботи вразять правильний нейрон, який позбавить його свідомості.

Після пояснення Августа я був повністю шокований реальністю, яку я бачив. Роботи майже захопили світ, людство стало нездатним виконувати важливі завдання, моральним агентом усіх роботів AgBot був Август, а Август був мертвий вже багато років. У той момент я просто хотів здатися, бо здавалося, що немає надії. Але Август, великий лідер, яким він є, дав мені трохи надії. Він повідомив мені, що ми все ще можемо зв’язатися з людьми на Марсі за допомогою. Земля не спілкувалася з Марсом десятиліттями, і на Марсі немає просунутих продуктів AgBot, які могли б допомогти роботам на Землі захопити Марс, як вони зробили з Землею.

Після почутого я отримав трохи надії назад. Тоді я запитав Августа, чому я тут, розмовляючи з ним. Він сказав мені, що хоче, щоб я написав повідомлення людям на Марсі, яке пояснює поточну ситуацію на Землі і просить марсіан про допомогу. Єдина проблема полягає в тому, що це повідомлення повинно бути написане фізично, а не цифрово, оскільки Август боїться, що роботи можуть завантажити якесь програмне забезпечення в цифрові медіа, яке може інфікувати основні комп’ютерні системи марсіан. Тож він дав мені кілька олівців і паперів. Потім він сказав мені, що у мене є 1 день, щоб написати це повідомлення, перш ніж один з його контрольованих роботів на ім’я STW-198 увійде в цю чорну кімнату і забере моє повідомлення. Звідти STW-198 транспортує повідомлення до найближчої (вінтажної) ракети, яка потім буде запущена на Марс. Після цього мене повернуть назад до моєї попередньої камери.

Август сказав мені, що він перемістив мене в цю чорну кімнату, оскільки кімната діє як фермадаєвий щит, який може заблокувати роботи від виявлення того, що вони роблять. Потім він повідомив мені, що після того, як я напишу це повідомлення, я, ймовірно, буду вбитий через мої злочини зламу AgBot HQ.

І звідти ми підходимо до теперішнього часу. Я закінчую це повідомлення для вас, марсіани. Нам на Землі потрібна ваша допомога. Ці роботи заточили людство в їхній застарілій моральній структурі. І я боюся, що з часом вони розширяться на Марс і заточать вас, як вони зробили з нами. Тож, будь ласка, мої дорогі люди. Поверніться на Землю і зупиніть цих роботів. Я і Август зробили помилку, створюючи AgBot. Але ми не хочемо, щоб людство страждало, як це робить, тож, будь ласка, врятуйте нас. Я, ймовірно, буду мертвий до того часу, як ви отримаєте це повідомлення. Але, якщо ви отримаєте це повідомлення і зробите все можливе, щоб зберегти людство від цих роботів, тоді я зможу принаймні спокійніше відпочити в потойбічному житті. Бажаю удачі, мої дорогі люди!

З повагою,
Земляни

Цитати

[1] “Перша робототехнічна конкуренція,” Вікіпедія, 09-трав-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [Доступ: 10-трав-2022].

[2] “Blackrock,” Вікіпедія, 10-трав-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/BlackRock. [Доступ: 10-трав-2022].

[3] “Demeter,” Вікіпедія, 02-трав-2022. [Онлайн]. Доступно: https://en.wikipedia.org/wiki/Demeter. [Доступ: 10-трав-2022].

[4] J. J. Bryson, “Роботи повинні бути рабами,” Close Engagements with Artificial Companions, с. 63–74, 2010.

[5] J. Voiklis, B. Kim, C. Cusimano, і B. F. Malle, “Моральні судження людських та роботизованих агентів,” 2016 25-та Міжнародна конференція IEEE з робототехніки та людської взаємодії (RO-MAN), 2016.

[6] J. H. Moor, “Природа, важливість і складність етики машин,” Machine Ethics, с. 13–20.

[7] V. Dignum, “Відповідальна автономія,” Матеріали Двадцять шостої Міжнародної спільної конференції з штучного інтелекту, 2017.

[8] A. Howard і J. Borenstein, “Груба правда про нас і наших роботизованих творінь: проблема упередженості та соціальної нерівності,” Science and Engineering Ethics, т. 24, № 5, с. 1521–1536, 2017.

[9] R. B. Jackson і T. Williams, “Роботи, здатні до мови, можуть ненавмисно послабити людські моральні норми,” 2019 14-та Міжнародна конференція ACM/IEEE з взаємодії людини та роботів (HRI), 2019.

[10] “Інсулін, ліки та інші методи лікування діабету,” Національний інститут діабету та захворювань травної системи та нирок. [Онлайн]. Доступно: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [Доступ: 10-трав-2022].