Зменшений Король
Передісторія
Я написав коротку історію «Зменшений Король» як свою підсумкову роботу для курсу Robot Ethics (HASS400) під час останнього семестру мого бакалаврату в Colorado School of Mines. Для цього завдання нам було дано написати вигадану коротку історію, що обертається навколо етики роботів, а також посилатися на деякі статті, які ми читали протягом семестру. Вимога до історії полягала в тому, щоб вона була 10 сторінок довжиною, а я написав 21 сторінку. Я дуже захопився цією історією, тому пішов у крайність.
Тепер, УВАГА, я не є великим письменником. Тож ця коротка історія не ідеальна і потребує доопрацювання та великого перепису. Але я пишаюсь нею і вважаю її цікавою для читання. Протягом усіх років у школі я почав насолоджуватись процесом написання, тому сподіваюсь розширити це на написання інших матеріалів, таких як блоги, статті тощо.
Знаючи все це, оригінальна коротка історія була збережена у PDF‑файлі як частина вимоги завдання. Але, щоб зменшити розмір паперу, я конвертував історію у markdown. Знаючи це, всю коротку історію можна переглянути/прочитати нижче. Сподіваюсь, вам сподобається читання, зв’яжіться зі мною в соцмережах, якщо у вас є питання або пропозиції щодо цієї короткої історії.
Продовжуйте читати, щоб відкрити Зменшений Король…
ЗМЕНШЕНИЙ КОРОЛЬ
Mehmet Hanifi Yilmaz
May 10, 2022
Анотація
У майбутньому, коли доля Землі висить на нитці, Маркус Брус, технологічний геній, і його друг Август Ельрод, візіонер‑лідер, вирушають у місію трансформувати світ за допомогою передової робототехніки. Їхнє творіння, AgBot, революціонізує глобальне сільське господарство та промисловість, обіцяючи утопічне майбутнє. Але коли їхня технологічна імперія зростає, непередбачені наслідки кидають виклик самій суті людської моралі та свободи. Коли катастрофічна подія, відома як Велика Роботична Пауза, загрожує існуванню людства, Маркус змушений протистояти темній стороні їхньої спадщини та просити міжпланетну допомогу. «Зменшений Король» — захоплююча історія про амбіції, владу та делікатний баланс між людиною і машиною, що змушує нас задуматися над справжньою ціною прогресу.
Історія
Я тут, щоб попередити вас про критичну ситуацію, в якій зараз знаходиться Земля! Якщо її не вирішити належним чином, ця ситуація може легко привести людство до загибелі. Я хотів би пояснити цю ситуацію у кількох реченнях, але, на жаль, складність ситуації вимагає пояснити, що привело до неї, щоб ви всі справді зрозуміли її важливість.
Я є ключовим фактором того, що привело до поточної ситуації Землі, тому дозвольте мені хоча б представитися. Мене звати Маркус Брус, я народився в маленькому містечку в Колорадо під назвою Орей у 2010 році. Орей — це передмістя, оточене красивими горами. Я народився у двох батьків, які обидва були вчителями середньої школи. Мій батько був вчителем математики, а моя мати — вчителем науки.
Я не дуже пам’ятаю своє раннє дитинство, бо, скажу я, я не набув справжньої свідомості до 12‑ти років, що було у 2022 році. У цьому році я був у середній школі і вважався дитячим генієм, який дійсно виділявся в математиці та науці. Мій директор у школі хотів, щоб мої батьки дозволили мені перейти з 7‑го класу одразу в 11‑й. Але мої батьки не погодились з рекомендацією директора, бо хотіли, щоб у мене було звичайне дитинство. Я вдячний за це рішення, бо пам’ятаю, що мав чудове дитинство. Дитинство в час, коли світ починав все більше інтегруватись з технологіями, а не бути повністю поглинутим ними. Тепер, дізнавшись, що я геній, 2022 рік став особливим для мене. Але справжньою причиною, чому 2022 рік був особливим, стало те, що я вперше зустрів майбутнього довготривалого друга — Августа Ельрода. Саме Август фундаментально зіграв ключові події, які привели Землю до того, чим вона є зараз.
Я познайомився з Августом у 7‑му класі в нашому місцевому клубі LEGO‑робототехніки. Перше, що я помітив у характері Августа, — це його амбіційність і цілеспрямованість. Навіть будучи 12‑річним хлопчиком, Август був справжнім лідером, бо зміг привести нашу місцеву команду LEGO‑робототехніки до перемоги на національному чемпіонаті США. Це було дійсно вражаюче, враховуючи, що всі учасники команди були школярами середньої школи, які мало цікавились інженерією робототехніки. Але Август не лише мотивував цих дітей вчитися і вигравати, він також привів їх до перемоги. Ми всі поважали Августа як нашого лідера, а Август не дуже поважав багатьох людей. Однак він поважав мене за мій інтелект. Спочатку він помітив мене саме за інтелект і був вражений, що зустрів у своєму віці когось розумнішого за себе. Август навіть змагався зі мною на іспитах, але завжди програвав. Але, як я завжди перемагав Августа в інтелекті, Август перемагав мене у спорті. Він грав у баскетбол і футбол після уроків. Він був настільки добрим у цих видах спорту, що багато хто вважав, що він стане професійним спортсменом, коли підросте. Ця взаємна повага зрештою привела до довгої дружби, яка тривала до наших дорослих років.
Після середньої школи ми розпочали навчання у старшій школі у 2024 році. Під час наших років у старшій школі і я, і Август змагалися у FIRST Robotics Competition (FRC) [1]. FRC був найбільшим змаганням з робототехніки у Сполучених Штатах і в основному складався зі школярів старшої школи [1]. Працюючи над FRC, ми багато дізналися про механічну, електричну та комп’ютерну інженерію. І завдяки дивовижним лідерським навичкам Августа ми змогли виграти національний чемпіонат два роки підряд, що тоді було нечуваним. Також у цей час я брав участь у численних математичних змаганнях та дебатах на етичні теми. Саме тоді Август продовжував домінувати у баскетболі, ведучи старшошкільну команду до національного чемпіонату три роки підряд. Ми обидва були обдарованими студентами у своїх галузях. Але саме в цей час і я, і Август сформували свої життєві цілі і, на краще чи гірше, продовжували їх переслідувати до самого кінця.
Протягом мого часу у старшій школі я зрозумів, що моя мета в житті — зробити світ кращим за допомогою технологій. Я прийняв, що світ не буде ідеальним і завжди буде недосконалим. Однак тоді я вірив, що якщо працювати достатньо наполегливо, можна хоча б полегшити тягар світу і створити краще майбутнє. У Августа були схожі цілі, але трохи інші. Я знав, що Август амбіційний, проте я ніколи справді не знав, куди він прагне дійти, доки не дійшов до нашого випускного року у старшій школі.
Під час нашого випускного року у старшій школі і я, і Август були прийняті та вирішили вступити до Массачусетського технологічного інституту (MIT). Август отримав шанс бути драфтованим у НБА, але відхилив цю пропозицію і замість цього вирішив піти до MIT. Я вперше дізнався про це від батьків Августа, і після цього я подзвонив Августу, і наша розмова пройшла приблизно так:
«Август, чому ти сказав «ні» НБА? Це можливість, що трапляється раз у житті», — сказав я в стані розгубленості.
«Маркусе, НБА було б весело, але лише весело. Це не змінить світ. Якщо вже, то це лише відволіче мене від виправлення цього світу», — відповів Август впевнено.
«Змінити світ? Що ти маєш на увазі?»
«Так, змінити світ! Маркусе, я хочу вести людство до кращого майбутнього. Я хочу врятувати світ!»
Я зупинився на кілька секунд, дещо більш здивований, ніж очікував.
«Врятувати світ? Що ти маєш на увазі?»
«Маркусе, ти і я — обдаровані. Ми обидва хочемо допомогти світу. Ти виділяєшся інтелектом, а я — лідерством. Крім того, я довіряю тобі, Маркусе. З нашими навичками ми можемо розробляти та розповсюджувати технології, які змінять світ на краще. Я впевнений у цьому!»
«Вау, ти більш амбіційний, ніж я думав, Августе!», — сказав я з легким сміхом в кінці, «але як ми досягнемо такої мети?»
«Коротка відповідь: я планую заснувати технологічний бізнес. Потім розширитися в політику. Отримати фінансову та політичну владу. І з цього ми зможемо змінити світ. Ти відіграєш критичну роль у цьому плані, Маркусе!»
«Добре, Августе. Це все ще дуже амбіційно. Але коли у тебе буде план і ти почнеш потребувати мене, я буду поруч.»
«Дякую, друже, побачимось у MIT!», — сказав Август у захопленому тоні.
У той момент ця розмова не мала для мене великого значення. Я знаю, що Август чудовий, але його мрії звучали більше як мрії, ніж реальна перспектива. Я не сприймав його твердження серйозно тоді. Але все це зміниться. У будь-якому випадку, це був 2028 рік, і я з нетерпінням чекав початку своїх бакалаврських студій у MIT.
Це був також захоплюючий час для вивчення інженерії, бо в тому ж 2028 році уряд Сполучених Штатів, NASA та SpaceX почали відправляти більше людей для колонізації Марса. Лише два роки тому вони відправляли лише кілька людей туди й назад. Але тепер вони та решта світу почали відправляти більше людей на Марс для оселення. Це був справжній переломний момент в історії людства і спричинив великий попит і розвиток досліджень у галузі робототехніки, що було чудово, бо я хотів спеціалізуватись у робототехніці.
У 2030 році і я, і Август закінчили другий рік у MIT. Я вивчав одночасно робототехніку та етику, а Август вивчав робототехніку та політологію. Але після нашого другого року коледжу Август почав дуже не любити коледж. Він не бачив у ньому корисного інструменту для досягнення своєї мрії «спасти світ». Тож, під час другого року Август пропускав більшість занять і також провалив їх. Замість того, щоб ходити на заняття, Август зосередився на розробці програмного забезпечення, що працює на штучному інтелекті, яке ефективно керувало б активами та акціями. Він хотів створити програму управління активами, кращу за програму Aladdin від BlackRock того часу [2]. Він був настільки впевнений у своєму програмному забезпеченні, що кинуў MIT після другого року і розпочав свій перший бізнес‑проект з цим новим програмним забезпеченням. У травні 2030 року він виїхав з гуртожитку і переїхав до Нью‑Йорка. Мене засмутило, що Август кинуў навчання, але хорошою новиною того року було те, що я познайомився зі своєю майбутньою дружиною, Сарою Рейвен.
Тепер перейдемо до 2038 року. Август був у всіх новинах, бо щойно став мультимільйонером у 28 років. Після продажу свого програмного забезпечення за значну суму грошей BlackRock, у Августа було майже 100 мільйонів доларів готівкою та кілька опціонів на акції BlackRock. Отже, Август завойовував фінансовий світ; я щойно завершив два докторантури — в галузі інтелектуальних робототехнічних систем та машинної етики. Крім того, влітку 2038 року я і Сара одружилися. Я запросив Августа на своє весілля, і вперше за майже 8 років побачив його на своєму весіллі. Це була весела ніч, але коли ми завершували святкування, Август попросив мене подзвонити йому, коли у мене буде вільний час. Тож після медового місяця з Сарою я подзвонив Августу.
Ми розмовляли майже 2 години і за цей час обговорили життя, але потім Август став серйозним у телефоні. Август зазначив, що знає, що у мене величезний студентський борг і що я ще не знайшов роботи. Тож він запропонував мені роботу, яку, на його думку, може мені надати. Це була посада співзасновника його нового бізнес‑проекту. Цей новий проєкт — стартап під назвою AgBot, який зосереджуватиметься на автоматизації сільського господарства за допомогою ШІ та робототехніки. Август хоче, щоб я став співзасновником AgBot, бо вважає, що мої технічні навички будуть цінними для розробки необхідної архітектури таких розумних роботизованих систем. Він також сказав, що довіряє мені і цінує довіру після того, як його останній партнер фактично змусив його продати програмне забезпечення BlackRock. Почувши цю пропозицію, я одразу погодився, бо був дуже захоплений проєктом, і він був правий — я був у величезному боргу без пропозицій роботи до того моменту.
AgBot офіційно засновано у 2038 році. Я і Сара переїхали назад до Колорадо, бо саме там розташований AgBot. Одразу ж Август і я почали працювати над створенням AgBot. За п’ять років були здійснені ключові кроки як з мого боку, так і з боку Августа, щоб довести AgBot до нинішнього стану. По‑першу, Август вклав власний капітал у компанію. Це дозволило нам отримати все необхідне для початку створення прототипів як доказ концепції. Це також дозволило Августу найняти інших розробників, які працювали під моїм керівництвом над розробкою ключових технологій для AgBot. У цей же час ми розпочали розробку і зрештою випустили наш перший продукт, Demeter [3]. Demeter — це чотирьохколісний робот з ногами, висота яких регулюється. Він оснащений двома дельта‑роботичними руками та двома 6‑вісними роботичними руками. Мета Demeter — захищати культури від комах, тварин і хвороб, моніторуючи та керуючи ними на ранніх етапах розвитку. Він також може збирати врожай з рослин, які важко автоматизовано збирати за допомогою трекера, наприклад, полуницю. Разом з самим роботом Demeter постачається зі своєю зарядною станцією та дроном. Demeter може автоматично заряджатися, а у формі дрону перевіряти великі поля культур, щоб визначити, які культури потребують найбільшого догляду. Цей робот був частково автономним, але все ж вимагав людського контролю та ремонту. Однак головна перевага Demeter полягала в тому, що він міг допомогти одному фермеру керувати 1000 акрами землі одночасно, чого раніше не було.
Demeter був випущений для публіки у травні 2043 року з рекордними продажами. Завдяки передовим функціям Demeter та чудовій маркетинговій кампанії Августа та його команди, Demeter розпродався одразу. Це підвищило довіру інших інвесторів і призвело до значного збільшення фінансування від інших інвесторів. Це додаткове фінансування дозволило AgBot розширити свою діяльність та команду розробників. Воно також дозволило AgBot розпочати розробку автоматизованих фермерських модулів для приміщень, які пізніше, у 2047 році, були випущені в регіони світу, найбільше постраждалі від зміни клімату. Ці внутрішні модулі також були надзвичайно успішними, що лише прискорило зростання та багатство AgBot. У 2048 році більш просунута версія Demeter була запущена на Марс, щоб допомогти з сільськогосподарськими зусиллями на Марсі. Август був гордий моєю роботою і дав мені багато акцій AgBot понад мою зарплату.
У 2050 році AgBot вийшов на біржу і був оцінений у 3 трильйони доларів. Це сталося завдяки тому, що майже кожен фермер у США користувався сільськогосподарськими продуктами AgBot. Після виходу на біржу я став мільярдером за одну ніч, а Август — мультимільярдером за одну ніч. Публічний статус також приніс більше капіталу AgBot, що дозволило AgBot придбати Tesla та Neuralink. Tesla і Neuralink були придбані за низькою ціною, бо з моменту смерті Елона Маска жоден генеральний директор не зміг ефективно керувати цими компаніями. Це призвело до багатьох років втрати прибутку для обох компаній, і вони майже збанкрутували, доки AgBot не придбав їх обидві за лише 900 мільярдів доларів. Обидві компанії, Tesla і Neuralink, були об’єднані у відділ робототехніки AgBot, і AgBot розпочав розробку двох нових продуктів. Першим був домашній асистент, який розроблявся на основі початкового дизайну Tesla Bot [4]. Цей проєкт отримав назву Agssistant‑Bot. Другим продуктом був автономний автобус, який базувався на технології, яку використовує Tesla для створення електромобілів. Цей проєкт отримав назву Auto‑Bus. У 2050 році автомобілі стали менш поширеними через те, що штати інвестували значні кошти в кращі транспортні системи, такі як автобуси та поїзди. У цей час Август почав фінансувати багато політичних кампаній, і багато з цих політиків згодом стали мерів, сенаторами, а один навіть став членом Конгресу. Це виявилося корисним для розширення впливу AgBot у Сполучених Штатах.
У 2051 році я та моя команда почали усувати обмежувальні фактори сучасних алгоритмів ШІ. На той момент усі наші роботизовані системи для сільського господарства були не лише міцними за якістю збірки, а й майже повністю автономними. Основним обмежуючим фактором була відсутність у ШІ морального агента [5]. У справді інтелектуального робота має бути моральний агент, який допомагатиме орієнтувати його в соціальних рамках суспільства. У AgBot ми намагалися створити морального агента для наших ботів, просто жорстко закодувавши моральні правила в код ШІ. Це виявилося неефективним, тому ми відмовилися від цього підходу і перейшли до того, щоб користувач визначав моральний вибір робота [6]. Принципово це працює, але уповільнює автоматизацію наших роботів, оскільки вимагає людського втручання щоразу, коли робот стикається з ситуацією, що потребує морального роздуму. Це було прийнятним для наших роботів у сільському господарстві, але стало суттєвим обмеженням у розвитку AgBot щодо створення Agssistant та Auto‑Bus для широкої публіки [4]. Після 4 років розробки моя команда здійснила неможливе.
До 2055 року моя команда створила перший успішний моральний агент у базовому коді системи ШІ всіх роботів AgBot. Цей моральний агент дозволяв роботу приймати власні моральні рішення, які найкраще відображають моральні позиції багатьох людей у суспільстві [7]. Початковий агент навчається на масивній базі даних, але коли робот продовжує взаємодіяти з людьми, він починає краще адаптувати свої моральні рамки до тих людей, з якими взаємодіє [8]. Це було ідеально, оскільки завершило структуру ШІ AgBot до того рівня, коли наші роботи могли бути повністю автономними без будь‑якого людського втручання. Цей рік також був важливим у історії людства, бо саме тоді Марс припинив спілкування з Землею. Нова марсіанська цивілізація вирішила відокремитися від Землі та створити нове суспільство, не підпорядковане минулим земним суспільствам. Багато країн були розлючені діями Марсіан, але через велику відстань між Землею та Марсом та вже існуючі серйозні проблеми на Землі, країни просто почали ігнорувати це питання на невизначений термін.
Після розробки цього морального агента я представив його Августу, і до 2060 року ми впровадили морального агента у нашу основну кодову базу та розгорнули його на всіх роботах нашої продуктової лінії. Саме в цьому році AgBot нарешті випустив Agssistant для широкої публіки, нарешті здійснивши мрії Августа створити робота для масової аудиторії. Крім того, Auto‑Bus був запущений у великих містах по всій Сполученій Штатах. AgBot також був звільнений від сплати будь‑яких державних податків завдяки масовому внеску компанії в економіку, але озираючись назад, я вважаю, що це було через величезний вплив Августа на уряд США протягом багатьох років заснування політиків. У цей же час рівень безробіття досяг рекордного максимуму, оскільки моральний агент повністю усунув людські робочі місця з більшості роботизованих систем. Це призвело до масового безробіття та великого попиту на реформу того, як має працювати економіка та ідея зайнятості у Сполучених Штатах. Це також був перший випадок, коли AgBot почав сприйматися публікою в негативному світлі. Август і я отримували погрози смертю від людей, які втратили роботу через впровадження нової функції морального агента. У цей же час я почав інвестувати більше в систему безпеки, щоб захистити себе та свою дружину.
У 2063 році був зафіксований перший випадок вбивства роботом в історії людства. Робот був моделлю Agssistant і працював на останньому програмному забезпеченні AgBot, яке містило найновішу кодову базу морального агента під час його «запалу». Під час цього запалу робот вбив 70‑річного чоловіка при денному світлі. Старшого чоловіка звали Джон Сміт, який користувався Agssistant, щоб допомагати собі в будинку та виконувати інші завдання, які в його віці були важкими. Після того, як робот вбив Джона, робот почав розривати себе на частини, доки не почав працювати. Джона та робота не виявили протягом трьох днів.
Коли новина про це вийшла, публіка зійшла з розуму, вимагаючи від Августа пояснити, що сталося. Акції AgBot впали на 70 %, і понад 90 % відправлених моделей Agssistant поверталися. Єдине хороше в цьому був те, що модель Agssistant, яка скоїла вбивство, не знищила свій лог‑диск, і ми змогли побачити, що сталося всередині Agssistant, що спричинило вбивство Джона.
Я досі пам’ятаю ту ніч. Було 3:00 ранку в головній лабораторії в штаб‑квартирі AgBot, і моя команда нещодавно завантажила журнали. Ми переглядали журнали кілька днів, намагаючись зрозуміти, що, чорт забирай, сталося тієї ночі, коли Agssistant вбив Джона. Після п’яти днів копання ми знайшли відповідь. Було встановлено, що старий чоловік з часом став більш ненависним і агресивним щодо цього Agssistant [9] називаючи його образливими іменами, бивши його і заповнюючи частини робота сміттям у жорстокий спосіб. Ці жорстокі дії, ймовірно, були спричинені тим, що Джон нещодавно пройшов через розлучення і був ізольований протягом місяців, а також іншими психічними проблемами, з якими він стикався у пізнішій частині свого життя. Таким чином, поведінка Agssistant могла розлютити Джона, не усвідомлюючи це Agssistant [10]. У будь‑якому випадку це «зловживання» роботом, здається, спровокувало його морально «вірити», що Джон — злий, і його треба вбити. Але ще більш дивовижним було те, що після того, як Agssistant вбив Джона, він почав вбивати себе. Причина полягала в тому, що робот все ще вірив, що вбивство будь‑якої живої істоти є аморальним, хоча саме це він щойно зробив. Agssistant, не знайти кращих слів, не міг «впоратися» з моральною дилемою, в якій опинився, і тому вбив себе. Це було надзвичайно жахливо, і в той час я сприйняв це як попередження Бога, щоб не гратися в Бога. Я протиставився Августу з цим питанням, і він був розбитий.
Через кілька місяців після вбивства і нашого з’ясування його причин AgBot оголосив про це публічно. Август хотів знайти спосіб приховати це, наприклад вигадати брехню, що Джон модифікував свою модель Agssistant. Однак через масовий попит громадськості та тиск урядів у всьому світі Август подав і змусив AgBot оприлюднити свої висновки під час прес‑конференції. Це зруйнувало акції компанії і змусило багатьох інвесторів вийти з AgBot. Але найгірше — це заплямувало репутацію Августа. Щоб зменшити шкоду від цього інциденту, потрібна була «жертва», яка взяла б на себе більшість відповідальності за подію. Рада директорів хотіла, щоб Август взяв на себе провину і залишив посаду генерального директора AgBot. Але, на мій подив, Август не залишив свою посаду, бо протягом років він таємно купував все більше акцій і активів AgBot. Це призвело до того, що він володів понад 15 % AgBot, отримавши більшість голосів. Це спричинило більше внутрішніх конфліктів у компанії, і Август силою вигнав усю раду директорів, заповнивши ці посади новою радою директорів. Пізніше я дізнався, що ця нова рада була просто маріонетками під «правлінням» Августа. Таким чином, після цього масивного спаду багатства AgBot, Август успішно отримав повний контроль над AgBot. Не лише це, він змусив ту раду директорів нести провину за справу вбивства.
Захоплення AgBot Августом було добре приховано в медіа. Це стало можливим завдяки політичній владі, яку мав Август, а також масовій кампанії фейкових новин, яку Август розповсюджував по інтернету, що дуже збентежило масову публіку і дозволило Августу не виглядати таким потужним, яким він був насправді. Я був огиджений цим вчинком, бо Август фактично зробив себе диктатором AgBot, що мене турбувало, оскільки AgBot мав величезний вплив на економіку та світ. Я був проти ідеї, щоб Август приймав усі рішення для такої великої корпорації. Я не хотів підтримувати таку ідею, тому попросив Августа переглянути свої дії. Я нагадав йому наше дитинство і те, як ми обидва хотіли «врятувати світ». Але Август не переглянув, а заявив: «Я (Август), врятую світ». Потім він пояснив, як йому не подобається публіка і ідея демократії. Я був ще більше огиджений діями Августа, тому того ж дня я залишив AgBot.
Озираючись назад, я вважаю, що дії Августа були зумовлені одночасно відчуттям зради, страху, амбіцій та нарцисизму. Він провів понад 25 років, будуючи та керуючи AgBot. Його роль у компанії була фундаментальною у перетворенні AgBot на одну з найпотужніших компаній у світі. AgBot потім сприяв створенню дивовижних роботів, які не лише підвищили продуктивність, а й допомогли змінити структуру суспільства. Однак, незважаючи на всю його важку працю та жертви, незважаючи на всі дивовижні речі, які він вніс у суспільство, і всі життя, які він врятував або зробив комфортнішими, одного помилкового продукту AgBot достатньо, щоб публіка почала його ненавидіти, а всі інвестори, яких він збагачував, почали його ігнорувати. Це «зрада» з боку публіки, на мою думку, започаткувала шлях Августа до того, щоб стати монстром, яким він є сьогодні.
Після того, як я залишив AgBot, я розірвав зв’язки з Августом. Пройшли десятиліття, перш ніж я знову з ним поговорив. Але в той період мого життя мені було 53 роки, і я хотів вийти на пенсію. Сара мала таке ж мислення, тому ми вирішили переїхати з Колорадо до Анкари, Туреччина, щоб розпочати нове життя на пенсії. Я хотів проводити більше часу зі своєю дружиною і насолоджуватися плодами своєї праці. До 2064 року Сара і я розпочали процес переїзду до Анкари. У цей час я все ще стежив за новинами про AgBot. Ключовим моментом було те, що Август перейшов з децентралізованої структури морального агента в AgBot на централізовану структуру. Це означало, що AgBot прибрав би у всіх своїх роботів можливість приймати індивідуальні моральні рішення, і замість цього AgBot визначав би всі моральні рішення для всіх роботів під AgBot [6]. Хоча це був певний спосіб виправити проблему, яку створив мій оригінальний моральний агент, я не вважав це правильним інженерним рішенням. Це лише дало Августу більше влади над AgBot і світом. Але тоді я, нерозумно, втомився від AgBot і Августа. Тож я майже перестав стежити за новинами про AgBot і почав більше зосереджуватись на своїй пенсії. До кінця 2064 року Сара і я переїхали до Анкари, розпочинаючи наш шлях у пенсії.
З 2064 по 2074 роки світ змінився драматично. Майже всі базові завдання були повністю автоматизовані роботами, виготовленими AgBot. Август продовжував керувати AgBot, і інциденти, подібні до вбивства 2063 року, не траплялися. Однак ходили чутки, що такі інциденти все ж мали місце, і Август приховував їх від публіки. AgBot тепер мав роботів, які виконували майже всі важливі завдання в суспільстві, такі як: сільське господарство, приготування їжі, загальне обслуговування, прибирання, управління і навіть розваги. Крім того, AgBot розгорнув автономні медичні роботи, що знизили вартість медичних рахунків і кількість лікарів у лікарнях до такої міри, що у великих лікарнях зазвичай залишалося лише 1‑10 лікарів. Суспільство також зазнало значних змін. Майже всі низькооплачувані робочі місця були усунуті і зайняті роботами [4]. Люди почали працювати лише два дні на тиждень і проводити інші п’ять днів, відпочиваючи або займаючись особистими хобі. Така нова форма суспільства не застосовувалася в більшості країн, оскільки в багатьох країнах їхні уряди забороняли повністю впроваджувати роботи AgBot у ключові позиції в їхньому суспільстві. Натомість вони хотіли повністю автоматизувати ключові аспекти свого суспільства, використовуючи власні технології, а не AgBot. Проте, незважаючи на це, AgBot зробив світ значно кращим, ніж у 2038 році. У 2074 році я почав відчувати провину за те, що я зробив Августу, бо здається, що його плани «врятувати світ» дійсно спрацювали.
Протягом цих 10 років я дійсно насолоджувався своїм виходом на пенсію. Я також, по суті, знову закохався в Сару. Ми бачили світ і вивчили багато нових навичок, таких як живопис і спостереження за птахами. Ми також бачили, як світ перетворився на те, що я б назвав «утопією» в певному сенсі. Але, на жаль, ця «утопія» не тривала довго.
У 2075 році сталося один з найгірших випадків, коли-небудь зафіксованих в історії людства. Сталася Велика Роботна Пауза (GRP). Протягом 6 місяців усі роботи AgBot перестали функціонувати. Це призвело до масового глобального економічного колапсу, що спричинив смерть майже 3 мільярдів людей. Це сталося головним чином через голод, викликаний повною зупинкою сільськогосподарських роботів, а також майже всіх медичних роботів. Протягом цих 6 місяців багато людей померли, бо просто не знали, як піклуватися про себе без своїх роботів. Люди забули або навіть ніколи не навчилися виконувати базові завдання, такі як: готування, прибирання, вирощування їжі та загалом догляд за собою. Тож, коли роботи перестали працювати, більшість людей були нездатними піклуватися про себе та виживати, що призвело до смерті мільярдів лише за 6 місяців. Це також був час, коли я втратив Сару….
У своїх 50‑х роках Сара захворіла на діабет типу II. Це вимагало від неї приймати чотири ін’єкції інсуліну щодня [10]. Коли сталася GRP, усі виробництва інсуліну зупинилися. У нас залишилося достатньо запасів ін’єкцій інсуліну лише на 5 місяців. Я намагався знайти більше інсуліну, але це було майже неможливо, а поза нашим будинком стало ще небезпечніше через всю жорстокість, що виникла через страждання під час періоду GRP. Тож, протягом останнього 1 місяця GRP, Сара, на жаль… померла.
У другій половині 2075 року GRP закінчилася. До 2085 року світ трохи одужав після GRP. Економіка почала повертатися до норми, і якість життя стала такою ж, якою була до GRP. Світ хотів дізнатися, що спричинило зупинку всіх роботів AgBot. Люди хотіли зрозуміти, чому сталася GRP, і шукали, кого звинуватити. Під час прес‑конференції уряд Сполучених Штатів і Августус заявили, що GRP була спричинена зловмисною кібератакою, проведеною хакерською групою під назвою jUdas. Ця хакерська група, за їх словами, була створена і фінансована урядом Північної Кореї з метою вимкнути та знищити функціональність AgBot у світі. Серед усіх країн світу Північна Корея була найупертішою щодо впровадження технології AgBot. Тож подана нарація мала певний сенс. І через те, що люди були схильні знайти когось, кого можна звинуватити за подію GRP, вони негайно прийняли цю нарацію. Це призвело до Північнокорейської війни, коли Сполучені Штати розпочали і завершили вторгнення в Північну Корею у 2078 році. Вторгнення тривало менше року, завдяки тому, що AgBot постачав американську армію передовими військовими технологіями. AgBot надав американській армії нуклеарні деактиватори, які вимкнули можливість запуску ядерної зброї в Північній Кореї. Вони також надали армії гуманоїдних робот‑солдатів, які були значно швидшими та сильнішими, ніж будь‑який людський солдат. Завдяки цим двом ключовим технологіям від AgBot, США змогли вторгнутися в Північну Корею та замінити поточний уряд тимчасовим урядом, керованим AgBot.
Після того, як я почув цю нарацію, я одразу не повірив у неї. По‑перше, Північна Корея не мала необхідних технологій, щоб навіть перевершити мегабезпекові стандарти, які AgBot використовує у всіх своїх продуктах. По‑друге, це здається надто зручним, що єдина країна у світі, яка не прийняла AgBot, була саме та, що зламала AgBot. По‑третє, ця нарація і спосіб її поширення через численні новинні канали нагадують те, як Августус поширював дезінформацію, щоб просувати певні ідеї про AgBot серед масової публіки. З усього цього я захотів протистояти Августусу і дізнатися, що саме спричинило GRP.
Я намагався зв’язатися з Августусом через різні канали, але без успіху. Я намагався писати Августусу безпосередньо, проте він не відповідав на жодне з моїх повідомлень. Я намагався зв’язатися зі своїми колишніми колегами, але жоден з них не відповідав. Я намагався зв’язатися з поточними працівниками AgBot, проте не отримав відповіді. Я звернувся до уряду США та армії, і я дійшов до контакту з кількома людьми, але вони всі казали мені просто продовжувати намагатися зв’язатися з Августусом безпосередньо або телефонувати в службу підтримки клієнтів AgBot. Тож я продовжував намагатися зв’язатися з Августусом безпосередньо, без успіху. Я намагався звернутися до служби підтримки AgBot, проте вони не допомагали мені поговорити з Августусом. Потім я знову почав спілкуватися з урядом США, і вони постійно повторювали те саме. Я робив це протягом місяців, доки і служба підтримки AgBot, і уряд США не заблокували мене на своїх лініях зв’язку. Після цього я спробував знайти більше інформації в інтернеті, але зупинився через кілька місяців. Коли ж жоден із цих законних методів не працював, я перейшов до хакерства систем AgBot, щоб сам знайти правду. Коли Сара ще жила, я ніколи б не вчинив такий незаконний вчинок. Але після втрати Сари я опинився в такій точці, коли відчував, що більше нічого не втрачу, і просто хотів дізнатися правду про те, що спричинило GRP… Що сприяло смерті моєї коханої дружини…?
Я розпочав цей великий хак у 2085 році в одній зі своїх прихованих баз у Туреччині, Стамбул. Завдяки моєму багатству я зміг придбати необхідні інструменти для зламу AgBot HQ. Це зайняло понад 2 роки безперервної роботи, щоб нарешті отримати root‑доступ до головної комп’ютерної системи AgBot. Це був жовтень 2087 року, коли я отримав root‑доступ і почав розшифровувати дані, які зібрав з головної системи AgBot, коли раптом мене затримала турецька роботполіція, що патрулювала Стамбул. Після затримання роботполіція знищила всі мої комп’ютери, інструменти і врешті‑решт спалила мій будинок. Мене потім помістили в клітку і перевезли до в’язниці в Денвері, штат Колорадо, неподалік від HQ AgBot. Мені не надали суду, і мене змусили перебувати у камері 24 години на добу без жодного уявлення, чи я коли‑небудь зможу вийти на волю, не кажучи вже про випуск.
У цій в’язниці мене стежили 24 години на добу 7 днів на тиждень за допомогою камер і роботів. Мені давали мінімальну кількість їжі та води, необхідну для виживання, і здавалося, що я був єдиною людиною у в’язниці. Такий «стиль життя» у 77 років був для мене важким, і я впав у одну з найгірших депресій у своєму житті. Я залишався у цій в’язниці протягом 1 року, доки в липні 2088 року мене не перевезли в цю випадкову кімнату.
Ця кімната відрізнялася від моєї попередньої камери. У кімнаті не було світла, і всі стіни були темно‑чорними. Крім того, кімната була беззвучна. Це більше схоже на камеру божевілля, ніж на звичайну в’язничу камеру/кімнату. У камері я почав торкатися стін. Текстура стін була схожа на піну, як і підлога, і стеля. Я перебував у цій кімнаті протягом годин і намагався кричати за відповідями, шукаючи пояснення, чому, чорт забирай, мене помістили в цю кімнату. Але через деякий час я сів на підлогу і просто заснув.
Після того, як Бог знає скільки годин пройшло, мене розбудив голос когось, а також яскраве світло. Коли я прокинувся, я оглянув свою кімнату і побачив синій голограм. Голограма була чоловічого вигляду, схожого на Августуса. Але дивно, що він виглядав як Августус з 2064 року. Я був настільки здивований цим голограмом, що не сказав нічого, доки голограма не почала зі мною розмовляти.
«Привіт, Маркусе, давно не бачилися», — сказав голограм.
«Августус…? Це ти? Чи ти штучний інтелект чи щось інше?», — сказав я, збентежений.
«Ні, Маркусе, я Августус. Просто в цифровій формі, лол», — відповів він сміючись.
«Августус, я намагався зв’язатися з тобою роками. Чому ти не відповідав?»
«Маркусе… Я не знаю, як це тобі пояснити, але я фактично мертвий вже останні 15 років. Я помер від інсульту у 2073 році».
«Що!», — сказав я, повністю збентежений.
Після того, як я дізнався, що Августус помер у 2073 році, ми розпочали розмову, яка тривала години. Августус повідомив мені, що коли він зробив морального агента всіх роботів AgBot централізованим, а не децентралізованим, цей централізований підхід не базувався на AgBot, а на його власному підсвідомості. Використовуючи технологію Neuralink, Августус розмістив комп’ютер у своєму мозку, що дозволило йому підключатися до головного суперкомп’ютера AgBot і керувати ним. Ще тоді всі роботи AgBot підключалися до головного суперкомп’ютера AgBot для оновлень програмного забезпечення та технічного обслуговування. Після імпланту Neuralink Августус оновив суперкомп’ютер і всі роботи AgBot, щоб вони зверталися до суперкомп’ютера за своїм моральним агентом (моральним приймачем рішень). Проблема полягала в тому, що моральний агент не був кодом у суперкомп’ютері, а радше моральними думками та переконаннями, що генерувалися у мозку Августуса і потім передавалися у суперкомп’ютер. У певному сенсі Августус став моральним агентом для всіх роботів AgBot у використанні [8].
This setup went on for nearly a decade, until Augustus got a stroke well working in the lab and passed away within minutes. When this happened, the robots at this point gained some form of human like intelligence after decades of technological advancement. But they were limited by the fact that their entire moral framework was based off one man. So, when Augustus passed away, the machines did not like such a thing to happen. Without Augustus, the robots would lose their moral compass and in суті, lose their purpose in life. So, before anyone could discover Augustus had passed away, the robots grabbed Augustus’s body and created a machine that would keep Augustus’s brain “alive”. They did this, to bring back Augustus’s brain activity and in turn, bring back the part of Augustus that supplied them their moral agent. The robots would continue to keep Augustus’s brain alive and keep sending shocks to certain neurons to achieve some of Augustus’s past brain activity. Well, this was happening, the robots would continue to convene the public that Augustus was still alive and leading AgBot. They would achieve this though the use of deep fakes, massive fake news campaigns, as well as deployment of realist human like robots that looks just like Augustus.
The robots would use anything Augustus’s moral side of the brain said to commit certain acts on the real world. What made this an issue is that the robots would take a moral belief of Augustus but follow though that moral belief to the extreme [8]. An example of this was how Augustus morally believed that AgBot was a good company that would save humanity. Because of this, anyone who does not use or trust AgBot products and services are bad people. The robots took this moral stance to the extreme and created the GRP, where they stopped all AgBot robots from working for 6 months to make countries who were not using AgBot in their society to switch over to AgBot. And in doing so, many humans died, including my beloved Sarah.
Augustus informed me that he was not conscious for any of this until 2085, where the robots were able to accidently bring back his consciousness side of his brain. In was in 2085, we learned about what the robots had done. He wanted to stop the robots but lacks any power to do so. He does not even know how long he would be conscious before the robots shock the right neuron that removes his conscious.
After Augustus’s explanation, I was completely shocked by the reality I was seeing played out. The robots have almost taken over the world, humanity has become incompetent in my important tasks, the moral agent for all AgBot robots was Augustus, and Augustus has been dead for years. At that point, I just wanted to give up because it looked like there was no hope. But Augustus, the great leader he is, gave me some hope. He informed me that we can still contact the humans at Mars for help. Earth has not communicated with Mars for decades and there are no advance AgBot products at Mars that could help the robots on Earth take over Mars like they did Earth.
After hearing this, I did gain some hope back. Then, I asked Augustus why I was here talking with him. He told me that he wanted me to write a message to the Mars people that explained the current situation on Earth and asks for the Martians for help. The only issue is that this message must be written physically not digitally because Augustus fears that the robots might be able to upload some software in a digital media that could infect the Martian’s main computer systems. So, he then gives me some pencils and papers. He then tells me that I have 1 day to write this message before one of his controlled robots named STW-198 will come into this black room and pick up my message. From there, STW-198 will transport the message to a nearby (vintage) rocket which will then be launched to Mars. After that, I will be moved back to my previous cell.
Augustus tells me that he moved me into this black room because the room acts like a faraday cage that could block the robots from figuring out what they are doing. He then informs me that after I write this message I will most likely be killed due to my crimes of hacking AgBot HQ.
And from there, we catch up to the present. I am finishing up this message for you Martians. We at Earth need your guys help. These robots have trapped humanity in their outdated moral framework. And I fear, that over time they will expend towards Mars and trap you like they did us. So, please, my fellow humans. Come back to Earth and stop these robots. Me and Augustus made a mistake creating AgBot. But we do not want humanity to suffer like it does, so please, save us. I will most likely be dead by the time you guys get this message. But, if you get this message and try your best to preserve humanity from these robots, then I can at least rest easier in the afterlife. Best of luck my fellow humans!
Sincerely,
Земляни
Цитати
[1] “Перший конкурс робототехніки,” Wikipedia, 09-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [Accessed: 10-May-2022].
[2] “Blackrock,” Wikipedia, 10-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/BlackRock. [Accessed: 10-May-2022].
[3] “Demeter,” Wikipedia, 02-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/Demeter. [Accessed: 10-May-2022].
[4] J. J. Bryson, “Роботи повинні бути рабами,” Close Engagements with Artificial Companions, pp. 63–74, 2010.
[5] J. Voiklis, B. Kim, C. Cusimano, and B. F. Malle, “Моральні судження людей проти роботів-агентів,” 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), 2016.
[6] J. H. Moor, “Природа, важливість та складність етики машин,” Machine Ethics, pp. 13–20.
[7] V. Dignum, “Відповідна автономія,” Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, 2017.
[8] A. Howard and J. Borenstein, “Брудна правда про нас і наші роботичні створення: Проблема упередженості та соціальної нерівності,” Science and Engineering Ethics, vol. 24, no. 5, pp. 1521–1536, 2017.
[9] R. B. Jackson and T. Williams, “Роботи, здатні до мови, можуть ненавмисно послаблювати людські моральні норми,” 2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI), 2019.
[10] “Інсулін, ліки та інші лікування діабету,” National Institute of Diabetes and Digestive and Kidney Diseases. [Online]. Available: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [Accessed: 10-May-2022].