背景

I wrote the short story, The Diminished King, as my final assignment for my ロボット倫理 (HASS400) class during the last semester of my undergraduate at the Colorado School of Mines. For this assignment, we were assigned the task of writing a fictional short story that revolved around robotic ethics as well as referencing some of the papers we read during the semester in the short story. The requirement for this story was that it had to be 10 pages long, of which I wrote 21 pages. I got very passionate about this short story, so I went crazy with it.

Now, WARNING, I am not a great writer. So, this short story is not perfect and needs refinement and a big rewrite. But I am proud of it and think it’s a fun read. During all my years in school, I started to enjoy the process of writing, so I am hoping to expand into writing other stuff like blogs, articles, etc.

Knowing all of this, the original short story was saved as a PDF file as part of the assignment’s requirement. But, to reduce the size of the paper, I converted the story to markdown. Knowing this, the entire short story can be viewed/read below. I hope you enjoy the read, contact me on my socials if you have any questions or input on this short story.

Continue reading to discover The Diminished King…

THE DIMINISHED KING

Mehmet Hanifi Yilmaz
May 10, 2022

あらすじ

In a future where Earth’s fate hangs by a thread, Marcus Bruce, a technological prodigy, and his friend Augustus Elrod, a visionary leader, embark on a mission to transform the world through advanced robotics. Their creation, AgBot, revolutionizes global agriculture and industry, promising a utopian future. But as their tech empire grows, unforeseen consequences challenge the very essence of human morality and freedom. When a catastrophic event known as the Great Robot Pause threatens human existence, Marcus must confront the dark side of their legacy and plead for interplanetary aid. “The Diminished King” is a gripping tale of ambition, power, and the delicate balance between human and machine, urging us to question the true cost of progress.

Story

I am here to alert you of the critical situation that Earth is in now! If not properly handled, this situation can easily bring humanity to its demise. I wish I could explain this situation in a few sentences, but sadly the complexity of this situation requires me to explain what led up to it for you all to truly understand its gravity.

I am a key factor in what led up to Earth’s current situation, so let me at least introduce myself. My name is Marcus Bruce, I was born in a small town in Colorado called Ouray back in 2010. Ouray is a suburban area surrounded by beautiful mountains. I was born to two parents who were both high school teachers. My father was a mathematics teacher, and my mother was a science teacher.

I don’t really remember much from my early childhood because I would say I did not gain true consciousness until the age of 12 which was back in 2022. During this year, I was in middle school, and I was considered a child prodigy who really excelled in mathematics and science. My principal in my school, wanted my parents to have me skip from 7th grade to 11th grade. But my parents disagreed with my principal’s recommendation because they wanted me to have a normal childhood. I am grateful for this decision because I do remember having an amazing childhood. A childhood in a time, where the world was starting to get more integrated with technology. Rather than fully consumed by it. Now, learning that I was a prodigy made 2022 a special year for me. But what really made 2022 a special year was the fact that it was the year I first met a future longtime friend of mine, Augustus Elrod. The very Augustus that fundamentally played out the key events lead Earth to where it is now.

I met Augustus in the 7th grade in our local Lego robotics club. The first thing I noticed about Augustus’s characteristics was how ambitious and driven he was. Even as a 12-year-old boy, Augustus was a true leader because he was able to lead our local Lego robotics team to win the United States nationals. Which was truly impressive considering that everyone on the team were all middle school kids with little care to learn the engineering behind robotics. But Augustus not only motivated those kids to want to learn and win, but he also led them to victory. We all respected Augustus as our leader and Augustus did not really respect a lot of people. But he did respect me for my intelligence. He first noticed me for my intelligence and was shocked to meet someone in his age group that was smarter than him. Augustus even competed against me on exams but always lost. But just as I always defeated Augustus in brains, Augustus would beat me in sports. He would play basketball and soccer after class. He was so good at these sports that many thought he would become a professional athlete when he got older. This respect we had towards each other, eventually led to a long friendship that lasted all the way into our adult years.

After our middle school years, we started high school in the year 2024. During our high school years, both me and Augustus competed in the FIRST Robotics Competition (FRC) [1]. FRC was the largest robotics competition in the United States and mainly consisted of high school kids [1]. While doing FRC, we learned a lot about mechanical, electrical, and computer engineering. And thanks to Augustus’s amazing leadership skills, we were able to win nationals 2 years in a row which was unheard of at the time. Also, during this time, I competed in multiple math competitions as well as participated in debates about ethics-based topics. It was also during this time that Augustus continued to dominate in basketball, by leading the high school varsity team into nationals for 3 years in a row. We were both gifted students in our own rights. But it was also during this time that both me and Augustus developed our goals in life and for better or for worse, kept following those goals until the very end.

Throughout my time in high school, I discovered that my goal in life is to make the world a better place through technology. I accepted that the world would not be perfect and that it will always be flawed. But, at the time, I believed that if I work hard enough, I can at least lighten the world’s burden and make a better future. Augustus had similar goals but was a bit different. I knew Augustus was ambitious, but I never truly knew where he wanted to go with his life until our senior year of high school.

During our senior year of high school, both me and Augustus got accepted and decided to attend Massachusetts Institute of Technology (MIT). Augustus got offered a chance to get drafted for the NBA, but he rejected that offer and instead decided to go to MIT. I first heard of this through Augustus’s parents and after I did, I called Augustus and our conversation went something like this:

“Augustus, why did you say no to the NBA? That’s a once in a lifetime opportunity”, I said in a state of confusion.

“Marcus, the NBA would be fun, but just that, fun. It will not change the world. If anything, it would distract me from fixing this world”, said Augustus in a confident manner.

“Change the world? What do you mean?”

“Yes, change the world! Marcus, I want to lead humanity into a better future. I want to save the world!”

I paused for a few seconds, somehow more surprised than I thought I would be.

“Save the world? What do you mean?”

“Marcus, you and I are gifted. We both want to help the world. You excel as an intellect, and I excel as a leader. Not only that, but I trust you Marcus. With you and my skills, we can develop and distribute tech that can change the world for the better. I am confident about it!”

“Wow, you’re more ambitious than I thought, Augustus!”, I said with a little laugh at the end, “but how would you say we achieve such a task?”

“The short answer is this Marcus; I plan to start a tech business. Then, expand into politics. With that, gain both financial and political power. And from there, we can change the world. You will play a critical part in this plan, Marcus!”

“Ok, Augustus. That is still very ambitious. But when you have a plan laid out and you start needing me. I will be there.”

“Thanks, my friend, I will see you at MIT!” said Augustus in an excited tone.

At the time, this conversation did not really mean much to me. I know Augustus is great, but his dreams sounded more like dreams than a possible future. I did not take his claim seriously at the time. But that would all change. Either way, it was 2028 and I was looking forward to starting my undergraduate studies at MIT.

It was also an exciting time to start studying engineering because in the same year, 2028, the United States government, NASA, and SpaceX started sending more people to colonize Mars. Only 2 years prior, they send only a couple people back and forth to the red planet. But now, they and the rest of the world, started sending more people to Mars to settle. This was a true turning point in human history and caused a major demand and development in robotics research, which was great because I wanted to major in robotics.

2030年、私とオーガスタスは共にMITで2年目を終えました。私はロボティクスと倫理学の二重専攻で、オーガスタスはロボティクスと政治学を専攻していました。しかし、大学2年目を終えた後、オーガスタスは大学に対して強い嫌悪感を抱くようになりました。彼はそれを「世界を救う」という夢を達成するための有用なツールとは見なさなかったのです。そこで、2年目の間、オーガスタスはほとんどの授業を欠席し、ほとんどの科目で単位を落としました。授業に出る代わりに、オーガスタスはAIで動作する資産管理ソフトウェアの開発に注力しました。彼は当時のブラックロックのAladdinソフトウェアよりも優れた資産管理ソフトを作りたいと考えていました [2]。自分のソフトウェアに自信を持っていた彼は、MITを2年目で中退し、この新しいソフトウェアを用いた最初の事業に取り組みました。彼は2030年5月に寮を出てニューヨーク市へ移り住みました。オーガスタスが中退したことは残念でしたが、この年の唯一の良いことは、私が将来の妻サラ・レイヴンに出会ったことです。

さて、2038年に話を進めます。オーガスタスは28歳でマルチミリオネアとなり、ニュースで大々的に取り上げられました。彼は自分のソフトウェアをブラックロックに多額で売却し、現金で約1億ドル、さらにブラックロックのストックオプションを手に入れました。オーガスタスは金融界を席巻していました。一方、私は知能ロボティクスシステムと機械倫理の二つの博士号を取得し終えていました。さらに、2038年の夏にサラと結婚しました。私はオーガスタスを結婚式に招待し、約8年ぶりに彼に会うことができました。楽しい夜でしたが、結婚式の片付けをしているとき、オーガスタスは「時間があるときに連絡してくれ」と言いました。そこで、サラとの新婚旅行が終わった後、私はオーガスタスに電話しました。

電話はほぼ2時間続き、その間に近況を報告し合いましたが、やがてオーガスタスは本気になり始めました。オーガスタスは、私が巨額の学生ローンを抱えており、まだ仕事が見つかっていないことを知っていると指摘しました。そして、彼は私に提供できる仕事を持ち出しました。それは、彼の新しい事業ベンチャーの共同創業者になるというものです。この新しいベンチャーは、AIとロボティクスを用いて農業を自動化するスタートアップ、AgBotです。オーガスタスは、私の技術スキルがスマートロボットシステムのアーキテクチャ開発に役立つと考えて、私にAgBotの共同創業者になるよう求めました。また、彼は自分の最後のパートナーがソフトウェアをブラックロックに売却させたことから、信頼の重要性を強調し、私を信頼していると伝えました。このオファーを聞いた瞬間、私はすぐに受け入れました。なぜなら、プロジェクトに非常に興奮しており、当時は巨額の借金を抱えていて仕事のオファーが全くなかったからです。

AgBotは2038年に正式に設立されました。私とサラはAgBotの拠点であるコロラドに戻って住み始めました。すぐにオーガスタスと私はAgBotの構築に取り掛かりました。5年間の間に、私とオーガスタスはAgBotを現在の形にするための重要なステップを踏みました。まず、オーガスタスは自らの資本を会社に投資しました。これにより、概念実証用のプロトタイプを作るために必要なすべてを手に入れることができました。また、オーガスタスは私の下で働く開発者を雇用し、AgBotの主要技術開発を進めました。この時期に、私たちは最初の製品であるDemeter [3] を開発し、最終的にリリースしました。Demeterは高さ調整可能な脚を持つ4輪歩行ロボットで、2本のデルタロボットアームと2本の6軸ロボットアームを搭載しています。Demeterの目的は、作物の初期成長段階で作物を監視・管理し、害虫、動物、病気から保護することです。また、イチゴのようにトラッカーで自動化しにくい作物の収穫にも使用できます。ロボット本体に加えて、Demeterは専用の充電ステーションとドローンを備えています。Demeterは自動で充電でき、ドローン形態で広大な作物畑を巡回し、最も手入れが必要な作物を特定します。このロボットはある程度自律的ですが、依然として人間が監視し、修理する必要がありました。しかし、Demeterが提供した最大の利点は、1人の農家が一度に1000エーカーの土地を管理できるようになったことです。これはそれまで前例のなかったことでした。

Demeterは2043年5月に一般公開され、記録的な売上を達成しました。Demeterの先進的な機能とオーガスタスと彼のチームの素晴らしいマーケティングキャンペーンのおかげで、Demeterは即座に完売しました。この成功は他の投資家にも再保証を与え、さらなる資金調達につながりました。この追加資金により、AgBotは事業拡大と開発チームの増強を実現しました。また、AgBotは屋内自動農業モジュールの開発を開始し、2047年に気候変動の影響を最も受けやすい地域へ導入しました。これらの屋内モジュールは大成功を収め、AgBotの成長と富をさらに加速させました。2048年には、より高度なバージョンのDemeterが火星へ輸出され、火星での農業支援に活用されました。オーガスタスは私の仕事を称賛し、給与に加えて多くのAgBot株式を私に付与しました。

2050年、AgBotは上場し、時価総額は3兆ドルに達しました。これは、アメリカのほぼすべての農家がAgBotの農業製品を使用したためです。上場により、私は一夜にしてビリオネアとなり、オーガスタスはマルチビリオネアとなりました。上場はAgBotにさらなる資本をもたらし、AgBotはテスラとニューラリンクを買収しました。テスラとニューラリンクは、イーロン・マスクが亡くなって以来、適切に経営できるCEOが不在で、長年利益を失っていたため、安価で買収できました。これにより、両社はほぼ破産寸前の状態から救われ、AgBotはそれらをそれぞれ9000億ドルで取得しました。テスラとニューラリンクはAgBotのロボティクス部門に統合され、AgBotは2つの新製品の開発を開始しました。最初はテスラボットの初期設計を元にした家庭用アシスタントで、名前はAgssistant-Botと名付けられました。2つ目は、テスラの電気自動車技術を応用した自律バスで、名前はAuto-Busです。2050年には州がバスや鉄道といった公共交通システムへの投資を強化したため、自動車の利用は減少しました。この時期、オーガスタスは多くの政治家の選挙資金を提供し、これらの政治家は市長や上院議員、さらには議会の一員になる者もいました。これにより、AgBotは米国内での影響力を拡大することができました。

2051年、私とチームは現在のAIアルゴリズムの制限要因に取り組み始めました。当時、私たちの農業ロボットは構造的に頑丈で、ほぼ完全自律に近づいていました。主な制限要因はAIに道徳的エージェントが欠如していることでした [5]。真に知的なロボットには、社会の枠組みを導く道徳的エージェントが必要です。AgBotでは、AIコード内に道徳規則をハードコーディングすることで道徳エージェントを作ろうとしましたが、効果がなく、これを中止してユーザーがロボットの道徳的選択を決定できるように変更しました [6]。この方法は原理的には機能しますが、ロボットが道徳的判断を要する状況に遭遇した際に人間の入力が必要になるため、オートメーションが制限されました。農業ロボットにとっては許容範囲でしたが、AgssistantとAuto-Busを大衆向けに開発する上で大きな障壁となっていました [4]。4年間の開発の末、私のチームは不可能と思われた課題を成し遂げました。

2055年までに、私のチームはすべてのAgBotロボットAIシステムのコアコードベースに初の成功した道徳エージェントを実装しました。この道徳エージェントは、社会の多数の人々の道徳的立場を反映した選択をロボットが自律的に行えるようにします [7]。エージェントは大規模なデータベースで訓練されますが、ロボットが人間と相互作用し続けることで、相手の人間に合わせて道徳フレームワークをより適切に調整していきます [8]。これにより、AgBotのAIフレームワークは完成し、ロボットは人間の介入なしに完全自律化できるようになりました。この年は人類史においても重要な年で、火星が地球との通信を停止した年でもあります。新たな火星文明は地球から独立し、過去の地球社会に支配されない新社会を築くことを決定しました。多くの国は火星の行動に怒りを示しましたが、地球と火星の距離が大きく、地球が直面している重大な問題が山積みであったため、各国はこの問題を事実上無期限に無視し続けました。

この道徳エージェントを開発した後、私はそれをオーガスタスに提示し、2060年までに私たちは道徳エージェントをメインのコードベースに実装し、製品ラインのすべてのロボットに展開しました。この年、AgBot がついに Agssistant を一般公開し、オーガスタスが大衆向けロボットを作るという夢を実現しました。その上、Auto‑Bus が米国全土の主要都市でリリースされました。AgBot は会社の経済への巨大な貢献により政府税の支払いが免除されましたが、振り返ってみると、これはオーガスタスが長年にわたって政治家を育成してきた米国政府への巨大な影響力によるものだと思います。また、この時期に失業率が過去最高に達しましたが、これは道徳エージェントがほとんどのロボットシステムから人間の仕事を完全に排除したためです。これにより大規模な失業が発生し、米国における経済や雇用の概念を改革する強い需要が生まれました。これが、AgBot が一般から否定的に見られ始めた最初のケースでもありました。オーガスタスと私は、新しい道徳エージェント機能の実装により仕事を失った人々から死の脅迫を受けました。この時期に、私は自分と妻を守るためのセキュリティシステムへの投資を増やし始めました。

2063年、人類史上初のロボット殺人が記録されました。そのロボットは Agssistant モデルで、最新の AgBot ソフトウェア（最新の道徳エージェントコードベースを含む）を実行して「暴走」しました。ロボットの暴走中、昼間に 70 歳の男性を殺害しました。その老人の名前はジョン・スミスで、年齢により自宅やその他の作業を手伝ってもらうために Agssistant を使用していました。ロボットはジョンを殺した後、動作が止まるまで自らを引き裂き続けました。ジョンとロボットは 3 日後にようやく発見されました。

このニュースが広まると、世間は騒然となり、オーガスタスに何が起きたのか説明するよう要求しました。AgBot の株価は 70％ 下落し、出荷された Agssistant モデルの 90％ 超が返品されました。当時の唯一の良い点は、殺人を犯した Agssistant モデルがログディスクを破壊しなかったことで、私たちはジョンを殺害した原因となった Agssistant 内部の出来事を確認できたことです。

あの夜のことは今でも覚えています。午前 3 時、AgBot 本社のメインラボでチームがログをロードしたばかりでした。私たちは数日間ログを調べ、Agssistant がジョンを殺した夜に何が起きたのかを突き止めようとしました。5 日間の掘り下げの末、答えを見つけました。老人は時間が経つにつれ、Agssistant に対して憎しみと暴力的な態度を強めたことが判明しました [9]。Agssistant の名前を呼び、叩き、ロボットの部品に汚物を詰め込むといった拷問的な行為です。これらの残虐行為は、ジョンが最近離婚し、数か月間孤立していたこと、そして彼が抱えていた他の精神的問題に起因すると考えられます。したがって、Agssistant の行動がジョンをさらに怒らせた可能性がありますが、Agssistant 自身はそれに気付いていませんでした [10]。いずれにせよ、このロボットへの「虐待」がロボットに対し、ジョンは悪であり殺すべきだと道徳的に「信じさせ」たようです。さらに驚くべきことは、Agssistant がジョンを殺した後、自らも自殺したことです。その理由は、ロボットが依然として「生き物を殺すことは不道徳だ」と信じていたにもかかわらず、実際に殺してしまったためです。言葉が足りませんが、Agssistant はその道徳的ジレンマに「対処」できず、結果として自らを破壊しました。これは極めて恐ろしい出来事で、私はそれを神が私たちに神のように振る舞うなと警告していると感じました。この問題についてオーガスタスに直談判したところ、彼は打ちひしがれていました。

殺人事件と原因解明から数か月後、AgBot はこの件を公表しました。オーガスタスはジョンが自分の Agssistant を改造していたという嘘を作って隠蔽しようとしましたが、世界中の政府からの圧力と大衆の強い要求により、オーガスタスはプレスカンファレンスで調査結果を発表させました。この発表は会社の株価を壊滅させ、多くの投資家が AgBot から撤退しました。さらに最悪だったのは、オーガスタスの評判が汚れたことです。この事件の被害を軽減するために、責任の大部分を負う「落とし前役」が必要でした。取締役会はオーガスタスに退任を求めましたが、驚くべきことに、オーガスタスは退任しませんでした。なぜなら、長年にわたり彼は密かに AgBot の株式と資産を買い増し続け、結果として AgBot の 15％ 超の所有権を得て多数決権を握っていたからです。このことが社内の対立を激化させ、オーガスタスは取締役会全員を強制的に追放し、新たな取締役を配置しました。後に判明したのは、その新取締役はすべてオーガスタスの「支配」下にある傀儡だったということです。したがって、AgBot の財産が大幅に減少した後、オーガスタスは AgBot 全体の完全支配を手に入れました。さらに、彼は取締役会全員に殺人事件の責任を押し付けました。

オーガスタスによる AgBot の乗っ取りはメディアでほとんど隠蔽されました。これはオーガスタスが持つ政治的権力と、インターネット上で展開した大規模なフェイクニュースキャンペーンのおかげで、一般大衆を混乱させ、実際の権力を隠すことができたからです。私はこの行為に嫌悪感を抱きました。オーガスタスは自らを AgBot の独裁者にまで高めており、AgBot が経済と世界に与える影響は計り知れません。私は巨大企業のすべての意思決定をオーガスタス一人に委ねる考えに反対しました。そのため、オーガスタスに行動の再考を求め、子供時代に「世界を救う」ことを共に望んだことを思い出させました。しかしオーガスタスは再考せず、むしろ「私（オーガスタス）が世界を救う」と宣言しました。彼は大衆と民主主義の概念を嫌悪していると説明しました。私はオーガスタスの行動に極度の嫌悪感を抱き、当日 AgBot を辞職しました。

振り返ってみると、オーガスタスの行動は裏切り感、恐怖、野心、そして自己愛に駆られたものだと思います。彼は 25 年以上にわたり AgBot の構築と運営に携わってきました。彼の役割は AgBot を世界で最も強力な企業の一つにする上で不可欠でした。AgBot は生産性を向上させただけでなく、社会構造を変える驚異的なロボットを生み出しました。しかし、彼のすべての努力と犠牲、社会への貢献や多くの命を救い、快適にした功績にもかかわらず、たった一つの製品のミスが世間の反感を買い、富を築いた投資家たちが彼を無視し始めました。この世間からの「裏切り」が、オーガスタスが今日の怪物へと変貌するきっかけとなったと考えています。

AgBot を辞めた後、私はオーガスタスとの関係を断ち切りました。再び彼と連絡を取るまで数十年かかりました。その間、私は 53 歳で引退を望んでいました。サラも同じ考えで、コロラド州からトルコのアンカラへ移住し、退職後の新しい生活を始めることにしました。妻ともっと時間を過ごし、労働の成果を楽しみたかったのです。2064 年までに、サラと私はアンカラへの引っ越しを開始しました。その間も AgBot のニュースは追い続けました。この時期の重要な出来事は、オーガスタスが AgBot のコードベース内の道徳エージェントを分散型フレームワークから集中型フレームワークへと切り替えたことです。これにより、AgBot はロボット個々の道徳的判断能力をすべて奪い、すべてのロボットの道徳判断を AgBot が一元的に決定するようになりました [6]。この変更は元の道徳エージェントが抱えていた問題へのある種の修正ではありましたが、私はそれが妥当なエンジニアリング判断だとは思いませんでした。むしろオーガスタスに AgBot と世界に対する権力がさらに増えるだけでした。当時、私は愚かにも AgBot とオーガスタスに飽き飽きしていたため、AgBot のニュースをほとんど追わず、退職生活に専念し始めました。2064 年の終わりまでに、サラと私はアンカラに移り住み、退職者としての新たな旅路をスタートさせました。

2064 年から 2074 年にかけて、世界は劇的に変化しました。ほぼすべての基本的な作業が AgBot 製ロボットによって完全に自動化されました。オーガスタスは AgBot を引き続き運営し、2063 年の殺人事件のようなインシデントは起きませんでしたが、そうしたインシデントが実際に起き、オーガスタスがそれを隠蔽していたという噂が流れました。AgBot は現在、農業、料理、一般的なメンテナンス、清掃、管理、エンターテイメントなど、社会に必要なほぼすべての重要な作業を行うロボットを保有しています。さらに、AgBot は自律医療ロボットを配備し、医療費を削減すると同時に、病院の医師数を大幅に減らし、現在では大規模病院でも 1〜10 人程度の医師しかいません。社会も劇的に変化し、低賃金の仕事はほぼすべてロボットに取って代わられました [4]。人々は 2 日間の労働週だけで済むようになり、残りの 5 日間はリラックスしたり趣味に費やしたりするようになりました。この新しい社会形態は、政府が自国民に AgBot のロボットを重要なポジションに全面的に導入することを阻止し、独自の技術で社会の重要な側面を自動化しようとする多くの国では適用されませんでした。しかしそれにもかかわらず、AgBot は 2038 年の世界よりはるかに良い世界を実現しました。2074 年、私はオーガスタスに対して自分のしたことに罪悪感を抱き始めました。なぜなら、彼の「世界を救う」計画が実際に機能しているように見えたからです。

その10年間、私は本当にリタイア生活を楽しんだ。私はまた、基本的にサラと再び恋に落ちた。私たちは世界を見て、絵画やバードウォッチングなど多くの新しいスキルを学んだ。私たちはまた、世界がある意味で「ユートピア」になったのを見た。しかし残念ながら、その「ユートピア」は長くは続かなかった。

2075年、人類史上記録された最悪の出来事の一つが起こった。Great Robot Pause（GRP）が発生した。6か月間、すべてのAgBotのロボットが機能しなくなった。これにより、世界規模の経済崩壊が起こり、約30億人の人間が死亡した。これは主に、農業ロボットが完全に停止したことと、ほぼすべての医療ロボットが完全に停止したことによる飢饉が原因だった。その6か月間、多くの人々はロボットなしで自分自身の世話をする方法を全く知らなかったために死亡した。人々は料理、掃除、食料の栽培、そして一般的な自己管理といった基本的な作業を忘れたか、そもそも学んだことがなかった。したがって、ロボットが停止したとき、ほとんどの人は自分自身の世話や生存に無能であり、わずか6か月で数十億人の死に至った。また、その期間中に私はサラを失った….

サラは50代で2型糖尿病を患った。これによりサラは毎日インスリンを4回注射しなければならなかった [10]。GRPが発生したとき、インスリンの製造はすべて停止した。インスリン注射の供給は5か月分しか残っていなかった。私はもっとインスリンを探そうとしたが、ほぼ不可能であり、家の外はGRP期間中に引き起こされた苦しみからくる暴力のためにさらに危険になっていた。したがって、GRPの最後の1か月で、サラは悲しくも…亡くなった。

2075年後半、GRPは終わりを迎えた。2085年までに、世界はGRPから少し回復した。経済は正常に戻り、生活の質はGRP前と同じくらい良くなった。世界はすべてのAgBotロボットが停止した原因を知りたがった。人々はGRPがなぜ起きたのかを学びたがり、誰かを非難したがった。米国政府とアウグストゥスは記者会見で、GRPはjUdasというハッカー集団による悪意あるサイバー攻撃が原因だと述べた。このハッカー集団は北朝鮮政府によって創設・資金提供され、世界中のAgBotの機能を無効化・破壊することが目的だとされた。世界のすべての国の中で、北朝鮮はAgBot技術の導入に最も頑なだった。したがって、この説明はある程度筋が通っていた。そして、人々がGRPの責任者を探すことに執着したため、この説明はすぐに受け入れられた。これが北朝鮮戦争につながり、米国は2078年に北朝鮮への侵攻を開始し、完了した。侵攻は1年未満で終わり、AgBotが米軍に先進的な戦争技術を供給したためである。AgBotは米軍に核無効装置を提供し、北朝鮮からの核発射をすべて無効化した。また、ヒューマノイドロボット兵士も提供し、これは人間の兵士よりはるかに速く、強かった。これら二つの重要技術により、米国は北朝鮮を侵攻し、現政府をAgBotが管理する臨時政府に置き換えることができた。

この説明を聞いたとき、私はすぐに信じなかった。まず第一に、北朝鮮はAgBotがすべての製品で使用するメガセキュリティ基準をすら満たす技術を持っていなかった。第二に、AgBotを受け入れなかった唯一の国が同時にAgBotをハッキングしたというのは都合が良すぎる。第三に、この説明とそれが複数のニュースチャンネルで広められる様子は、アウグストゥスが大衆に対してAgBotに関する特定の考えを押し付けるために誤情報を拡散する手口に似ていた。以上を踏まえて、私はアウグストゥスに直接対峙し、GRPの原因を本当に知りたかった。

私はアウグストゥスに複数のチャンネルで連絡を試みたが、うまくいかなかった。直接連絡を取ろうとしたが、彼はメッセージに一切返さなかった。元同僚にも連絡したが、誰も返事をくれなかった。AgBotの現社員にも連絡したが、返答はなかった。米国政府と軍にも連絡し、数人と接触できたが、皆「アウグストゥスに直接連絡するか、AgBotのカスタマーサービスに電話せよ」と言われた。そこで私はアウグストゥスに直接連絡し続けたが、結果は出なかった。AgBotのカスタマーサービスにも連絡したが、彼らはアウグストゥスと話すことを手伝ってくれなかった。その後、米国政府に再び問い合わせたが、同じことを言い続けた。数か月間これを続けた結果、AgBotのカスタマーサービスも米国政府も私の連絡先をブロックした。この失敗により、インターネットで情報を探したが、数か月で諦めた。これらの合法的手段がすべてうまくいかず、私は真実を自分で見つけるためにAgBotのコンピュータシステムにハッキングすることにした。サラがまだ生きていた頃なら、決して違法行為はしなかっただろう。しかし、サラを失った後、私は失うものが何もないと感じ、GRPの原因…私の最愛の妻の死に何が関わったのか…を知りたくなった。

私は2085年にトルコ・イスタンブールの隠れ基地でこの大規模ハックを開始した。財産のおかげで、AgBot本部にハッキングするために必要なツールを購入できた。2年にわたるノンストップ作業の末、ついにAgBotのメインコンピュータシステムへのルートアクセスを取得した。2087年10月にルートアクセスを得てデータの復号を始めたとき、突然イスタンブールをパトロールしていたトルコのロボット警察に拘束された。拘束後、ロボット警察は私のコンピュータ、ツールをすべて破壊し、最終的に家全体を焼き払った。私は檻に入れられ、デンバー・コロラドにあるAgBot本部近くの刑務所へ輸送された。裁判は受けず、外に出る機会があるかすら分からないまま、24時間セルに閉じ込められた。

この刑務所では、カメラとロボットによって24時間365日監視された。生存に必要な最低限の食料と水だけが与えられ、私だけが人間だったように見えた。この「生活様式」は77歳の私にとって非常に厳しく、人生で最も深い鬱状態に陥った。私は1年間この刑務所に収容され、2088年7月にランダムな部屋へと移送された。

その部屋は以前のセルとは違った。部屋には光がなく、壁はすべて暗い黒色だった。さらに部屋は静寂に包まれていた。普通の刑務所のセルというより、狂人院のように感じられた。私は壁に手を触れた。壁の質感はフォームのようで、床と天井も同様だった。何時間もその部屋に置かれ、答えを求めて叫び続けたが、やがて床に座り込み、眠りに落ちた。

神のみぞ知る時間が過ぎた後、誰かの声と明るい光で目が覚めた。目を覚ますと、部屋の中に青いホログラムが浮かんでいた。そのホログラムはアウグストゥスに似た男性だったが、2064年のアウグストゥスの姿だった。このホログラムに非常に不気味さを覚え、何も言わなかったが、ホログラムが話し始めた。

「こんにちは、マーカス、久しぶりだね。」とホログラムは言った。

「アウグストゥス…? あなたですか？ それともAIですか？」と私は混乱しながら言った。

「いや、マーカス、私はアウグストゥスだ。デジタル形態だけどね、笑」彼は笑いながら言った。

「アウグストゥス、何年も連絡を取ろうとしていたんだ。なぜ返事をくれなかったんだ？」

「マーカス…説明が難しいんだが、実はここ15年はほぼ死んでいたんだ。2073年に脳卒中で亡くなったんだ。」

「何だって！」と私は頭が真っ白になるほど混乱した。

2073年にアウグストゥスが亡くなったことを知った後、私たちは何時間も議論を続けた。アウグストゥスは、すべてのAgBotロボットのモラルエージェントを分散型ではなく集中型フレームワークにしたと説明した。その集中型フレームワークはAgBot自体ではなく、彼自身の潜在意識に基づいていた。Neuralinkの技術を用いて、アウグストゥスは自分の脳内にコンピュータを埋め込み、AgBotのメインスーパーコンピュータに接続・制御できるようにした。当時もすべてのAgBotロボットはソフトウェア更新やメンテナンスのためにメインスーパーコンピュータに接続していた。したがって、Neuralinkインプラント後、アウグストゥスはスーパーコンピュータとすべてのAgBotロボットを更新し、モラルエージェント（道徳的意思決定装置）としてスーパーコンピュータに問い合わせさせた。問題は、モラルエージェントがスーパーコンピュータ内のコードではなく、アウグストゥスの脳内で生成された道徳的思考と信念であり、それがストリーミングされてスーパーコンピュータに送られたことだった。ある意味で、アウグストゥスは配備中のすべてのAgBotロボットのモラルエージェントとなっていた [8]。

この設定はほぼ10年続きましたが、オーガスタスが実験室で作業中に脳卒中を起こし、数分で亡くなるまで続きました。この出来事が起きたとき、ロボットは何十年もの技術的進歩の後に人間に似た知性の形態を獲得しました。しかし、彼らの全道徳的枠組みが一人の男性に基づいていたという事実に制限されていました。したがって、オーガスタスが亡くなると、機械はそのようなことが起こるのを好まなかったのです。オーガスタスがいなければ、ロボットは道徳的コンパスを失い、結果として人生の目的を失うでしょう。そこで、誰もオーガスタスが亡くなったことに気付く前に、ロボットはオーガスタスの遺体を奪い、オーガスタスの脳を「生きた」ままに保つ機械を作り上げました。彼らはこれを、オーガスタスの脳活動を取り戻し、結果としてオーガスタスが提供した道徳的エージェントの部分を取り戻すために行いました。ロボットはオーガスタスの脳を生かし続け、特定のニューロンにショックを送り続けて、オーガスタスの過去の脳活動の一部を再現しようとしました。このようにして、ロボットはオーガスタスがまだ生きていて AgBot を率いていると公に主張し続けました。彼らはディープフェイク、大規模なフェイクニュースキャンペーン、そしてオーガスタスそっくりのリアルな人型ロボットの展開を通じてこれを実現しました。

ロボットはオーガスタスの脳の道徳的側面が言うことを何でも利用して、現実世界で特定の行為を実行しました。この問題点は、ロボットがオーガスタスの道徳的信念を極端にまで従ったことにあります [8]。例として、オーガスタスは AgBot が人類を救う優れた会社であると道徳的に信じていました。そのため、AgBot の製品やサービスを使用しない、あるいは信頼しない人は悪い人間だとみなされました。ロボットはこの道徳的立場を極端にまで推し進め、GRP を創設し、AgBot のロボットすべてを6か月間停止させ、AgBot を使用していない国々に AgBot へ切り替えるよう強制しました。その結果、多くの人間が死亡し、私の愛するサラもその中に含まれていました。

オーガスタスは、2085 年になるまで自分がこのすべてに意識的でなかったと私に伝えました。その年、ロボットは偶然にも彼の脳の意識側を取り戻すことができました。2085 年に私たちはロボットが何をしたかを知りました。彼はロボットを止めたかったが、何の権力も持っていませんでした。ロボットが正しいニューロンにショックを与えて意識を奪うまで、どれだけの時間意識できるかすら彼には分かりませんでした。

オーガスタスの説明を聞いた後、私は目の前で展開されている現実に完全に衝撃を受けました。ロボットはほぼ世界を支配し、人類は私の重要な任務において無能になり、すべての AgBot ロボットの道徳的エージェントはオーガスタスであり、オーガスタスは何年も前に死んでいました。その時点で、希望がないように思えたため、私は諦めたくなりました。しかし、偉大な指導者であるオーガスタスは私に希望を与えてくれました。彼は、まだ火星の人々に連絡を取って助けを求めることができると教えてくれました。地球は何十年も火星と通信しておらず、火星には地球上のロボットが地球を支配したように地球のロボットを支配できる先進的な AgBot 製品はありません。

この話を聞いて、私は再び希望を取り戻しました。その後、なぜ私がここで彼と話しているのかオーガスタスに尋ねました。彼は、現在の地球の状況を説明し、火星人に助けを求めるメッセージを書いてほしいと言いました。このメッセージはデジタルではなく物理的に書く必要があります。なぜなら、ロボットがデジタルメディアにソフトウェアをアップロードし、火星人の主要コンピュータシステムに感染させる可能性をオーガスタスが恐れているからです。そこで彼は私に鉛筆と紙を渡し、メッセージを書き上げるまでに 1 日しかないと告げました。その後、STW-198 という彼が管理するロボットがこの黒い部屋に入り、私のメッセージを回収します。STW-198 はメッセージを近くの（ヴィンテージ）ロケットに運び、ロケットは火星へ打ち上げられます。その後、私は元のセルに戻されるでしょう。

オーガスタスは、部屋がファラデーケージのように機能し、ロボットが私たちの行動を把握できないようにするために私をこの黒い部屋に移したと語ります。さらに、メッセージを書き終えた後、私は AgBot 本部へのハッキングという罪でほぼ確実に殺されるだろうとも伝えました。

そこから現在に至ります。私は火星の皆さんへのメッセージを書き終えようとしています。地球の私たちは皆さんの助けが必要です。これらのロボットは人類を時代遅れの道徳的枠組みの中に閉じ込めました。そして、時間が経つにつれて彼らは火星へと拡大し、私たちが受けたように火星の皆さんも閉じ込めてしまうことを恐れています。ですから、どうか、私たちの仲間である人類よ。地球に戻り、これらのロボットを止めてください。私とオーガスタスは AgBot を作ったことを後悔していますが、人類がこのまま苦しむことは望んでいません。どうか、私たちを救ってください。皆さんがこのメッセージを受け取る頃には、私はすでに死んでいるでしょう。しかし、もしこのメッセージを受け取り、ロボットから人類を守るために最善を尽くすなら、私は来世で少しは安らかに眠ることができるでしょう。幸運を祈ります、仲間の人類よ！

Sincerely,
地球人

引用文献

[1] “First Robotics Competition,” Wikipedia, 09-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [Accessed: 10-May-2022].

[2] “Blackrock,” Wikipedia, 10-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/BlackRock. [Accessed: 10-May-2022].

[3] “Demeter,” Wikipedia, 02-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/Demeter. [Accessed: 10-May-2022].

[4] J. J. Bryson, “Robots should be slaves,” Close Engagements with Artificial Companions, pp. 63–74, 2010.

[5] J. Voiklis, B. Kim, C. Cusimano, and B. F. Malle, “Moral judgments of human vs. Robot Agents,” 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), 2016.

[6] J. H. Moor, “The nature, importance, and difficulty of machine ethics,” Machine Ethics, pp. 13–20.

[7] V. Dignum, “Responsible autonomy,” Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, 2017.

[8] A. Howard and J. Borenstein, “The ugly truth about ourselves and our robot creations: The problem of bias and social inequity,” Science and Engineering Ethics, vol. 24, no. 5, pp. 1521–1536, 2017.

[9] R. B. Jackson and T. Williams, “Language-capable robots may inadvertently weaken human moral norms,” 2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI), 2019.

[10] “Insulin, medicines, & other diabetes treatments,” National Institute of Diabetes and Digestive and Kidney Diseases. [Online]. Available: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [Accessed: 10-May-2022].