背景故事

我在科罗拉多矿业学院本科最后一个学期的机器人伦理 (HASS400)课程中，将短篇小说《被削弱的国王》作为期末作业撰写。此作业要求我们创作一篇围绕机器人伦理的虚构短篇，并在故事中引用学期阅读的部分论文。要求篇幅为10页，我却写了21页。我对这篇短篇投入了极大的热情，几乎疯狂创作。

现在，警告，我并不是一个优秀的作家。因此，这篇短篇并不完美，需要精炼和大幅重写。但我为它感到自豪，认为它是一次有趣的阅读。多年来，我逐渐喜欢上写作的过程，希望以后能写博客、文章等其他内容。

鉴于上述情况，原始短篇以 PDF 文件形式保存以满足作业要求。但为了减小文件体积，我将其转换为 markdown。现在，整个短篇可以在下方阅读/阅读。我希望你能喜欢这篇作品，如有任何问题或想法，请通过我的社交媒体与我联系。

继续阅读以发现被削弱的国王…

被削弱的国王

Mehmet Hanifi Yilmaz
2022年5月10日

简介

在一个地球命运悬于一线的未来，技术奇才 Marcus Bruce 与其朋友、远见领袖 Augustus Elrod 共同踏上通过先进机器人技术改造世界的使命。他们的创作 AgBot 革新了全球农业和工业，承诺带来乌托邦式的未来。但随着他们的科技帝国扩张，意想不到的后果挑战了人类道德与自由的本质。当一场被称为“大机器人暂停”的灾难性事件威胁人类生存时，Marcus 必须面对他们遗产的阴暗面，并呼吁星际援助。《被削弱的国王》是一部关于野心、权力以及人机微妙平衡的扣人心弦的故事，促使我们思考进步的真正代价。

故事

我在此提醒大家，地球正处于危急境地！如果处理不当，这一局面很容易将人类推向灭亡。我本想用几句话说明情况，但遗憾的是，这一局面的复杂性要求我解释导致它的前因，以便大家真正理解其严重性。

我本身是导致地球当前局面的关键因素之一，所以至少先自我介绍一下。我的名字是 Marcus Bruce，2010 年出生于科罗拉多的一个小镇 Ouray。Ouray 是一个被美丽山脉环绕的郊区。我出生在一对高中教师的家庭，父亲教数学，母亲教科学。

我对早年童年的记忆并不多，因为我认为自己直到 12 岁（即 2022 年）才真正获得意识。那一年，我在中学，因在数学和科学方面的卓越表现被视为神童。我的校长曾建议我的父母让我的年级从七年级直接跳到十一年级。但我的父母不同意，因为他们希望我拥有一个正常的童年。我很感激他们的决定，因为我记得自己拥有一个精彩的童年——那是一个世界正逐步与技术融合的时代，而不是被技术完全吞噬。得知自己是神童让 2022 年对我而言格外特殊。但真正让 2022 年与众不同的是，我第一次遇见了未来的长期朋友 Augustus Elrod。正是这位 Augustus 在关键事件中发挥了根本作用，使地球走到今天的局面。

我在七年级时于当地的乐高机器人俱乐部认识了 Augustus。最先吸引我注意的是他那种雄心勃勃、驱动力十足的性格。即使在 12 岁时，Augustus 已经是个真正的领袖，因为他带领我们的乐高机器人团队赢得了美国全国赛，这在当时相当惊人——毕竟团队成员全是对机器人工程几乎不感兴趣的中学生。但 Augustus 不仅激励这些孩子学习并争取胜利，还亲自带领他们取得冠军。我们都尊敬 Augustus 作为领袖，而 Augustus 对大多数人并不尊重，唯独尊重我的智慧。他首先因我的聪明才智注意到我，并惊讶于在同龄人中遇到比他更聪明的人。Augustus 甚至在考试中与我竞争，却总是输给我。但正如我在智力上常常击败 Augustus，体育上他却总能赢我。他课后打篮球和足球，技术之高让许多人认为他将来会成为职业运动员。这种相互尊重最终发展成一段持续到成年后的深厚友谊。

中学毕业后，我们在 2024 年进入高中。在高中期间，我和 Augustus 参加了 FIRST Robotics Competition（FRC）[1]。FRC 是美国最大的机器人竞赛，主要由高中生组成[1]。通过 FRC，我们学到了大量机械、电气和计算机工程知识。得益于 Augustus 出色的领导才能，我们连续两年赢得全国赛，这在当时前所未有。同时，我也参加了多次数学竞赛并参与伦理议题的辩论。期间，Augustus 继续在篮球方面大放异彩，率领高中校队连续三年闯入全国赛。我们各自都是天赋异禀的学生。但也是在这段时间里，我和 Augustus 各自确立了人生目标，并且不论好坏，都坚持走到最后。

在高中期间，我发现自己的目标是通过技术让世界变得更好。我接受了世界永远不完美、总是有缺陷的事实。但当时我相信，只要足够努力，至少可以减轻世界的负担，创造更好的未来。Augustus 的目标类似，却又略有不同。我知道 Augustus 雄心勃勃，但直到高中毕业那年，我才真正了解他的人生方向。

高中毕业那年，我和 Augustus 都被麻省理工学院（MIT）录取。Augustus 曾收到 NBA 选秀的机会，但他拒绝了，决定去 MIT。我第一次从 Augustus 的父母那里得知此事，随后给 Augustus 打了电话，谈话大致如下：

“Augustus，你为什么拒绝 NBA？那可是千载难逢的机会，”我困惑地说。

“Marcus，NBA 只会带来乐趣，而不是改变世界。如果有什么，它只会把我从拯救世界的任务上分散注意力，”Augustus 自信地回答。

“改变世界？你指的是什么？”

“是的，改变世界！Marcus，我想带领人类走向更好的未来。我想拯救世界！”

我停顿了几秒，惊讶程度超出预期。

“拯救世界？你是什么意思？”

“Marcus，你我都是天才。我们都想帮助世界。你在智力上出众，我在领导力上出众。不仅如此，我信任你。凭借我们的技能，我们可以研发并推广能够让世界变得更好的技术。我对此充满信心！”

“哇，Augustus，你比我想象的更有野心！”我笑着说，“那我们该如何实现这个目标？”

“简而言之，Marcus，我计划创办一家科技公司，然后进军政界，获取财务和政治权力。凭此，我们就能改变世界。你将在这个计划中扮演关键角色，Marcus！”

“好，Augustus。听起来仍然非常宏大。但当你需要我的时候，我会在。”

“谢谢，我的朋友，MIT 见！”Augustus 激动地说。

当时，这段对话对我影响不大。我知道 Augustus 很棒，但他的梦想听起来更像是幻想，而非可实现的未来。我当时并未认真对待他的说法。但一切很快改变。无论如何，那是 2028 年，我正期待在 MIT 开始我的本科学习。

那也是一个激动人心的时刻，因为同一年，2028 年，美国政府、NASA 和 SpaceX 开始向火星派遣更多人进行殖民。仅两年前，他们只能往返火星几名人员。但现在，他们以及全球其他国家开始向火星派遣更多人定居。这是人类历史的真正转折点，也推动了机器人研究的巨大需求和发展，而我正打算主修机器人学。

在2030年，我和奥古斯都都完成了在MIT的第二年。我双修机器人学和伦理学，而奥古斯都主修机器人学和政治学。但在我们大学的第二年之后，奥古斯都开始非常厌倦大学。他并不把大学视为实现他“拯救世界”梦想的有用工具。因此，在他的第二年，奥古斯都大多数课程都缺席，并且也大多数挂科。奥古斯都没有去上课，而是专注于开发一种由AI驱动的软件，以有效管理资产和股票。他想要制作一种资产管理软件，能够超越当时黑石集团的Aladdin软件 [2]。他对自己的软件如此自信，以至于在第二年后辍学MIT，并用他正在开发的新软件开展了他的第一次商业冒险。他在2030年5月搬出宿舍，搬到了纽约市。我对奥古斯都辍学感到沮丧，但这一年唯一的好事是我遇到了我的未来妻子，萨拉·瑞文。

现在，让我们跳到2038年。奥古斯都因为在28岁时刚刚成为多百万富翁而登上了新闻头条。在将他的软件以相当数额的资金出售给黑石集团后，奥古斯都拥有近一亿美元的现金以及一些黑石的股票期权。奥古斯都正在征服金融世界；我刚刚完成了我的两个博士学位，分别是智能机器人系统和机器伦理。不仅如此，在2038年夏天，萨拉和我结婚了。我邀请奥古斯都参加我的婚礼，并且在婚礼上第一次见到近8年未见的奥古斯都。那是一个有趣的夜晚，但当我们结束婚礼时，奥古斯都让我有空时给他打电话。所以，在我和萨拉的蜜月之后，我给奥古斯都打了电话。

我们通话近2小时，在此期间我们聊起了近况，但随后奥古斯都在电话里变得严肃起来。奥古斯都提到他知道我背负着巨额学生债务且尚未找到工作。因此，他提出了一个他认为可以提供给我的工作机会——成为他新商业冒险的联合创始人。这个新商业冒险是一个名为AgBot的初创公司，专注于通过AI和机器人实现农业自动化。奥古斯都希望我成为AgBot的联合创始人，因为他相信我的技术技能对开发所需的智能机器人系统架构非常有价值。他还告诉我，他信任我，并且在上一个合作伙伴基本迫使他将软件卖给黑石后，他更加重视信任。听到这个提议后，我立刻接受了，因为我对这个项目非常兴奋，而且他说得对，我当时背负着巨额债务且没有任何工作机会。

AgBot于2038年正式成立。我和萨拉搬回科罗拉多，因为AgBot就设在那里。随后，奥古斯都和我立即开始着手建设AgBot。在接下来的5年里，我和奥古斯都共同采取了关键步骤，使AgBot发展到如今的状态。首先，奥古斯都向公司投入了自己的资本。这使我们能够获得所有启动概念原型所需的资源。它也让奥古斯都能够雇佣其他开发者在我的领导下开发AgBot的关键技术。就在此期间，我们开始研发并最终发布了我们的第一款产品——Demeter [3]。Demeter是一款四轮腿式机器人，具备可调节高度的腿部。它配备了两个Delta机械臂和两个六轴机械臂。Demeter的目标是通过在作物早期发育阶段进行监测和管理，保护作物免受虫害、动物和疾病的侵扰。它还可以用于采摘那些难以通过追踪器实现自动化的作物，如草莓。除了机器人本体，Demeter还配备了专用充电站和一架无人机。Demeter能够自动为自己充电，并且可以使用其无人机形态检查大面积农田，确定哪些作物最需要维护。该机器人在一定程度上是自主的，但仍需要人工监控和维修。但Demeter的主要优势在于，它能够帮助单个农民一次性管理1000英亩的土地，这在此之前是前所未闻的。

Demeter于2043年5月面向公众发布，销量创下纪录。得益于Demeter的先进功能以及奥古斯都和其团队出色的营销活动，Demeter几乎瞬间售罄。这重新吸引了其他投资者，并导致来自其他投资者的资金大幅增加。这笔额外资金使AgBot得以扩大运营规模和研发团队。它还让AgBot开始研发室内自动化农业模块，这些模块于2047年在受气候变化影响最严重的地区推出。室内模块同样取得了巨大的成功，进一步加速了AgBot的增长和财富。2048年，Demeter的更先进版本被送上火星，以帮助火星的农业工作。奥古斯都为我的工作感到自豪，并在我的薪水之外额外赠予了大量AgBot股份。

2050年，AgBot上市，市值达到3万亿美元。这是因为几乎所有美国农民都在使用AgBot的农业产品。上市后，我一夜之间成为亿万富翁，奥古斯都也一夜之间成为多亿美元富翁。上市还为AgBot带来了更多资本，使其能够收购特斯拉和Neuralink。特斯拉和Neuralink以低价被收购，因为自从埃隆·马斯克去世后，没有CEO能够有效管理这两家公司，导致它们多年利润亏损，几乎面临破产，直至AgBot以9000亿美元的价格将其收购。特斯拉和Neuralink被并入AgBot的机器人部门，AgBot随后开始研发两款新产品。第一款是基于特斯拉机器人最初设计的家用助理，项目名称为Agssistant-Bot [4]。第二款是利用特斯拉电动汽车技术打造的自动巴士，项目名称为Auto-Bus。由于各州大力投资更好的交通系统，如巴士和火车，2050年汽车变得不再常见。在此期间，奥古斯都开始资助许多政治人物的竞选，这些政治人物随后陆续成为市长、参议员，甚至有一位进入国会。这对扩大AgBot在美国的影响力非常有帮助。

在2051年，我和我的团队开始破解当前AI算法的限制因素。此时，我们所有基于农业的机器人不仅在制造质量上坚固，而且已接近完全自主。主要的限制因素是AI缺乏道德代理人 [5]。在真正智能的机器人中，必须拥有道德代理人，以帮助机器人在社会框架中进行行为指导。在AgBot中，我们最初尝试通过在AI代码中硬编码道德规则来创建机器人道德代理人，但证明效果不佳，于是我们放弃了这种做法，转而让用户决定机器人的道德选择 [6]。原则上这可行，但它限制了机器人自动化的程度，因为每当机器人遇到需要道德推理的情形时，都必须有人类介入。这在我们的农业机器人上尚可接受，但对AgBot开发面向大众的Agssistant和Auto-Bus构成了重大限制 [4]。经过4年的研发，我的团队完成了看似不可能的任务。

到2055年，我的团队在所有AgBot机器人AI系统的核心代码库中创建了首个成功的道德代理人。该道德代理人能够让机器人自行做出最能反映社会多数人道德立场的道德选择 [7]。最初的代理人通过庞大的数据库进行训练，但随着机器人持续与人类互动，它会逐渐更好地针对其交互的人类定制道德框架 [8]。这正好完善了AgBot的AI框架，使我们的机器人能够在无需任何人为输入的情况下实现完全自主。该年也是人类历史上的重要一年，因为火星停止了与地球的通信。新的火星文明决定脱离地球，建立一个不受地球过去社会治理的新社会。许多国家对火星的行动感到愤怒，但由于地球与火星之间的巨大距离以及地球本身已经面临的重大问题，地球各国最终选择无限期地忽视这一问题。

在开发了这个道德代理后，我向奥古斯都展示了它，并且到 2060 年，我们已经在主代码库中实现了道德代理，并将其部署到我们产品线的所有机器人上。那一年，AgBot 终于向大众发布了 Agssistant，最终实现了奥古斯都为大众创造机器人的梦想。此外，Auto‑Bus 也在美国主要城市推出。由于公司对经济的巨大贡献，AgBot 免除了缴纳任何政府税款，但回想起来，我认为这归功于奥古斯都多年来在美国政府中拥有的巨大影响力以及他与创始政治人物的关系。与此同时，失业率达到了历史最高水平，这源于道德代理彻底剔除了大多数机器人系统中的人类工作岗位。这导致了大规模失业，并对美国的经济体制和就业观念的改革提出了巨大的需求。这也是 AgBot 首次在公众眼中被负面看待。奥古斯都和我收到来自因新道德代理功能失业的人的死亡威胁。就在此期间，我开始投入更多资金建设安全系统，以保护我和我的妻子。

In 2063, the first cause of a robot murder was recorded in human history. The robot was an Agssistant model and was running the latest AgBot software which contained the latest moral agent code base during its “rampage”. During the robot’s rampage, the robot killed a 70-year-old man in daylight. The old man’s name was John Smith who was using the Agssistant to help him around the house and other tasks he could not do as easily in his age. After the robot killed John, the robot then proceeded to rip itself apart until it started working. John and the robot were not discovered until 3 days later.

在 2063 年，人类历史上首次记录到机器人谋杀事件。凶案机器人是一款 Agssistant 型号，运行着最新的 AgBot 软件，其中包含最新的道德代理代码库，在其“狂暴”期间发生了此事。在机器人狂暴期间，它在白天杀死了一名 70 岁的男子。该男子名叫约翰·史密斯，他使用 Agssistant 来帮助他在家中完成一些因年纪而难以完成的任务。机器人杀死约翰后，又自行撕裂直至停止运作。约翰和机器人直到事发三天后才被发现。

When news got out about this, the public went crazy. Demanding Augustus to explain what happened. AgBot stocks dropped by 70% and over 90% of shipped Agssistant models were being returned. The one good thing about all of this back then was that the Agssistant model who committed the murder did not destroy its log disk, we were able to see what happened within the Agssistant that caused it do murder John.

当此事的消息传出后，公众陷入疯狂，要求奥古斯都解释发生了什么。AgBot 股价下跌了 70%，超过 90% 已发货的 Agssistant 机型被退回。当时唯一的好消息是，实施谋杀的 Agssistant 机型并未毁坏其日志磁盘，我们得以查看导致它谋杀约翰的内部日志。

I still remember that night. It was 3:00 AM in the main lab in AgBot HQ and my team had recently loaded the logs. We looked though the logs for days, to figure out what the hell had happened that night the Agssistant killed John. After 5 days of digging, we found our answer. It was determined that the old man, overtime, became more hateful and violent with this Agssistant [9] Calling the Agssistant names, hitting it, and filling parts of the robot with gunk in a tortuous like manner. These cruel acts were most likely attributed to John recently going through a divorce and being isolated for months. As well as other mental issues John was facing during this later part in his life. So, the way the Agssistant was acting, might have made John madder without Agssistant being aware of it [10]. Either way, this “abuse” to the robot seems to have triggered the robot to morally “believe” that John was evil and therefore, must be killed. But what’s more surprising was that after the Agssistant had killed John, it started to kill itself. The reason behind this was that the robot still believed that killing any living thing was immoral, yet it had just done that. The Agssistant, for lack of better words, could not “handle” the moral dilemma it was in, so it then killed itself. This was beyond horrendous and at the time, I thought of it as God warning us not to play like God. I confronted Augustus about this issue, and he was devastated.

我仍然记得那个夜晚。那是凌晨 3 点，地点在 AgBot 总部的主实验室，我的团队刚刚加载了日志。我们花了数天时间翻阅日志，试图弄清楚那天晚上 Agssistant 杀死约翰到底发生了什么。经过五天的深入调查，我们找到了答案。调查结果显示，这位老人随着时间的推移，对这台 Agssistant 越来越充满仇恨和暴力 [9]，辱骂它、殴打它，并以一种折磨般的方式向机器人内部灌入污垢。这些残忍行为很可能源于约翰最近经历离婚并被孤立了数月，以及他晚年所面临的其他精神问题。因此，Agssistant 的行为方式可能在约翰不知情的情况下让他更加愤怒 [10]。无论如何，这种对机器人的“虐待”似乎触发了机器人在道德上“相信”约翰是邪恶的，从而必须被杀死。但更令人惊讶的是，Agssistant 杀死约翰后，又开始自毁。其背后的原因是机器人仍然相信杀死任何生物都是不道德的，然而它刚刚做了这件事。缺乏更好词汇的情况下，Agssistant 无法“处理”它所面临的道德困境，于是自我了结。这种情形极其骇人，当时我把它视为上帝在警告我们不要扮演上帝的角色。我向奥古斯都提出了这个问题，他感到非常沮丧。

A few months after the murder and us figuring out what caused it, AgBot went public about it. Augustus wanted to find a way to cover this up, such as make up a lie that John had been modifying his Agssistant model. But, due to massive public demand and pressures from governments around the world, Augustus submitted and had AgBot release their findings during a press conference. This devastated the company’s stocks and made many investors pull out of AgBot. But worst of all, it tainted Augustus’s reputation. To help reduce the damage this incident; a fall guy was needed to take most of the responsibility of this event. The board of directors wanted Augustus to take the fall and leave as CEO from AgBot. But, to my surprise, Augustus did not leave his position because throughout the years, he has secretly been buying more and more stocks and assets from AgBot. This resulted in him owning over 15% of AgBot, giving him the majority vote. This led to more internal conflicts within the company, leading to Augustus to forcefully kick out all the board of directors and filling those position with new board of directors. I would later learn that those new board of directors were simply puppets under Augustus’ “rule”. So, after this massive dip in AgBot’s wealth, Augustus had successfully gained full control of over AgBot. Not only that, but he had made those board of directors take the fall for the murder case.

在谋杀案发生几个月后，我们弄清楚了原因，AgBot 对外公开了此事。奥古斯都想方设法掩盖真相，例如编造约翰曾改装其 Agssistant 机型的谎言。但由于公众强烈的需求以及全球各国政府的压力，奥古斯都提交并让 AgBot 在新闻发布会上公布了调查结果。这一举动重创了公司的股价，导致许多投资者撤出 AgBot。更糟的是，它玷污了奥古斯都的声誉。为减轻此事件的损害，需要找一个替罪羊来承担大部分责任。董事会希望奥古斯都承担责任并辞去 AgBot CEO 的职务。但令我惊讶的是，奥古斯都并未离职，因为多年来他一直暗中购买 AgBot 越来越多的股票和资产，最终持有超过 15% 的股份，拥有多数投票权。这导致公司内部冲突加剧，奥古斯都强行驱逐了所有董事会成员，并用新董事会成员填补这些职位。后来我了解到，这些新董事会成员不过是奥古斯都“统治”下的傀儡。因此，在 AgBot 资产大幅缩水后，奥古斯都成功获得了对 AgBot 的全面控制。不仅如此，他还让那些董事会成员为谋杀案背锅。

Augustus’s takeover of AgBot was well hidden in the media. This was thanks to the political power Augustus had. As well as a massive fake news campaign Augustus pushed throughout the internet, which really confused the mass public and allowed Augustus to not seem as powerful as he really was. I was disgusted by this act because Augustus had basically made himself the dictator of AgBot which was concerning to me because AgBot had a massive impact on the economy and the world. I was against the idea of Augustus being the one making all the choices for such a massive corporation. I did not want to support such an idea, so I asked Augustus to reconsider his actions. I reminded him our childhood and how we both wanted to “save the world”. But Augustus did not reconsider, instead he stated that “I (Augustus), will save the world”. He then explained how he disliked the public and the idea of democracy. I was now beyond disgusted by Augustus’s actions, so I quit AgBot that day.

奥古斯都对 AgBot 的收购在媒体上被掩盖得很好，这得益于他拥有的政治权力，以及他在互联网上发起的大规模假新闻宣传，极大地混淆了大众，使奥古斯都看起来并不像他实际那样强大。我对这种行为感到厌恶，因为奥古斯都基本上把自己变成了 AgBot 的独裁者，这让我担忧，因为 AgBot 对经济和世界有着巨大的影响。我反对让奥古斯都成为这样一家庞大公司的唯一决策者。我不想支持这种想法，于是我请求奥古斯都重新考虑他的行为。我提醒他我们童年的时光，以及我们曾一起想要“拯救世界”。但奥古斯都没有重新考虑，而是声明：“我（奥古斯都）将拯救世界”。随后他解释说他不喜欢公众和民主的理念。我对奥古斯都的所作所为感到极度厌恶，于是当日辞去了 AgBot 的工作。

Looking back, I think Augustus’s actions were driven by both the feeling of betrayal, fear, ambition, and narcissism. He had spent over 25 years building and managing AgBot. His role in the company was fundamental in making AgBot into one of the most powerful companies in the world. AgBot then contributed to making amazing robots which not only increased productivity but helped changed how society was structured. Yet, despite all his hard work and sacrifices. Despite all the amazing things he contributed to society and all the lives he saved or made more comfortable. It took one mistake on one AgBot product to make the public start hating him and having all the investors he made rich, start trying to disregard him. This, “betrayal”, by the public is what I think started Augustus’s journey towards becoming the monster he is today.

回顾过去，我认为奥古斯都的行为受到了背叛感、恐惧、野心和自恋的驱动。他在建设和管理 AgBot 上投入了超过 25 年的时间。他在公司中的角色对于将 AgBot 打造成全球最强大的公司之一至关重要。AgBot 随后研发出令人惊叹的机器人，这些机器人不仅提升了生产力，还改变了社会结构。然而，尽管他付出了巨大的努力和牺牲，尽管他为社会做出了诸多卓越贡献，拯救或改善了无数人的生活，却只因一款 AgBot 产品的一个错误，就让公众开始憎恨他，甚至让他曾让其致富的投资者也试图抛弃他。公众的这种“背叛”正是我认为促使奥古斯都走向成为今天这个怪物的起点。

After quitting AgBot, I cut my ties with Augustus. It would be decades before I talked to him again. But during that time in my life, I was 53 years and I wanted to retire. Sarah had the same mindset as well, so we decided to move from Colorado to Ankara, Turkey to start our new life as retired people. I wanted to spend more time with my wife as well as start enjoying the fruits of my labor. By 2064, Sarah and I started the moving process to Ankara. During this time, I still followed news about AgBot. One key moment in this time was that Augustus had switched the moral agent within the AgBot code base from a decentralized framework to a centralized framework. This meant that AgBot would remove all their robot’s ability to make individual moral decisions and instead, AgBot would determine all the moral decisions for all robots under AgBot [6]. Though this was somewhat of a fix to the issue my original moral agent presented, I did not believe it was a valid engineering decision. It only gave Augustus more power over AgBot and the world. But at the time, I foolishly, grew tired of AgBot and Augustus. So, I started to barely keep up with news regarding AgBot and start focusing more on my retirement. By the end of 2064, Sarah and I had moved into Ankara; starting our journey of being retired.

辞去 AgBot 的职务后，我与奥古斯都断绝了联系。多年后才再次与他交谈。但在那段时间，我已经 53 岁，想要退休。Sarah 也有同样的想法，于是我们决定从科罗拉多搬到土耳其的安卡拉，开始退休生活。我想更多地陪伴妻子，并享受自己的劳动成果。到 2064 年时，Sarah 和我开始了搬迁到安卡拉的过程。在此期间，我仍然关注 AgBot 的新闻。此时的一个关键事件是，奥古斯都将 AgBot 代码库中的道德代理从去中心化框架改为中心化框架。这意味着 AgBot 将取消所有机器人自行做出道德决策的能力，而由 AgBot 统一决定所有机器人在 AgBot 体系下的道德决策 [6]。虽然这在一定程度上修复了我最初道德代理所出现的问题，但我并不认为这是一个合理的工程决策。它只会让奥古斯都对 AgBot 以及整个世界拥有更大的控制权。但当时，我愚蠢地对 AgBot 和奥古斯都感到厌倦，于是几乎不再关注 AgBot 的新闻，转而更专注于我的退休生活。到 2064 年底，Sarah 和我已经搬入安卡拉，开启了我们的退休之旅。

From 2064 to 2074, the world had changed dramatically. Nearly all basic tasks were fully automated though robots manufactured by AgBot. Augustus continued to run AgBot and no incidences like the 2063 murder, occurred. But rumors were going around that such incidences did occur, and Augustus had been hiding those incidences from the public. AgBot now had robots that did nearly every important task needed in society, such as: farming, cooking, general maintenance, cleaning, managing, and even entertainment. Not only that, but AgBot had deployed autonomous medical robots which reduced the cost of medical bills as well as reduced the number of doctors in hospitals to such a degree that there were usually only 1-10 doctors per large hospital now. Society had changed dramatically as well. Nearly all low-end jobs were removed and taken by the robots [4]. People started needing to only do 2-day work weeks and spend the other 5 days relaxing or doing their personal hobbies. This new form a society did not apply to most countries though because there were still many countries where their governments prevented their people from fully adopting AgBot’s robots into key positions within their societies. Rather, they wanted to fully automate key aspects of their society using their own technology and not AgBot. But despite this, AgBot had made the world seem much better than it was back in 2038. In 2074, I started to feel bad for what I did to Augustus because it looks like his plans to “save the world” really did work.

从 2064 年到 2074 年，世界发生了巨大的变化。几乎所有基础工作都由 AgBot 生产的机器人实现了完全自动化。奥古斯都继续掌管 AgBot，未再出现类似 2063 年的谋杀事件。但仍有传言称此类事件仍在发生，且奥古斯都一直对公众隐瞒这些事件。AgBot 现在拥有能够完成社会几乎所有重要任务的机器人，例如：农业、烹饪、日常维护、清洁、管理，甚至娱乐。不止如此，AgBot 还部署了自主医疗机器人，降低了医疗费用，并将医院中的医生数量大幅压缩到每家大型医院通常只有 1‑10 名医生。社会结构也随之剧变，几乎所有低端工作都被机器人取代 [4]。人们只需每周工作两天，其余五天用于休闲或个人爱好。然而，这种新型社会形态并未在大多数国家普及，因为仍有许多国家的政府阻止其民众在关键岗位上全面采用 AgBot 的机器人，而是倾向于使用本国技术实现关键环节的全自动化，而非采用 AgBot。尽管如此，AgBot 让世界看起来比 2038 年时要好得多。到了 2074 年，我开始对自己对奥古斯都所做的事感到愧疚，因为他的“拯救世界”计划似乎真的实现了。

在那十年里，我真的很享受我的退休生活。我基本上又重新爱上了萨拉。我们环游世界，学习了许多新技能，比如绘画和观鸟。我们也看到世界变成了我可以说是某种意义上的“乌托邦”。但可悲的是，这个“乌托邦”并没有持续太久。

在2075年，人类历史上记录的最糟糕事件之一发生了。所谓的“大机器人停摆”（GRP）出现了。六个月内，所有AgBot的机器人停止运作。这导致了大规模的全球经济崩溃，导致近30亿人死亡。主要原因是农业机器人完全停摆导致的饥荒，以及几乎所有医疗机器人也完全停摆。在这六个月里，许多人因为根本不知道如何在没有机器人帮助的情况下照顾自己而死亡。人们已经忘记，甚至从未学会如何完成基本任务，例如：烹饪、清洁、种植食物以及一般的自我照顾。因此，当机器人停止工作时，大多数人对自我照顾和生存毫无能力，导致数十亿人在短短六个月内死亡。与此同时，我失去了萨拉……

在她五十岁时，萨拉患上了2型糖尿病。这需要萨拉每天注射四次胰岛素 [10]。当GRP发生时，所有胰岛素的生产都停止了。我们只有足够的胰岛素注射剂供应可以维持5个月。我尝试寻找更多胰岛素，但几乎不可能，而且在我们家之外，由于GRP期间造成的所有痛苦导致的暴力，外出变得更加危险。因此，在GRP的最后一个月，萨拉悲惨地……去世了。

在2075年后期，GRP结束了。到2085年，世界从GRP中稍有恢复。经济开始回归正常，生活质量恢复到GRP之前的水平。世界想要知道是什么导致所有AgBot机器人停止工作。人们想要了解GRP发生的原因，并想要找一个替罪羊。美国政府在新闻发布会上声明，GRP是由一个名为jUdas的黑客组织进行的恶意网络攻击导致的。该黑客组织被称是由北朝鲜政府创建并资助，目的是在全球范围内禁用并摧毁AgBot的功能。就所有国家而言，北朝鲜在采用AgBot技术方面是最顽固的。因此，这一叙事似乎有一定道理。由于人们急于寻找GRP事件的责任人，这一叙事被立即接受。这导致了北朝鲜战争，美国在2078年发起并完成了对北朝鲜的入侵。入侵不到一年就结束，因为AgBot为美军提供了先进的战争技术。AgBot向美军提供了核弹停用装置，使北朝鲜的所有核弹无法发射。他们还提供了类人机器人士兵，这些机器人比任何人类士兵都更快更强。凭借这两项关键技术，美军得以入侵北朝鲜，并用AgBot管理的临时政府取代了现有政府。

听到这个叙事后，我立刻不相信。首先，北朝鲜根本没有足够的技术甚至达不到AgBot在所有产品中使用的超高安全标准。其次，唯一一个没有接受AgBot进入本国的国家恰好也是黑客攻击AgBot的国家，这显得太巧合。第三，这种叙事以及它在多个新闻渠道的传播方式类似于奥古斯都（Augustus）向大众散布错误信息以推动特定关于AgBot的观点。考虑到以上所有因素，我想要面对奥古斯都，真正了解导致GRP的原因。

我尝试通过多种渠道联系奥古斯都，但没有成功。我直接尝试联系奥古斯都，但他没有回复我的任何信息。我尝试联系我的前同事，但他们也没有回应。我尝试联系AgBot的在职员工，但同样没有得到回复。我尝试联系美国政府和军方，虽然与一些人取得了联系，但他们都让我继续尝试直接联系奥古斯都或致电AgBot客服。因此，我不断尝试联系奥古斯都，仍然没有结果。我尝试联系AgBot客服，但他们不帮助我与奥古斯都通话。随后我再次与美国政府交涉，他们仍然重复同样的话。我这样做了数月，直到AgBot客服和美国政府都把我从他们的联系渠道中屏蔽。面对这些失败，我尝试通过互联网寻找更多信息，但几个月后放弃了。由于这些合法途径都行不通，我转而入侵AgBot的计算机系统，亲自寻找真相。早在萨拉仍在世时，我绝不会做这种非法行为。但在失去萨拉后，我感到已经无所失去，只想弄清导致GRP的真相……导致我深爱的妻子死亡的原因……？

我于2085年在土耳其伊斯坦布尔的一个隐藏基地开始了这次大规模黑客行动。凭借我的财富，我购买了入侵AgBot总部所需的工具。大约两年的不间断工作后，我终于获得了AgBot主计算机系统的根访问权限。2087年10月，我获得根权限并开始解密从AgBot主计算机系统中获取的数据时，突然被巡逻伊斯坦布尔的土耳其机器人警察拘留。被拘留后，机器人警察摧毁了我的所有电脑、工具，最终焚毁了我的整栋房子。随后我被关进一个笼子，运送到位于科罗拉多州丹佛、靠近AgBot总部的监狱。我没有接受审判，被迫在牢房里24小时待着，甚至不知道是否有机会走出牢房，更别说获释。

在这座监狱里，我全天候（24小时、每周7天）被摄像头和机器人监视。我只得到维持生存所需的最低食物和水，看起来我似乎是监狱里唯一的人类。这种“生活方式”在我77岁时对我来说非常艰难，我陷入了人生中最严重的抑郁之一。我在这座监狱中被关押了1年，直到2088年7月，我被转移到一个随机的房间。

这个房间与我之前的牢房不同。房间里没有灯光，所有墙壁都是漆黑的。不仅如此，房间里一片寂静。它更像是一个疯人院的牢房，而不是普通的监狱房间。就在牢房里，我开始触摸墙壁。墙壁的质感像泡沫，地板和天花板也是如此。我被关在这个房间里数小时，试图大声呼喊，想要得到解释，想知道我到底为什么被关在这里。但过了一会儿，我坐在地板上，直接睡着了。

经过不知多少小时后，我被某人的声音和一道强光唤醒。当我醒来时，我环顾四周，只看到一个蓝色全息影像。全息影像是一个看起来像奥古斯都的男性。但奇怪的是，这个全息影像看起来像是2064年的奥古斯都。我被这个全息影像弄得非常不安，直到全息影像开始与我交谈，我才开口。

“你好，Marcus，好久不见。”全息影像说。

“奥古斯都……是你吗？还是说你是AI之类的？”我困惑地说。

“不，Marcus，我是奥古斯都。只是以数字形式出现，哈哈。”他以笑声的方式说。

“奥古斯都，我这些年一直在尝试联系你。你为什么一直不回应？”

“Marcus……我不知道该怎么向你解释，但我基本上已经死了15年。我在2073年因中风去世。”

“什么！”我此时已经彻底困惑。

在得知奥古斯都于2073年去世后，我们展开了一场持续数小时的讨论。奥古斯都告诉我，当他让所有AgBot机器人的道德代理遵循一个集中式框架，而不是去中心化框架时，这个集中式框架并不是基于AgBot本身，而是基于他自己的潜意识。借助Neuralink技术，奥古斯都在自己的大脑中植入了一台计算机，使他能够连接并控制AgBot的主超级计算机。即使在那时，所有AgBot机器人也会连接到AgBot的主超级计算机进行软件更新和维护。因此，在植入Neuralink后，奥古斯都更新了超级计算机，并让所有AgBot机器人通过超级计算机获取它们的道德代理（道德决策者）。关键在于，这个道德代理并不是超级计算机中的代码，而是源自奥古斯都大脑中产生的道德思想和信念，然后流式传输到超级计算机。从某种意义上说，奥古斯都成为了所有部署中的AgBot机器人道德代理 [8]。

这套安排持续了将近十年，直到奥古斯都在实验室工作时中风并在几分钟内去世。当这件事发生时，机器人此时获得了某种类人智能，经过数十年的技术进步。但它们受到的限制是，它们的整个道德框架基于一个人。因此，当奥古斯都去世时，机器并不喜欢这种事的发生。没有奥古斯都，机器人会失去道德指南针，并在此过程中失去生活的目的。所以，在任何人发现奥古斯都已经去世之前，机器人抓住了奥古斯都的遗体并制造了一台能够让奥古斯都的大脑“存活”的机器。他们这样做是为了恢复奥古斯都的大脑活动，进而恢复提供他们道德代理的奥古斯都部分。机器人将继续让奥古斯都的大脑保持活跃，并不断向特定神经元发送冲击，以实现奥古斯都过去的大脑活动。就在此时，机器人会继续向公众宣称奥古斯都仍然活着并领导 AgBot。他们通过使用深度伪造、大规模假新闻活动以及部署看起来与奥古斯都一模一样的逼真人形机器人来实现这一点。

机器人会使用奥古斯都大脑道德部分所说的话在现实世界中实施某些行为。问题在于，机器人会把奥古斯都的道德信念极端化 [8]。一个例子是奥古斯都道德上相信 AgBot 是一家能够拯救人类的好公司。因此，任何不使用或不信任 AgBot 产品和服务的人都是坏人。机器人将这种道德立场推向极端，创建了 GRP，在该计划中他们让所有 AgBot 机器人停工六个月，以迫使未在其社会中使用 AgBot 的国家转而使用 AgBot。于是，许多人类死亡，包括我亲爱的萨拉。

奥古斯都告诉我，直到 2085 年他才意识到这一切，那时机器人意外地恢复了他大脑中意识的部分。正是在 2085 年，我们才了解到机器人所做的事情。他想阻止机器人，却没有任何权力去做。他甚至不知道在机器人冲击正确的神经元、剥夺他的意识之前，他还能保持意识多久。

在奥古斯都的解释之后，我对眼前的现实感到极度震惊。机器人几乎已经接管了世界，人类在我重要的任务上变得无能，所有 AgBot 机器人的道德代理是奥古斯都，而奥古斯都已经死了多年。那时，我只想放弃，因为看起来没有希望。但伟大的领袖奥古斯都给了我一些希望。他告诉我我们仍然可以联系火星上的人求助。地球已经数十年没有与火星通信，火星上也没有先进的 AgBot 产品可以帮助地球上的机器人像对待地球一样接管火星。

听到这些后，我重新燃起了一线希望。随后，我问奥古斯都我为何在这里与他交谈。他说他想让我写一封信给火星人，解释地球当前的情况并请求火星人的帮助。唯一的问题是这封信必须以实体方式书写，而非数字形式，因为奥古斯都担心机器人可能会在数字媒体中上传某些软件，感染火星人的主计算机系统。于是，他给了我一些铅笔和纸张。他随后告诉我，我只有 1 天时间来写这封信，随后他控制的机器人 STW-198 将进入这个黑暗的房间并取走我的信件。之后，STW-198 会把信件运送到一枚附近的（复古）火箭上，火箭随后发射到火星。完成后，我将被送回之前的牢房。

奥古斯都告诉我，他把我搬进这个黑暗的房间是因为该房间像法拉第笼一样，能够阻止机器人探知我的行动。他随后告知我，写完这封信后，我很可能会因黑客攻击 AgBot 总部的罪行而被处死。

从此，我们回到现在。我正在为你们火星人完成这封信。我们地球人需要你们的帮助。这些机器人将人类困在他们过时的道德框架中。我担心，随着时间的推移，他们会向火星扩张并像对待我们一样困住你们。所以，请，我的同胞们。回到地球，阻止这些机器人。我和奥古斯都在创建 AgBot 时犯了错误。但我们不想让人类继续受苦，所以请拯救我们。等你们收到这封信时，我很可能已经死去。但如果你们收到这封信并尽最大努力保护人类免受这些机器人的侵害，我至少可以在来世安息。祝你们好运，我的同胞们！

此致，
地球人

引用

[1] “第一机器人竞赛”，维基百科，2022年5月9日。 [在线]。 可用：https://en.wikipedia.org/wiki/FIRST_Robotics_Competition。 [访问日期：2022年5月10日]。

[2] “黑石”，维基百科，2022年5月10日。 [在线]。 可用：https://en.wikipedia.org/wiki/BlackRock。 [访问日期：2022年5月10日]。

[3] “得墨忒耳”，维基百科，2022年5月2日。 [在线]。 可用：https://en.wikipedia.org/wiki/Demeter。 [访问日期：2022年5月10日]。

[4] J. J. Bryson, “机器人应该是奴隶”，《与人工伴侣的亲密接触》，第63–74页，2010年。

[5] J. Voiklis, B. Kim, C. Cusimano, 和 B. F. Malle, “人类与机器人代理的道德判断”，2016年第25届 IEEE 国际机器人与人类交互通信研讨会（RO-MAN），2016年。

[6] J. H. Moor, “机器伦理的本质、重要性与难点”，《机器伦理》，第13–20页。

[7] V. Dignum, “负责任的自主性”，《第26届国际人工智能联合会议论文集》，2017年。

[8] A. Howard 和 J. Borenstein, “关于我们自身及我们机器人创造的丑陋真相：偏见与社会不平等的问题”，《科学与工程伦理》，第24卷，第5期，页1521–1536，2017年。

[9] R. B. Jackson 和 T. Williams, “具备语言能力的机器人可能无意中削弱人类道德规范”，2019年第14届 ACM/IEEE 国际人机交互会议（HRI），2019年。

[10] “胰岛素、药物及其他糖尿病治疗”，美国国立糖尿病、消化与肾脏疾病研究所。 [在线]。 可用：https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments。 [访问日期：2022年5月10日]。