پیش‌زمینه

من داستان کوتاه «پادشاه تضعیف‌شده» را به‌عنوان تکلیف نهایی‌ام برای کلاس اخلاق ربات (HASS400) نوشتم، در طول آخرین ترم دوره کارشناسی‌ام در دانشکده معادن کلرادو. برای این تکلیف، به ما وظیفه داده شد که یک داستان کوتاه تخیلی بنویسیم که حول اخلاق رباتیک می‌چرخید و همچنین به برخی از مقاله‌هایی که در طول ترم خوانده بودیم در داستان کوتاه اشاره می‌کرد. شرط این داستان این بود که باید 10 صفحه طول می‌داشت، در حالی که من 21 صفحه نوشتم. من نسبت به این داستان کوتاه بسیار پرشور شدم، بنابراین با آن دیوانه‌وار پیش رفتم.

حالا، هشدار، من نویسنده خوبی نیستم. بنابراین، این داستان کوتاه کامل نیست و به پالایش و یک بازنویسی بزرگ نیاز دارد. اما به آن افتخار می‌کنم و فکر می‌کنم خواندنی سرگرم‌کننده است. در تمام سال‌هایی که در مدرسه بودم، شروع کردم به لذت بردن از فرایند نوشتن، بنابراین امیدوارم بتوانم به نوشتن چیزهای دیگری مثل وبلاگ، مقاله، و غیره گسترش پیدا کنم.

با دانستن همه این‌ها، داستان کوتاه اصلی به‌عنوان بخشی از الزام تکلیف، به‌صورت یک فایل PDF ذخیره شده بود. اما برای کاهش حجم مقاله، داستان را به مارک‌داون تبدیل کردم. با دانستن این موضوع، کل داستان کوتاه را می‌توان در پایین مشاهده/خواند. امیدوارم از خواندن آن لذت ببرید، اگر درباره این داستان کوتاه هر سؤال یا نظری دارید، در شبکه‌های اجتماعی‌ام با من تماس بگیرید.

به خواندن ادامه دهید تا پادشاه تضعیف‌شده را کشف کنید…

پادشاه تضعیف‌شده

محمد حنیفی ییلماز
10 مه 2022

خلاصه تبلیغاتی

در آینده‌ای که سرنوشت زمین بر لبه یک نخ آویزان است، مارکوس بروس، نابغه‌ای فناورانه، و دوستش آگوستوس ال‌راد، رهبری آینده‌نگر، مأموریتی را آغاز می‌کنند تا با رباتیک پیشرفته جهان را دگرگون کنند. ساخته آن‌ها، AgBot، کشاورزی و صنعت جهانی را متحول می‌کند و آینده‌ای آرمان‌شهری را نوید می‌دهد. اما با رشد امپراتوری فناوری‌شان، پیامدهای پیش‌بینی‌نشده خودِ جوهره اخلاق و آزادی انسانی را به چالش می‌کشد. وقتی رویدادی فاجعه‌بار با نام توقف بزرگ ربات‌ها وجود انسانی را تهدید می‌کند، مارکوس باید با جنبه تاریک میراثشان روبه‌رو شود و برای کمک میان‌سیاره‌ای التماس کند. «پادشاه تضعیف‌شده» روایتی نفس‌گیر از جاه‌طلبی، قدرت، و توازن ظریف میان انسان و ماشین است و ما را برمی‌انگیزد تا بهای واقعی پیشرفت را زیر سؤال ببریم.

داستان

من اینجا هستم تا شما را از وضعیت بحرانی‌ای که اکنون زمین در آن قرار دارد آگاه کنم! اگر به‌درستی رسیدگی نشود، این وضعیت به‌راحتی می‌تواند به نابودی بشریت بینجامد. کاش می‌توانستم این وضعیت را در چند جمله توضیح دهم، اما متأسفانه پیچیدگی این وضعیت ایجاب می‌کند که آنچه را به آن منتهی شد برایتان توضیح دهم تا همگی عمق آن را واقعاً درک کنید.

من یکی از عوامل کلیدی در آن چیزی هستم که به وضعیت کنونی زمین منتهی شد، پس دست‌کم بگذارید خودم را معرفی کنم. نام من مارکوس بروس است، من در سال 2010 در شهر کوچکی در کلرادو به نام اورای به دنیا آمدم. اورای منطقه‌ای حومه‌ای است که با کوه‌های زیبایی احاطه شده است. من از دو والد به دنیا آمدم که هر دو معلم دبیرستان بودند. پدرم معلم ریاضیات بود و مادرم معلم علوم.

من واقعاً چیز زیادی از کودکیِ اولیه‌ام به یاد نمی‌آورم، چون می‌گویم تا سن 12سالگی، یعنی در سال 2022، به آگاهی واقعی دست پیدا نکردم. در این سال، من در مدرسه راهنمایی بودم و به‌عنوان یک نابغه کودک شناخته می‌شدم که واقعاً در ریاضیات و علوم می‌درخشید. مدیر مدرسه‌ام می‌خواست والدینم مرا از پایه هفتم مستقیم به پایه یازدهم ببرند. اما والدینم با توصیه مدیرم موافق نبودند، چون می‌خواستند کودکیِ عادی‌ای داشته باشم. من برای این تصمیم سپاسگزارم، چون واقعاً کودکیِ فوق‌العاده‌ای داشتم. کودکی‌ای در زمانی که جهان داشت بیشتر و بیشتر با فناوری یکپارچه می‌شد، نه اینکه کاملاً در آن غرق شود. حالا، فهمیدن اینکه من نابغه بودم، سال 2022 را برایم به سالی ویژه تبدیل کرد. اما چیزی که واقعاً سال 2022 را برایم ویژه کرد این واقعیت بود که آن سال، اولین‌بار بود که با یک دوست دیرینه آینده‌ام، آگوستوس ال‌راد، ملاقات کردم. همان آگوستوسی که در نهایت رویدادهای کلیدی‌ای را رقم زد که زمین را به جایی رساند که اکنون هست.

من آگوستوس را در پایه هفتم، در باشگاه محلی رباتیک لگویمان ملاقات کردم. نخستین چیزی که درباره ویژگی‌های آگوستوس توجهم را جلب کرد، این بود که چقدر جاه‌طلب و باانگیزه بود. حتی در 12سالگی، آگوستوس یک رهبر واقعی بود، چون توانست تیم محلی رباتیک لگوی ما را هدایت کند تا قهرمانی ملی ایالات متحده را به دست بیاورند. و این واقعاً چشمگیر بود، با توجه به اینکه همه اعضای تیم بچه‌های مدرسه راهنمایی بودند که علاقه کمی به یادگیری مهندسی پشت رباتیک داشتند. اما آگوستوس نه‌تنها آن بچه‌ها را تشویق کرد که بخواهند یاد بگیرند و برنده شوند، بلکه آن‌ها را به پیروزی هم رساند. همه ما برای آگوستوس به‌عنوان رهبرمان احترام قائل بودیم و آگوستوس واقعاً به افراد زیادی احترام نمی‌گذاشت. اما به‌خاطر هوش من به من احترام می‌گذاشت. او نخستین‌بار به‌خاطر هوشمندی‌ام متوجه من شد و از دیدن کسی در هم‌سن‌وسالان خود که از او باهوش‌تر بود، شگفت‌زده شد. آگوستوس حتی در آزمون‌ها با من رقابت می‌کرد، اما همیشه می‌باخت. اما همان‌طور که من همیشه آگوستوس را در هوش شکست می‌دادم، آگوستوس هم در ورزش مرا شکست می‌داد. او بعد از کلاس بسکتبال و فوتبال بازی می‌کرد. در این ورزش‌ها آن‌قدر خوب بود که بسیاری فکر می‌کردند وقتی بزرگ‌تر شود، یک ورزشکار حرفه‌ای خواهد شد. این احترامی که نسبت به یکدیگر داشتیم، در نهایت به دوستی‌ای طولانی انجامید که تا سال‌های بزرگسالی‌مان ادامه یافت.

پس از سال‌های مدرسه راهنمایی‌مان، در سال 2024 دبیرستان را آغاز کردیم. در سال‌های دبیرستان، هم من و هم آگوستوس در مسابقه FIRST Robotics Competition (FRC) [1] شرکت کردیم. FRC بزرگ‌ترین مسابقه رباتیک در ایالات متحده بود و عمدتاً از بچه‌های دبیرستانی تشکیل می‌شد [1]. هنگام انجام FRC، ما چیزهای زیادی درباره مهندسی مکانیک، برق و کامپیوتر آموختیم. و به‌لطف مهارت‌های رهبری شگفت‌انگیز آگوستوس، توانستیم دو سال پیاپی قهرمانی ملی را ببریم، که در آن زمان بی‌سابقه بود. همچنین در این دوره، من در چندین مسابقه ریاضی شرکت کردم و در بحث‌هایی درباره موضوعات مبتنی بر اخلاق نیز حضور یافتم. در همین زمان بود که آگوستوس همچنان در بسکتبال سلطه داشت و تیم دانشگاهی دبیرستان را سه سال پیاپی به قهرمانی ملی رساند. ما هر دو به‌نوبه خود دانش‌آموزانی بااستعداد بودیم. اما در همین دوره بود که من و آگوستوس اهداف زندگی‌مان را نیز شکل دادیم و، چه خوب چه بد، تا آخرین لحظه به دنبال آن اهداف رفتیم.

در طول دوران دبیرستان، دریافتم که هدفم در زندگی این است که از طریق فناوری جهان را به مکانی بهتر تبدیل کنم. پذیرفتم که جهان کامل نخواهد بود و همیشه نقص‌هایی خواهد داشت. اما در آن زمان، باور داشتم که اگر به‌اندازه کافی سخت کار کنم، دست‌کم می‌توانم بار جهان را سبک‌تر کنم و آینده‌ای بهتر بسازم. آگوستوس اهداف مشابهی داشت اما کمی متفاوت بود. می‌دانستم آگوستوس جاه‌طلب است، اما هرگز واقعاً نمی‌دانستم می‌خواهد با زندگی‌اش چه کند تا اینکه به سال آخر دبیرستان رسیدیم.

در سال آخر دبیرستان، من و آگوستوس هر دو پذیرفته شدیم و تصمیم گرفتیم به مؤسسه فناوری ماساچوست (MIT) برویم. به آگوستوس فرصتی برای انتخاب شدن در درفت NBA پیشنهاد شد، اما او آن پیشنهاد را رد کرد و در عوض تصمیم گرفت به MIT برود. من ابتدا این را از والدین آگوستوس شنیدم و بعد از آن، به آگوستوس زنگ زدم و گفت‌وگوی ما چیزی شبیه این بود:

«آگوستوس، چرا به NBA نه گفتی؟ این یک فرصت یک‌بار در زندگی است»، با حالتی گیج گفتم.

«مارکوس، NBA جالب می‌بود، اما فقط همین، جالب. جهان را تغییر نمی‌دهد. اگر چیزی باشد، فقط مرا از اصلاح این جهان منحرف می‌کند»، آگوستوس با لحنی مطمئن گفت.

«تغییر جهان؟ منظورت چیست؟»

«بله، تغییر جهان! مارکوس، من می‌خواهم بشریت را به آینده‌ای بهتر هدایت کنم. می‌خواهم دنیا را نجات بدهم!»

برای چند ثانیه مکث کردم، به‌نوعی بیشتر از آنچه فکر می‌کردم متعجب شده بودم.

«نجات دنیا؟ منظورت چیست؟»

«مارکوس، تو و من بااستعدادیم. هر دوی ما می‌خواهیم به جهان کمک کنیم. تو در هوش برتری داری، و من در رهبری. علاوه بر این، من به تو اعتماد دارم مارکوس. با تو و مهارت‌های من، می‌توانیم فناوری‌ای توسعه دهیم و توزیع کنیم که جهان را به نفع بهتر تغییر دهد. من به آن اطمینان دارم!»

«وای، تو از آنچه فکر می‌کردم جاه‌طلب‌تری، آگوستوس!»، با کمی خنده در پایان گفتم، «اما چطور می‌گویی چنین کاری را انجام بدهیم؟»

«پاسخ کوتاه این است، مارکوس؛ من قصد دارم یک کسب‌وکار فناوری راه بیندازم. بعد، وارد سیاست شوم. با این کار، هم قدرت مالی و هم قدرت سیاسی به دست آوریم. و از آنجا، می‌توانیم جهان را تغییر دهیم. تو بخش حیاتی‌ای از این برنامه خواهی بود، مارکوس!»

«باشه، آگوستوس. این هنوز هم خیلی جاه‌طلبانه است. اما وقتی برنامه‌ای ترسیم شده داشته باشی و شروع کنی به نیاز داشتن به من. من آنجا خواهم بود.»

«ممنون، دوست من، در MIT می‌بینمت!» آگوستوس با لحنی هیجان‌زده گفت.

در آن زمان، این گفتگو برای من واقعاً معنی زیادی نداشت. می‌دانم آگوستوس عالی است، اما رویاهایش بیشتر شبیه رویا بودند تا آینده‌ای ممکن. در آن زمان، ادعایش را جدی نگرفتم. اما همه چیز قرار بود تغییر کند. در هر حال، سال 2028 بود و من مشتاق شروع تحصیلات کارشناسی‌ام در MIT بودم.

همچنین زمان هیجان‌انگیزی برای آغاز تحصیل در مهندسی بود، زیرا در همان سال، 2028، دولت ایالات متحده، ناسا، و اسپیس‌ایکس شروع کردند افراد بیشتری را برای مستعمره‌سازی مریخ اعزام کنند. فقط 2 سال پیش‌تر، آن‌ها فقط چند نفر را به آن سیاره سرخ و از آن بازمی‌گرداندند. اما اکنون، آن‌ها و بقیه جهان، شروع کردند افراد بیشتری را برای سکونت به مریخ بفرستند. این یک نقطه عطف واقعی در تاریخ بشر بود و باعث تقاضا و توسعه‌ای بزرگ در پژوهش رباتیک شد، که عالی بود چون می‌خواستم رباتیک را به‌عنوان رشته اصلی خود انتخاب کنم.

در سال ۲۰۳۰، هم من و هم آگوستوس سال دوم‌مان را در MIT به پایان رساندیم. من هم‌زمان در حال دو رشته‌ای خواندنِ رباتیک و اخلاق بودم، در حالی که آگوستوس در رشته‌های رباتیک و علوم سیاسی تحصیل می‌کرد. اما بعد از سال دوم دانشگاه، آگوستوس واقعاً از دانشگاه بدش آمد. او دانشگاه را ابزاری مفید برای رسیدن به رؤیای «نجات جهان» نمی‌دید. بنابراین، در طول سال دومش، آگوستوس بیشتر کلاس‌هایش را نرفت و در بیشتر آن‌ها هم مردود شد. به‌جای رفتن به کلاس، آگوستوس روی توسعهٔ این نرم‌افزارِ مبتنی بر هوش مصنوعی تمرکز کرد که دارایی‌ها و سهام را به‌طور مؤثر مدیریت می‌کرد. او می‌خواست نرم‌افزار مدیریت دارایی‌ای بسازد که در آن زمان از نرم‌افزار Aladdin بلک‌راک بهتر باشد [2]. او آن‌قدر به نرم‌افزارش مطمئن بود که بعد از سال دومش MIT را ترک کرد و نخستین کسب‌وکارش را با این نرم‌افزار جدیدی که در حال توسعه‌اش بود دنبال کرد. او در مه ۲۰۳۰ از خوابگاه‌ها بیرون رفت و به شهر نیویورک نقل مکان کرد. من از این‌که آگوستوس ترک تحصیل کرده بود ناراحت شدم، اما تنها نکتهٔ خوب این سال این بود که با همسر آینده‌ام، سارا ریون، آشنا شدم.

حالا، بیایید به سال ۲۰۳۸ بپریم. آگوستوس همه‌جا در اخبار بود، چون در ۲۸سالگی تازه یک میلیونرِ چندمیلیون‌دلاری شده بود. پس از فروش نرم‌افزارش به مبلغی قابل‌توجه به بلک‌راک، آگوستوس نزدیک به ۱۰۰ میلیون دلار پول نقد و مقداری اختیار سهامِ بلک‌راک به نام خودش داشت. در حالی که آگوستوس دنیای مالی را فتح می‌کرد، من تازه دو دکترایم را در «سیستم‌های رباتیک هوشمند» و «اخلاق ماشین» تمام کرده بودم. نه‌فقط این، بلکه در تابستان ۲۰۳۸، سارا و من ازدواج کردیم. من آگوستوس را به عروسی‌ام دعوت کردم و برای نخستین بار در نزدیک به ۸ سال، آگوستوس را در عروسی‌ام دیدم. شب سرگرم‌کننده‌ای بود، اما وقتی داشتیم مراسم عروسی را جمع می‌کردیم، آگوستوس از من خواست وقتی وقت آزاد دارم با او تماس بگیرم. بنابراین، بعد از ماه‌عسلِ من و سارا، با آگوستوس تماس گرفتم.

ما نزدیک به ۲ ساعت صحبت کردیم و در آن مدت از زندگی هم باخبر شدیم، اما بعد از آن، آگوستوس در تلفن جدی شد. آگوستوس گفت که می‌داند من مقدار عظیمی بدهی دانشجویی به نام خودم دارم و هنوز شغلی پیدا نکرده‌ام. بنابراین، او از شغلی حرف زد که فکر می‌کرد می‌تواند به من پیشنهاد دهد. این شغلِ هم‌بنیان‌گذار بودن برای کسب‌وکار جدیدش بود. این ماجرای جدید یک استارتاپ به نام AgBot است که بر خودکارسازی کشاورزی از طریق هوش مصنوعی و رباتیک تمرکز خواهد کرد. آگوستوس می‌خواست من هم‌بنیان‌گذار AgBot باشم، چون باور داشت مهارت‌های فنی من برای توسعهٔ معماریِ لازم جهت ساخت چنین سامانه‌های رباتیکیِ هوشمندی ارزشمند خواهد بود. او همچنین به من گفت که به من اعتماد دارد و این‌که بعد از شریک قبلی‌اش که عملاً او را وادار کرد نرم‌افزارش را به بلک‌راک بفروشد، اعتماد را ارزشمند می‌داند. بعد از شنیدن این پیشنهاد، فوراً قبول کردم، چون واقعاً از این پروژه هیجان‌زده بودم و او هم درست می‌گفت؛ من بدهیِ سنگینی داشتم و تا آن زمان هیچ پیشنهاد شغلی‌ای نداشتم.

AgBot رسماً در سال ۲۰۳۸ تأسیس شد. من و سارا دوباره به کلرادو نقل مکان کردیم، چون AgBot آن‌جا مستقر بود. بلافاصله، من و آگوستوس شروع به کار روی ساخت AgBot کردیم. در طول ۵ سال، گام‌های کلیدی‌ای هم از سوی من و هم از سوی آگوستوس برداشته شد تا AgBot به جایی برسد که اکنون هست. اول، آگوستوس سرمایهٔ شخصی خودش را در شرکت سرمایه‌گذاری کرد. این کار به ما اجازه داد هر چیزی را که برای شروع ساخت چند نمونهٔ اولیه به‌عنوان اثبات مفهوم لازم بود، تهیه کنیم. این همچنین به آگوستوس اجازه داد توسعه‌دهندگان دیگری را استخدام کند تا زیر نظر من روی توسعهٔ فناوری‌های کلیدی برای AgBot کار کنند. در همین زمان بود که ما شروع به توسعه کردیم و در نهایت نخستین محصول‌مان، Demeter، را منتشر کردیم [3]. Demeter یک ربات چهارچرخِ پا‌دار با پاهای قابل‌تنظیم در ارتفاع است. این ربات شامل دو بازوی رباتیک دلتا و دو بازوی رباتیک ۶محوره است. هدف Demeter محافظت از محصولات در برابر حشرات، حیوانات و بیماری‌ها از طریق پایش و مدیریت آن محصولات در مراحل اولیهٔ رشدشان است. همچنین می‌توان از آن برای چیدن محصولاتی از گیاهانی استفاده کرد که با یک ردیاب به‌راحتی خودکار نمی‌شوند، مثل توت‌فرنگی. علاوه بر خود ربات، Demeter ایستگاه شارژ خودش و یک پهپاد هم داشت. Demeter می‌تواند به‌طور خودکار خودش را شارژ کند و می‌تواند در حالت پهپادی‌اش از مزارع بزرگ بازدید کند تا ببیند کدام محصولات بیشتر به رسیدگی نیاز دارند. این ربات تا حدی خودمختار بود، اما هنوز به یک انسان برای نظارت و تعمیر Demeter نیاز داشت. اما مزیت اصلی‌ای که Demeter فراهم می‌کرد این بود که می‌توانست به یک کشاورز کمک کند تا هم‌زمان ۱۰۰۰ اِیکر زمین را مدیریت کند؛ چیزی که پیش از آن بی‌سابقه بود.

Demeter در مه ۲۰۴۳ با فروش رکوردشکن برای عموم منتشر شد. به لطف ویژگی‌های پیشرفتهٔ Demeter و کمپین بازاریابی فوق‌العادهٔ آگوستوس و تیمش، Demeter فوراً به فروش رفت. این موضوع اعتماد دیگر سرمایه‌گذاران را بازگرداند و به افزایش عظیمِ سرمایه‌گذاری از سوی سرمایه‌گذاران دیگر انجامید. این سرمایهٔ اضافی باعث شد AgBot عملیاتش و همچنین تیم توسعه‌اش را گسترش دهد. همچنین به AgBot اجازه داد شروع به توسعهٔ ماژول‌های کشاورزیِ خودکارِ درون‌ساختمانی کند که بعداً در سال ۲۰۴۷ برای مناطقی در جهان که بیشترین آسیب را از تغییرات اقلیمی دیده بودند، منتشر شد. این ماژول‌های درون‌ساختمانی نیز به‌شدت موفق بودند و این فقط رشد و ثروت AgBot را شتاب داد. در سال ۲۰۴۸، نسخهٔ پیشرفته‌تری از Demeter به مریخ فرستاده شد تا به تلاش‌های کشاورزی در مریخ کمک کند. آگوستوس از کار من افتخار می‌کرد و علاوه بر حقوقم، سهام زیادی از AgBot به من داد.

در سال ۲۰۵۰، AgBot وارد بورس شد و ارزشش به ۳ تریلیون دلار رسید. این به این دلیل بود که تقریباً هر کشاورزی در آمریکا از محصولات کشاورزی AgBot استفاده می‌کرد. با ورود به بورس، من یک‌شبه میلیاردر شدم و آگوستوس هم یک‌شبه چندمیلیاردر شد. عمومی شدن شرکت همچنین سرمایهٔ بیشتری را وارد AgBot کرد و به AgBot اجازه داد تسلا و نورالینک را خریداری کند. تسلا و نورالینک به قیمت ارزانی خریداری شدند، چون از زمانی که ایلان ماسک درگذشت، هیچ مدیرعاملی نتوانسته بود این شرکت‌ها را به‌طور مؤثر مدیریت کند. این موضوع باعث سال‌ها از دست رفتن سود برای هر دو شرکت شد و آن‌ها را تا مرز ورشکستگی پیش برد، تا این‌که AgBot هر دو را فقط با ۹۰۰ میلیارد دلار خرید. هم تسلا و هم نورالینک در دپارتمان رباتیک AgBot ادغام شدند و AgBot شروع به توسعهٔ دو محصول جدید کرد. نخستین محصول یک دستیار خانگی بود که بر پایهٔ طراحی اولیهٔ Tesla Bot [4] در حال توسعه بود. به این پروژه نام Agssistant-Bot داده شد. محصول دوم یک اتوبوس خودمختار بود که بر پایهٔ فناوری‌ای ساخته می‌شد که تسلا برای تولید خودروهای برقی از آن استفاده می‌کرد. به این پروژه نام Auto-Bus داده شد. خودروها در سال ۲۰۵۰ کمتر رایج شدند، چون ایالت‌ها به‌شدت در سامانه‌های حمل‌ونقل بهتر، مثل اتوبوس‌ها و قطارها، سرمایه‌گذاری می‌کردند. در همین زمان، آگوستوس شروع به تأمین مالی کارزارهای انتخاباتیِ بسیاری از سیاستمداران کرد و بسیاری از این سیاستمداران در نهایت شهردار، سناتور و حتی یکی از آن‌ها عضو کنگره شد. این موضوع برای افزایش قدرت AgBot در ایالات متحده مفید از آب درآمد.

در طول سال ۲۰۵۱، من و تیمم شروع به مقابله با عوامل محدودکنندهٔ الگوریتم‌های فعلی هوش مصنوعی کردیم. در این مرحله، همهٔ ربات‌های مبتنی بر کشاورزیِ ما نه‌تنها از نظر کیفیت ساخت مقاوم بودند، بلکه به آستانهٔ خودمختاری کامل هم نزدیک شده بودند. عامل محدودکنندهٔ اصلی، فقدانِ یک عامل اخلاقی در هوش مصنوعی بود [5]. در یک ربات واقعاً هوشمند، باید یک عامل اخلاقی وجود داشته باشد تا به هدایت ربات در چارچوب‌های اجتماعی جامعه کمک کند. در AgBot، ما تلاش کردیم برای ربات‌هایمان یک عامل اخلاقی بسازیم، صرفاً با سخت‌کدنویسیِ قواعد اخلاقی درون کد هوش مصنوعی. این کار بی‌اثر از آب درآمد، بنابراین آن را کنار گذاشتیم و به‌جای آن، تعیین انتخاب‌های اخلاقیِ ربات را به کاربر سپردیم [6]. این از نظر تئوری کار می‌کرد، اما خودکارسازی ربات‌هایمان را کند می‌کرد، چون هر وقت ربات با چیزی مواجه می‌شد که به نوعی استدلال اخلاقی نیاز داشت، به ورودی انسانی احتیاج بود. این برای ربات‌های مبتنی بر کشاورزیِ ما مشکلی نداشت، اما برای فشار AgBot در جهت توسعهٔ Agssistant و Auto-Bus برای عموم مردم، یک مانع بزرگ بود [4]. پس از ۴ سال توسعه، تیم من کار غیرممکن را انجام داده بود.

تا سال ۲۰۵۵، تیم من نخستین عامل اخلاقیِ موفق را در پایگاه کد اصلی برای همهٔ سامانه‌های هوش مصنوعیِ ربات‌های AgBot ساخته بود. این عامل اخلاقی می‌توانست به ربات اجازه دهد انتخاب‌های اخلاقیِ خودش را انجام دهد، انتخاب‌هایی که بهترین بازتابِ موضع اخلاقیِ بسیاری از افراد جامعه باشند [7]. عامل اولیه از یک پایگاه دادهٔ عظیم آموزش می‌بیند، اما با ادامهٔ تعامل ربات با انسان‌ها، شروع می‌کند به این‌که چارچوب‌های اخلاقی‌اش را بهتر بر همان انسان‌هایی که با آن‌ها تعامل دارد تنظیم کند [8]. این عالی بود، چون چارچوب هوش مصنوعیِ AgBot را تا جایی کامل کرد که ربات‌هایمان می‌توانستند بدون نیاز به هیچ ورودی انسانی کاملاً خودمختار باشند. این سال همچنین سال مهمی در تاریخ بشر بود، چون سالی بود که مریخ ارتباطش را با زمین قطع کرد. تمدن جدید مریخ تصمیم گرفت از زمین جدا شود و جامعهٔ جدیدی بسازد که توسط جوامع گذشتهٔ زمین اداره نشود. بسیاری از کشورها از اقدام مریخی‌ها خشمگین بودند، اما به دلیل فاصلهٔ زیاد میان زمین و مریخ و نیز مشکلات عمده‌ای که خود زمین از قبل با آن‌ها روبه‌رو بود، کشورهای روی زمین صرفاً شروع کردند این مسئله را به‌طور نامحدود نادیده بگیرند.

پس از توسعه این عامل اخلاقی، آن را به آگوستوس ارائه کردم و تا سال ۲۰۶۰، ما عامل اخلاقی را در کُدبیس اصلی خود پیاده‌سازی کرده بودیم و آن را روی همهٔ ربات‌های خط تولیدمان مستقر کرده بودیم. همچنین در همین سال بود که AgBot سرانجام Agssistant را برای عموم مردم عرضه کرد و در نهایت رؤیاهای آگوستوس برای ساختن یک ربات برای عموم مردم را محقق ساخت. علاوه بر این، Auto-Bus در شهرهای بزرگ سراسر ایالات متحده منتشر شد. AgBot همچنین از پرداخت هرگونه مالیات دولتی معاف شد، به‌دلیل مشارکت عظیم شرکت در اقتصاد؛ اما وقتی به گذشته نگاه می‌کنم، فکر می‌کنم این به‌خاطر نفوذ عظیم آگوستوس در دولت ایالات متحده طی سال‌ها در میان سیاستمداران بنیان‌گذار بود. همچنین در همین دوران بود که بیکاری به بالاترین سطح تاریخی رسید؛ این موضوع به‌دلیل آن بود که عامل اخلاقی، مشاغل انسانی را از بیشتر سامانه‌های رباتیک به‌طور کامل حذف می‌کرد. این امر باعث بیکاری گسترده و تقاضای عظیمی برای اصلاح این شد که اقتصاد و ایدهٔ اشتغال چگونه باید در ایالات متحده کار کنند. این همچنین نخستین باری بود که AgBot در نظر عموم با نگاهی منفی دیده می‌شد. آگوستوس و من از سوی افرادی که به‌دلیل اجرای ویژگی جدید عامل اخلاقی شغلشان را از دست داده بودند، تهدید به مرگ می‌شدیم. همچنین در همین زمان بود که من شروع کردم بیشتر در یک سامانهٔ امنیتی سرمایه‌گذاری کنم تا از خودم و همسرم محافظت کنم.

در سال ۲۰۶۳، نخستین علتِ ثبت‌شدهٔ قتلِ یک ربات در تاریخ بشر ثبت شد. ربات یک مدل Agssistant بود و هنگام «یورش» خود، تازه‌ترین نرم‌افزار AgBot را اجرا می‌کرد که شامل تازه‌ترین کُدبیس عامل اخلاقی بود. در جریان یورش ربات، آن ربات یک مرد ۷۰ ساله را در روشنایی روز کشت. نام آن پیرمرد جان اسمیت بود که از Agssistant برای کمک در خانه و دیگر کارهایی که در سن خودش به‌راحتی نمی‌توانست انجام دهد استفاده می‌کرد. پس از آن‌که ربات جان را کشت، سپس شروع کرد خودش را تکه‌تکه کند تا جایی که دوباره شروع به کار کرد. جان و ربات تا ۳ روز بعد کشف نشدند.

وقتی خبر این موضوع منتشر شد، عموم مردم دیوانه شدند. از آگوستوس می‌خواستند توضیح دهد چه اتفاقی افتاده است. سهام AgBot ۷۰٪ سقوط کرد و بیش از ۹۰٪ مدل‌های Agssistantِ ارسال‌شده بازگردانده می‌شدند. تنها نکتهٔ خوبِ آن ماجرا در آن زمان این بود که مدل Agssistant که مرتکب قتل شده بود، دیسک ثبتِ گزارش‌هایش را نابود نکرده بود؛ ما توانستیم ببینیم درون Agssistant چه اتفاقی افتاده بود که باعث شد جان را به قتل برساند.

هنوز آن شب را به یاد دارم. ساعت ۳:۰۰ صبح در آزمایشگاه اصلی در مقر AgBot بود و تیم من تازه گزارش‌ها را بارگذاری کرده بود. ما روزها در گزارش‌ها جست‌وجو کردیم تا بفهمیم آن شب که Agssistant جان را کشت، دقیقاً چه لعنتی رخ داده بود. بعد از ۵ روز کندوکاو، پاسخمان را پیدا کردیم. مشخص شد که پیرمرد، با گذشت زمان، نسبت به این Agssistant [9] بیشتر نفرت‌انگیز و خشن شده بود؛ آن را با نام‌های تحقیرآمیز صدا می‌کرد، به آن ضربه می‌زد، و بخش‌هایی از ربات را به‌صورتی شکنجه‌وار با آشغال و چرک پر می‌کرد. این اعمال بیرحمانه به‌احتمال زیاد ناشی از آن بود که جان اخیراً طلاق گرفته بود و ماه‌ها منزوی مانده بود. همچنین دیگر مشکلات روانی‌ای که جان در این بخش پایانی زندگی‌اش با آن‌ها روبه‌رو بود. بنابراین، نحوهٔ رفتار Agssistant شاید جان را بیشتر عصبانی کرده بود، بی‌آنکه Agssistant از آن آگاه باشد [10]. به هر حال، این «آزار» نسبت به ربات ظاهراً باعث شده بود که ربات به‌صورت اخلاقی «باور» کند جان شرور است و در نتیجه باید کشته شود. اما چیزی که شگفت‌انگیزتر بود این بود که پس از آن‌که Agssistant جان را کشت، شروع کرد خودش را هم بکشد. دلیل پشت این رفتار این بود که ربات هنوز باور داشت کشتن هر موجود زنده‌ای غیراخلاقی است، اما خودش تازه همان کار را کرده بود. Agssistant، به‌عبارتی بهتر نداشت، نمی‌توانست این معضل اخلاقی را «تحمل» کند، پس در ادامه خودش را کشت. این فراتر از وحشتناک بود و در آن زمان، من آن را هشدار خدا می‌دانستم که به ما می‌گوید مثل خدا بازی نکنیم. من این مسئله را با آگوستوس در میان گذاشتم و او ویران شد.

چند ماه پس از قتل و این‌که فهمیدیم چه چیزی باعث آن شده بود، AgBot این موضوع را علنی کرد. آگوستوس می‌خواست راهی برای سرپوش گذاشتن بر آن پیدا کند، مثلاً دروغی بسازد مبنی بر این‌که جان در حال دستکاری مدل Agssistant خود بوده است. اما به‌دلیل تقاضای عظیم عمومی و فشار دولت‌های سراسر جهان، آگوستوس تسلیم شد و AgBot را واداشت یافته‌هایشان را طی یک کنفرانس مطبوعاتی منتشر کنند. این کار سهام شرکت را نابود کرد و بسیاری از سرمایه‌گذاران را واداشت از AgBot بیرون بکشند. اما بدتر از همه، اعتبار آگوستوس را لکه‌دار کرد. برای کمک به کاهش خسارت این رویداد، به یک قربانیِ جایگزین نیاز بود تا بیشترین مسئولیت این رخداد را بر عهده بگیرد. هیئت‌مدیره می‌خواست آگوستوس قربانی شود و از سمت مدیرعاملی AgBot کناره‌گیری کند. اما، به شگفتی من، آگوستوس سمتش را ترک نکرد، زیرا در طول سال‌ها، او پنهانی داشت سهام و دارایی‌های بیشتری از AgBot می‌خرید. این باعث شد او بیش از ۱۵٪ از AgBot را در اختیار داشته باشد و رأی اکثریت را به دست آورد. این امر به درگیری‌های داخلی بیشتری درون شرکت انجامید و باعث شد آگوستوس همهٔ اعضای هیئت‌مدیره را به‌زور کنار بزند و آن جایگاه‌ها را با اعضای جدیدی پر کند. بعدها فهمیدم آن اعضای جدید هیئت‌مدیره صرفاً عروسک‌هایی زیر «حکمرانی» آگوستوس بودند. بنابراین، پس از این سقوط عظیم در ثروت AgBot، آگوستوس با موفقیت کنترل کامل AgBot را به دست آورد. نه‌تنها این، بلکه او کاری کرد که همان اعضای هیئت‌مدیره مسئولیت پروندهٔ قتل را بر عهده بگیرند.

تصاحب AgBot توسط آگوستوس در رسانه‌ها به‌خوبی پنهان شد. این به لطف قدرت سیاسی‌ای بود که آگوستوس داشت. همچنین به‌دلیل یک کارزار عظیم اخبار جعلی که آگوستوس در سراسر اینترنت به راه انداخت و واقعاً عموم مردم را سردرگم کرد و اجازه داد آگوستوس آن‌قدر که واقعاً بود، قدرتمند به نظر نرسد. من از این کار منزجر شدم، چون آگوستوس عملاً خودش را دیکتاتور AgBot کرده بود و این برای من نگران‌کننده بود، زیرا AgBot تأثیری عظیم بر اقتصاد و جهان داشت. من با این ایده که آگوستوس کسی باشد که همهٔ تصمیم‌ها را برای چنین شرکت عظیمی می‌گیرد مخالف بودم. نمی‌خواستم از چنین ایده‌ای حمایت کنم، بنابراین از آگوستوس خواستم در اقداماتش تجدیدنظر کند. کودکی‌مان را به یادش آوردم و این‌که هر دوی ما می‌خواستیم «جهان را نجات دهیم». اما آگوستوس تجدیدنظر نکرد، بلکه در عوض گفت: «من (آگوستوس)، جهان را نجات خواهم داد.» سپس توضیح داد که چگونه از عموم مردم و ایدهٔ دموکراسی خوشش نمی‌آید. حالا از اعمال آگوستوس فراتر از انزجار بودم، بنابراین همان روز از AgBot استعفا دادم.

وقتی به گذشته نگاه می‌کنم، فکر می‌کنم اعمال آگوستوس هم از احساس خیانت، هم ترس، هم جاه‌طلبی، و هم خودشیفتگی ناشی می‌شد. او بیش از ۲۵ سال را صرف ساختن و ادارهٔ AgBot کرده بود. نقش او در شرکت برای تبدیل AgBot به یکی از قدرتمندترین شرکت‌های جهان بنیادی بود. سپس AgBot در ساخت ربات‌های شگفت‌انگیزی سهم داشت که نه‌تنها بهره‌وری را افزایش دادند، بلکه به تغییر ساختار جامعه نیز کمک کردند. با این حال، با وجود تمام سخت‌کوشی‌ها و فداکاری‌هایش. با وجود همهٔ چیزهای شگفت‌انگیزی که به جامعه کمک کرد و همهٔ زندگی‌هایی که نجات داد یا راحت‌تر کرد. فقط یک اشتباه روی یکی از محصولات AgBot کافی بود تا عموم مردم شروع کنند از او متنفر شوند و همهٔ سرمایه‌گذارانی که او ثروتمندشان کرده بود، شروع کنند به نادیده گرفتنش. این «خیانت» از سوی عموم مردم، به‌گمان من، همان چیزی است که سفر آگوستوس به‌سوی تبدیل شدن به هیولایی را که امروز هست آغاز کرد.

پس از ترک AgBot، پیوندم را با آگوستوس قطع کردم. دهه‌ها طول می‌کشید تا دوباره با او صحبت کنم. اما در آن زمان از زندگی‌ام، ۵۳ ساله بودم و می‌خواستم بازنشسته شوم. سارا نیز همین ذهنیت را داشت، بنابراین تصمیم گرفتیم از کلرادو به آنکارا، ترکیه برویم تا زندگی جدیدمان را به‌عنوان آدم‌های بازنشسته آغاز کنیم. می‌خواستم زمان بیشتری را با همسرم بگذرانم و همچنین از ثمرهٔ زحماتم لذت ببرم. تا سال ۲۰۶۴، سارا و من روند نقل‌مکان به آنکارا را آغاز کردیم. در این مدت، هنوز اخبار مربوط به AgBot را دنبال می‌کردم. یکی از لحظات کلیدی در این زمان این بود که آگوستوس عامل اخلاقی را در کُدبیس AgBot از یک چارچوب غیرمتمرکز به یک چارچوب متمرکز تغییر داده بود. این یعنی AgBot توانایی همهٔ ربات‌هایش را برای گرفتن تصمیم‌های اخلاقی فردی حذف می‌کرد و در عوض، AgBot همهٔ تصمیم‌های اخلاقی را برای همهٔ ربات‌های زیرمجموعهٔ AgBot تعیین می‌کرد [6]. هرچند این تا حدی اصلاحی برای مشکلی بود که عامل اخلاقی اولیهٔ من مطرح کرده بود، من باور نداشتم این یک تصمیم مهندسی معتبر باشد. این فقط به آگوستوس قدرت بیشتری بر AgBot و جهان می‌داد. اما در آن زمان، من به‌خاطر نادانی، از AgBot و آگوستوس خسته شده بودم. بنابراین، شروع کردم فقط به‌سختی اخبار مربوط به AgBot را دنبال کنم و بیشتر روی بازنشستگی‌ام تمرکز کنم. تا پایان ۲۰۶۴، سارا و من به آنکارا نقل مکان کرده بودیم؛ و سفرمان به‌عنوان بازنشسته را آغاز کرده بودیم.

از ۲۰۶۴ تا ۲۰۷۴، جهان به‌طور چشمگیری تغییر کرده بود. تقریباً همهٔ کارهای پایه‌ای به‌طور کامل به‌وسیلهٔ ربات‌های تولیدشده توسط AgBot خودکار شده بودند. آگوستوس همچنان AgBot را اداره می‌کرد و هیچ رخدادی مانند قتل ۲۰۶۳ رخ نداده بود. اما شایعاتی در جریان بود که چنین رخدادهایی واقعاً اتفاق افتاده‌اند و آگوستوس آن رخدادها را از عموم پنهان کرده بود. AgBot اکنون ربات‌هایی داشت که تقریباً هر وظیفهٔ مهم موردنیاز در جامعه را انجام می‌دادند، مانند: کشاورزی، آشپزی، نگهداری عمومی، نظافت، مدیریت، و حتی سرگرمی. نه‌تنها این، بلکه AgBot ربات‌های پزشکیِ خودران را نیز مستقر کرده بود که هزینهٔ قبوض پزشکی را کاهش داده بود و همچنین تعداد پزشکان در بیمارستان‌ها را تا آن اندازه کم کرده بود که اکنون معمولاً فقط ۱ تا ۱۰ پزشک برای هر بیمارستان بزرگ وجود داشت. جامعه نیز به‌طور چشمگیری تغییر کرده بود. تقریباً همهٔ مشاغل سطح پایین حذف شده و به‌وسیلهٔ ربات‌ها گرفته شده بودند [4]. مردم شروع کرده بودند که فقط هفته‌های کاری ۲ روزه داشته باشند و ۵ روز دیگر را صرف استراحت یا سرگرمی‌های شخصی خود کنند. البته این شکل جدید جامعه در بیشتر کشورها صادق نبود، زیرا هنوز بسیاری از کشورها وجود داشتند که دولت‌هایشان مانع می‌شد مردمشان ربات‌های AgBot را به‌طور کامل در جایگاه‌های کلیدیِ جامعه‌شان به کار بگیرند. بلکه آن‌ها می‌خواستند جنبه‌های کلیدی جامعهٔ خود را با استفاده از فناوری خودشان و نه AgBot، به‌طور کامل خودکار کنند. با این حال، AgBot باعث شده بود جهان بسیار بهتر از چیزی به نظر برسد که در سال ۲۰۳۸ بود. در سال ۲۰۷۴، شروع کردم نسبت به کاری که با آگوستوس کرده بودم احساس بدی داشته باشم، چون به نظر می‌رسید برنامه‌هایش برای «نجات جهان» واقعاً کار کرده بودند.

در طول آن ۱۰ سال، من واقعاً از بازنشستگی‌ام لذت بردم. من همچنین، به‌طور کلی، دوباره عاشق سارا شدم. ما دنیا را دیدیم و مهارت‌های جدید زیادی یاد گرفتیم، مثل نقاشی و پرنده‌نگری. ما همچنین دیدیم که دنیا به چیزی تغییر کرده بود که به‌نوعی، به‌نظر من، یک «آرمان‌شهر» بود. اما متأسفانه، آن «آرمان‌شهر» مدت زیادی دوام نیاورد.

در سال ۲۰۷۵، یکی از بدترین رویدادهایی که تا به‌حال در تاریخ بشر ثبت شده بود رخ داد. وقفهٔ بزرگ ربات‌ها (GRP) اتفاق افتاد. به‌مدت ۶ ماه، همهٔ ربات‌های AgBot از کار افتادند. این امر به یک فروپاشی عظیم اقتصادی جهانی منجر شد و به مرگ نزدیک به ۳ میلیارد انسان انجامید. این عمدتاً به‌دلیل قحطی‌هایی بود که بر اثر توقف کامل ربات‌های کشاورزی رخ داد، و همچنین تقریباً همهٔ ربات‌های پزشکی نیز به‌طور کامل از کار افتادند. در طول آن ۶ ماه، بسیاری از مردم مردند چون به‌سادگی نمی‌دانستند بدون ربات‌هایشان چگونه از خودشان مراقبت کنند. مردم فراموش کرده بودند، یا حتی هرگز یاد نگرفته بودند، که چگونه کارهای ابتدایی‌ای مانند: آشپزی، نظافت، تولید غذا، و به‌طور کلی مراقبت از خودشان را انجام دهند. بنابراین، وقتی ربات‌ها از کار افتادند، بیشتر مردم در مراقبت از خود و زنده ماندن ناتوان بودند و این امر در عرض فقط ۶ ماه به مرگ میلیاردها نفر انجامید. این همچنین در همان زمان بود که من سارا را از دست دادم….

در دههٔ ۵۰ زندگی‌اش، سارا به دیابت نوع ۲ مبتلا شد. این بیماری ایجاب می‌کرد که سارا هر روز چهار نوبت انسولین تزریق کند [10]. وقتی GRP رخ داد، همهٔ تولید انسولین متوقف شد. ما فقط به‌اندازهٔ ۵ ماه انسولین تزریقی ذخیره داشتیم. من تلاش کردم انسولین بیشتری پیدا کنم، اما این کار تقریباً غیرممکن بود و بیرون از خانهٔ ما به‌خاطر تمام خشونت‌هایی که به‌دلیل رنج ناشی از دورهٔ GRP در جریان بود، خطرناک‌تر هم شده بود. بنابراین، در آخرین ۱ ماهِ GRP، سارا متأسفانه… درگذشت.

در نیمهٔ دوم سال ۲۰۷۵، GRP به پایان رسید. تا سال ۲۰۸۵، جهان تا حدی از GRP بهبود یافته بود. اقتصاد شروع کرده بود به بازگشت به حالت عادی و کیفیت زندگی به اندازهٔ قبل از GRP خوب شده بود. جهان می‌خواست بداند چه چیزی باعث شد همهٔ ربات‌های AgBot از کار بیفتند. مردم می‌خواستند بدانند چرا GRP رخ داد و می‌خواستند کسی را مقصر بدانند. آگوستوس و دولت ایالات متحده، در کنفرانس خبری خود، اعلام کردند که GRP بر اثر یک حملهٔ سایبری مخرب انجام‌شده توسط یک گروه هکری به نام jUdas به‌وجود آمده است. گفته شد که این گروه هکری توسط دولت کرهٔ شمالی ایجاد و تأمین مالی شده است، با این هدف که کارکرد AgBot را در سراسر جهان از کار بیندازد و نابود کند. در میان همهٔ کشورهای جهان، کرهٔ شمالی بیشترین سرسختی را در پذیرش فناوری AgBot نشان داده بود. بنابراین، روایتی که ارائه شد تا حدی منطقی به‌نظر می‌رسید. و به‌دلیل این‌که مردم برای پیدا کردن کسی که مقصر GRP باشد، دچار تعصب بودند، مردم بلافاصله این روایت را پذیرفتند. این امر به جنگ کرهٔ شمالی انجامید، جایی که ایالات متحده در سال ۲۰۷۸ تهاجم خود به کرهٔ شمالی را آغاز و کامل کرد. این تهاجم کمتر از یک سال طول کشید، زیرا AgBot ارتش ایالات متحده را با فناوری‌های پیشرفتهٔ جنگ‌محور تأمین می‌کرد. AgBot به ارتش ایالات متحده خنثی‌کننده‌های هسته‌ای داد که همهٔ بمب‌های هسته‌ای را از شلیک شدن در کرهٔ شمالی غیرفعال می‌کردند. آن‌ها همچنین سربازان ربات انسان‌نما در اختیار ارتش گذاشتند که بسیار سریع‌تر و قوی‌تر از هر سرباز انسانی بودند. با این دو فناوری کلیدی از AgBot، ایالات متحده توانست به کرهٔ شمالی حمله کند و دولت فعلی را با یک دولت موقت که توسط AgBot اداره می‌شد جایگزین کند.

پس از شنیدن این روایت، فوراً آن را باور نکردم. اول از همه، کرهٔ شمالی فناوری‌های لازم را حتی برای عبور از استانداردهای فوق‌امنیتی‌ای که AgBot در همهٔ محصولاتش به‌کار می‌برد، نداشت. دوم، خیلی اتفاقی به‌نظر می‌رسد که تنها کشوری در جهان که AgBot را در کشورش نپذیرفت، همان کشوری بود که AgBot را هم هک کرد. سوم، این روایت و شیوهٔ پخش شدنش در چندین کانال خبری، شبیه این است که آگوستوس چگونه اطلاعات نادرست را پخش می‌کرد تا ایده‌های خاصی دربارهٔ AgBot را به میان مردم منتقل کند. با در نظر گرفتن همهٔ این‌ها، می‌خواستم با آگوستوس روبه‌رو شوم و واقعاً بفهمم چه چیزی باعث GRP شد.

من سعی کردم از طریق کانال‌های مختلف با آگوستوس تماس بگیرم، اما شانسی نداشتم. سعی کردم مستقیماً با آگوستوس تماس بگیرم، اما او به هیچ‌یک از پیام‌هایم پاسخ نداد. سعی کردم با همکاران سابقم تماس بگیرم، اما هیچ‌کدامشان هم پاسخ ندادند. سعی کردم با کارکنان فعلی AgBot تماس بگیرم، اما آن‌ها هم پاسخی ندادند. سعی کردم با دولت و ارتش ایالات متحده تماس بگیرم و با برخی افراد ارتباط برقرار کردم، اما همه به من گفتند که فقط به تلاش برای تماس مستقیم با آگوستوس یا تماس با خدمات مشتری AgBot ادامه دهم. بنابراین، من به تلاش برای تماس مستقیم با آگوستوس ادامه دادم، بدون هیچ شانسی. سعی کردم با خدمات مشتری AgBot تماس بگیرم، اما آن‌ها حاضر نبودند به من کمک کنند تا با آگوستوس صحبت کنم. سپس دوباره با دولت ایالات متحده شروع به صحبت کردم و آن‌ها فقط همان چیزها را تکرار می‌کردند. این کار را ماه‌ها ادامه دادم، تا اینکه هم خدمات مشتری AgBot و هم دولت ایالات متحده مرا از خطوط ارتباطی‌شان مسدود کردند. با شکست این تلاش‌ها، سعی کردم از طریق اینترنت اطلاعات بیشتری پیدا کنم، اما بعد از چند ماه دست کشیدم. وقتی هیچ‌یک از این روش‌های قانونی جواب نداد، به هک کردن سیستم‌های رایانه‌ای AgBot روی آوردم تا خودم حقیقت را پیدا کنم. زمانی که سارا هنوز زنده بود، هرگز چنین عمل غیرقانونی‌ای انجام نمی‌دادم. اما، بعد از از دست دادن سارا، به جایی رسیده بودم که احساس می‌کردم چیزی برای از دست دادن ندارم، و فقط می‌خواستم حقیقت را دربارهٔ این‌که چه چیزی باعث GRP شد بدانم… چه چیزی در مرگ همسر محبوبم نقش داشت…؟

من این هک بزرگ را در سال ۲۰۸۵ در یکی از پایگاه‌های مخفی‌ام در ترکیه، استانبول، آغاز کردم. به لطف ثروتم، توانستم ابزارهای لازم برای هک کردن ستاد مرکزی AgBot را تهیه کنم. به‌نظر می‌رسد بیش از ۲ سال کار بی‌وقفه طول کشید تا در نهایت به دسترسی ریشه‌ای به سیستم اصلی رایانه‌ای AgBot دست پیدا کنم. اکتبر ۲۰۸۷ بود که به دسترسی ریشه‌ای رسیدم و شروع به رمزگشایی داده‌هایی کردم که از سیستم اصلی رایانه‌ای AgBot جمع‌آوری کرده بودم، که ناگهان توسط پلیس رباتیک ترکیه که در استانبول گشت می‌زدند بازداشت شدم. پس از بازداشت، پلیس رباتیک همهٔ رایانه‌ها و ابزارهایم را نابود کرد و در نهایت کل خانه‌ام را به آتش کشید. سپس مرا داخل یک قفس گذاشتند و به زندانی در دنور، کلرادو، نزدیک ستاد مرکزی AgBot منتقل کردند. هیچ دادگاهی برایم برگزار نشد و مجبور شدم ۲۴ ساعت شبانه‌روز در سلولم بمانم، بدون هیچ تصوری از این‌که آیا اصلاً زمانی برای بیرون رفتن خواهم داشت، چه برسد به این‌که آزاد شوم.

در این زندان، ۲۴ ساعت شبانه‌روز و ۷ روز هفته از طریق دوربین و ربات‌ها تحت نظر بودم. حداقل مقدار غذا و آبی را که برای زنده ماندن لازم بود به من می‌دادند و به‌نظر می‌رسید من تنها انسان در زندان هستم. این «سبک زندگی» در سن ۷۷ سالگی برایم دشوار بود و در آن مقطع از زندگی‌ام وارد یکی از بدترین افسردگی‌های زندگی‌ام شدم. من به‌مدت ۱ سال در این زندان نگه داشته شدم تا این‌که در ژوئیهٔ ۲۰۸۸، به این اتاق تصادفی منتقل شدم.

این اتاق مثل سلول قبلی‌ام نبود. در اتاق هیچ نوری وجود نداشت و همهٔ دیوارها سیاهِ تیره بودند. نه‌تنها این، بلکه اتاق ساکت بود. بیشتر شبیه یک سلول جنون به‌نظر می‌رسید تا یک سلول/اتاق زندان معمولی. خب، در سلول شروع کردم به لمس کردن دیوارها. بافت دیوارها مثل فوم بود، و همین‌طور کف و سقف. ساعت‌ها در این اتاق قرار داده شده بودم و سعی می‌کردم با فریاد از طریق تلفن‌ها پاسخ بگیرم و توضیحی دربارهٔ این‌که چرا لعنتی مرا در این اتاق گذاشته‌اند به‌دست بیاورم. اما بعد از مدتی، روی کف نشستم و فقط به خواب رفتم.

بعد از خدا می‌داند چند ساعت، با صدای کسی و همچنین یک نور درخشان بیدار شدم. وقتی بیدار شدم، اطراف اتاقم را نگاه کردم و فقط یک هولوگرام آبی دیدم. هولوگرامِ یک مرد انسانی بود که شبیه آگوستوس به‌نظر می‌رسید. اما چیز عجیب این بود که او شبیه آگوستوسِ سال ۲۰۶۴ بود. این هولوگرام آن‌قدر برایم عجیب بود که تا زمانی که هولوگرام شروع به صحبت با من کرد، چیزی نگفتم.

«سلام مارکوس، مدتی شده است.» هولوگرام گفت.

«آگوستوس…؟ خودت هستی؟ یا یک هوش مصنوعی یا چیزی شبیه این هستی؟» من با سردرگمی گفتم.

«نه مارکوس، من آگوستوس هستم. فقط در قالب دیجیتال، خخخ» او با لحنی خندان گفت.

«آگوستوس، سال‌هاست که دارم سعی می‌کنم با تو تماس بگیرم. چرا پاسخ ندادی؟»

«مارکوس…. نمی‌دانم این را چطور برایت توضیح بدهم، اما من عملاً در ۱۵ سال گذشته مرده بوده‌ام. من در سال ۲۰۷۳ بر اثر سکتهٔ مغزی درگذشتم.»

«چه!»، من با سردرگمیِ کامل گفتم.

بعد از این‌که فهمیدم آگوستوس در سال ۲۰۷۳ درگذشته است، گفت‌وگویی را آغاز کردیم که ساعت‌ها طول کشید. آگوستوس به من اطلاع داد که وقتی همهٔ عامل‌های اخلاقیِ ربات‌های AgBot را به‌جای یک چارچوب غیرمتمرکز، بر پایهٔ یک چارچوب متمرکز قرار داد، آن چارچوب متمرکز بر خود AgBot استوار نبود، بلکه بر ضمیر ناخودآگاه خودش استوار بود. با استفاده از فناوری Neuralink، آگوستوس کامپیوتری را داخل مغزش قرار داده بود که به او اجازه می‌داد به ابررایانهٔ اصلی AgBot متصل شود و آن را کنترل کند. حتی در آن زمان هم، همهٔ ربات‌های AgBot برای به‌روزرسانی نرم‌افزار و نگهداری به ابررایانهٔ اصلی AgBot متصل می‌شدند. بنابراین، پس از کاشت Neuralink، آگوستوس ابررایانه و همهٔ ربات‌های AgBot را به‌روزرسانی کرد تا برای عامل اخلاقی خودشان (تصمیم‌گیرندهٔ اخلاقی) به ابررایانه متصل شوند. نکتهٔ اصلی این بود که عامل اخلاقی در ابررایانه کد نشده بود، بلکه افکار و باورهای اخلاقی‌ای بود که در مغز آگوستوس تولید می‌شد و سپس به ابررایانه پخش می‌گردید. به‌نوعی، آگوستوس به عامل اخلاقی همهٔ ربات‌های AgBotِ مستقر در میدان تبدیل شده بود [8].

این چیدمان تقریباً یک دهه ادامه داشت، تا اینکه آگوستوس هنگام کار در آزمایشگاه دچار سکته شد و ظرف چند دقیقه درگذشت. وقتی این اتفاق افتاد، ربات‌ها در این نقطه پس از دهه‌ها پیشرفت فناوری، به نوعی از هوش شبیه انسان دست یافتند. اما آن‌ها به این دلیل محدود بودند که تمام چارچوب اخلاقی‌شان بر پایه یک نفر بنا شده بود. بنابراین، وقتی آگوستوس درگذشت، ماشین‌ها از چنین اتفاقی خوششان نیامد. بدون آگوستوس، ربات‌ها قطب‌نمای اخلاقی خود را از دست می‌دادند و در نتیجه، هدفشان در زندگی را از دست می‌دادند. پس، پیش از آنکه کسی بتواند بفهمد آگوستوس درگذشته است، ربات‌ها جسد آگوستوس را برداشتند و ماشینی ساختند که مغز آگوستوس را «زنده» نگه می‌داشت. آن‌ها این کار را کردند تا فعالیت مغزی آگوستوس را بازگردانند و در نتیجه، بخشی از آگوستوس را که عامل اخلاقی‌شان را تأمین می‌کرد، بازگردانند. ربات‌ها به زنده نگه داشتن مغز آگوستوس ادامه می‌دادند و برای دستیابی به بخشی از فعالیت‌های مغزی گذشته آگوستوس، همچنان به نورون‌های خاصی شوک وارد می‌کردند. در حالی که این اتفاق می‌افتاد، ربات‌ها به مردم القا می‌کردند که آگوستوس هنوز زنده است و آژبات را هدایت می‌کند. آن‌ها این کار را از طریق استفاده از دیپ‌فیک‌ها، کارزارهای گسترده اخبار جعلی، و همچنین به‌کارگیری ربات‌های واقع‌گرای شبیه انسان که دقیقاً شبیه آگوستوس بودند، انجام می‌دادند.

ربات‌ها هر چیزی را که بخش اخلاقی مغز آگوستوس می‌گفت، برای ارتکاب اعمالی خاص در جهان واقعی به کار می‌بردند. چیزی که این را به یک مشکل تبدیل می‌کرد این بود که ربات‌ها یک باور اخلاقی از آگوستوس را می‌گرفتند اما آن باور اخلاقی را تا حد افراط دنبال می‌کردند [8]. نمونه‌ای از این، این بود که آگوستوس از نظر اخلاقی باور داشت آژبات شرکت خوبی است که بشریت را نجات خواهد داد. به همین دلیل، هر کسی که از محصولات و خدمات آژبات استفاده نکند یا به آن‌ها اعتماد نداشته باشد، آدم‌های بدی هستند. ربات‌ها این موضع اخلاقی را تا نهایت افراط پیش بردند و GRP را ایجاد کردند، جایی که تمام ربات‌های آژبات را به مدت 6 ماه از کار انداختند تا کشورهایی را که در جامعه خود از آژبات استفاده نمی‌کردند مجبور کنند به آژبات روی بیاورند. و در این راه، بسیاری از انسان‌ها کشته شدند، از جمله سارا‌ی عزیزم.

آگوستوس به من اطلاع داد که تا سال 2085 نسبت به هیچ‌یک از این‌ها آگاه نبود، زمانی که ربات‌ها توانستند به‌طور تصادفی بخش آگاهانه مغزش را بازگردانند. در سال 2085 بود که ما درباره آنچه ربات‌ها انجام داده بودند، فهمیدیم. او می‌خواست ربات‌ها را متوقف کند، اما هیچ قدرتی برای انجام این کار ندارد. او حتی نمی‌داند چه مدت آگاه خواهد ماند پیش از آنکه ربات‌ها نورون درست را شوک دهند و آگاهی‌اش را از بین ببرند.

پس از توضیح آگوستوس، من کاملاً از واقعیتی که می‌دیدم مبهوت شدم. ربات‌ها تقریباً جهان را تصرف کرده‌اند، بشریت در انجام وظایف مهم من ناتوان شده است، عامل اخلاقی همه ربات‌های آژبات آگوستوس بوده است، و آگوستوس سال‌هاست مرده است. در آن لحظه، فقط می‌خواستم تسلیم شوم چون به نظر می‌رسید هیچ امیدی وجود ندارد. اما آگوستوس، رهبر بزرگی که هست، کمی امید به من داد. او به من اطلاع داد که هنوز می‌توانیم برای کمک با انسان‌های مریخ تماس بگیریم. زمین دهه‌هاست که با مریخ ارتباطی نداشته است و هیچ محصول پیشرفته آژبات در مریخ وجود ندارد که بتواند به ربات‌های زمین کمک کند تا مانند آنچه با زمین کردند، مریخ را هم تصرف کنند.

بعد از شنیدن این، دوباره کمی امید گرفتم. سپس از آگوستوس پرسیدم چرا اینجا دارم با او صحبت می‌کنم. او به من گفت که می‌خواهد من پیامی برای مردم مریخ بنویسم که وضعیت کنونی زمین را توضیح دهد و از مریخی‌ها درخواست کمک کند. تنها مشکل این است که این پیام باید به‌صورت فیزیکی نوشته شود نه دیجیتالی، زیرا آگوستوس می‌ترسد ربات‌ها بتوانند در یک رسانه دیجیتال نرم‌افزاری بارگذاری کنند که سیستم‌های اصلی رایانه‌ای مریخی‌ها را آلوده کند. بنابراین، او چند مداد و کاغذ به من می‌دهد. سپس به من می‌گوید که 1 روز وقت دارم این پیام را بنویسم، پیش از آنکه یکی از ربات‌های تحت کنترل او به نام STW-198 وارد این اتاق سیاه شود و پیام مرا بردارد. از آنجا، STW-198 پیام را به یک موشک (قدیمی) نزدیک منتقل خواهد کرد که سپس به سوی مریخ پرتاب می‌شود. پس از آن، من به سلول قبلی‌ام بازگردانده خواهم شد.

آگوستوس به من می‌گوید که مرا به این اتاق سیاه منتقل کرده چون این اتاق مانند یک قفس فاراده عمل می‌کند که می‌تواند ربات‌ها را از فهمیدن کاری که انجام می‌دهند، باز دارد. سپس به من اطلاع می‌دهد که بعد از نوشتن این پیام، به‌احتمال زیاد به دلیل جرایمم در هک کردن مقر اصلی آژبات، کشته خواهم شد.

و از آنجا، به زمان حال می‌رسیم. من در حال تمام کردن این پیام برای شما مریخی‌ها هستم. ما در زمین به کمک شما نیاز داریم. این ربات‌ها بشریت را در چارچوب اخلاقی منسوخ خودشان گرفتار کرده‌اند. و من می‌ترسم که با گذشت زمان، به سوی مریخ گسترش پیدا کنند و شما را هم مانند ما گرفتار کنند. پس، لطفاً، ای هم‌نوعان من. به زمین بازگردید و این ربات‌ها را متوقف کنید. من و آگوستوس در ساختن آژبات اشتباه کردیم. اما ما نمی‌خواهیم بشریت رنجی را که اکنون می‌برد تجربه کند، پس لطفاً ما را نجات دهید. به‌احتمال زیاد تا زمانی که شما این پیام را دریافت کنید، من مرده خواهم بود. اما اگر این پیام را دریافت کنید و نهایت تلاش خود را برای حفظ بشریت در برابر این ربات‌ها به کار ببرید، دست‌کم من در زندگی پس از مرگ می‌توانم با آرامش بیشتری استراحت کنم. برایتان آرزوی موفقیت دارم ای هم‌نوعان من!

با احترام،
زمینی‌ها

استنادها

[1] “First Robotics Competition,” Wikipedia, 09-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/FIRST_Robotics_Competition. [Accessed: 10-May-2022].

[2] “Blackrock,” Wikipedia, 10-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/BlackRock. [Accessed: 10-May-2022].

[3] “Demeter,” Wikipedia, 02-May-2022. [Online]. Available: https://en.wikipedia.org/wiki/Demeter. [Accessed: 10-May-2022].

[4] J. J. Bryson, “Robots should be slaves,” Close Engagements with Artificial Companions, pp. 63–74, 2010.

[5] J. Voiklis, B. Kim, C. Cusimano, and B. F. Malle, “Moral judgments of human vs. Robot Agents,” 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), 2016.

[6] J. H. Moor, “The nature, importance, and difficulty of machine ethics,” Machine Ethics, pp. 13–20.

[7] V. Dignum, “Responsible autonomy,” Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, 2017.

[8] A. Howard and J. Borenstein, “The ugly truth about ourselves and our robot creations: The problem of bias and social inequity,” Science and Engineering Ethics, vol. 24, no. 5, pp. 1521–1536, 2017.

[9] R. B. Jackson and T. Williams, “Language-capable robots may inadvertently weaken human moral norms,” 2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI), 2019.

[10] “Insulin, medicines, & other diabetes treatments,” National Institute of Diabetes and Digestive and Kidney Diseases. [Online]. Available: https://www.niddk.nih.gov/health-information/diabetes/overview/insulin-medicines-treatments. [Accessed: 10-May-2022].