هوش مصنوعی اشتباه نمی‌کند، برای همین باید از آن ترسید

ایمی وب، بیزنس اینسایدر — وقتی دستورالعملی مبتنی بر ارزش‌های انسان‌گرایانه برای غول‌های بزرگ فناوری در کار نباشد، تجربه‌ها و آرمان‌های شخصی‌اند که تصمیم‌گیری‌ها را پیش می‌برند. وقتی ماجرا به هوش مصنوعی برسد، این مسئله بسیار خطرناک می‌شود چون دانشجویان، استادان، محققان، کارکنان و مدیران، هر روز، میلیون‌ها تصمیم می‌گیرند: از تصمیم‌های به‌ظاهر بی‌اهمیت (از کدام پایگاه‌داده استفاده کنند) تا تصمیم‌های بنیادین (اگر یک خودروی هوشمند مجبور به تصادف باشد، باید به سمت کدام قربانی برود؟).

شاید مغز انسان الهام‌بخش هوش مصنوعی بوده باشد، اما تصمیم‌گیری و انتخاب انسان‌ها و هوش مصنوعی با هم فرق دارد. دنیل کانمن، استاد دانشگاه پرینستون، و آموس تورسکی، استاد دانشگاه عبری اورشلیم، که سال‌ها برای مطالعۀ مغز انسان و نحوۀ تصمیم‌گیری ما وقت گذاشته‌اند، در نهایت کشف کردند که ما دو سیستم فکری داریم: یکی از منطق برای تحلیل مسأله‌ها استفاده می‌کند، و دیگری که خودکار و سریع است و تقریباً برای ما نامحسوس. کانمن این سیستم دوگانه را در کتاب تفکر، سریع و آهسته^۱ که جایزه‌های متعددی بُرده است شرح می‌دهد. مسائل دشواری وجود دارد که نیازمند توجه شما و بالتبع حجم زیادی از انرژی ذهنی‌تان هستند. به همین دلیل است که اکثر افراد نمی‌توانند در حین راه‌رفتن مسائل طولانی محاسباتی را حل کنند چون حتی کاری مثلِ راه‌رفتن هم به آن بخش انرژی‌بَر مغز نیاز دارد. اکثر اوقات، سیستم دیگر زمام امور را در دست دارد. ذهن سریع و شهودی ما در طول روز به‌طور خودکار هزاران تصمیم می‌گیرد، و گرچه کمتر انرژی مصرف می‌کند اما آکنده از سوگیری‌های شناختی است که بر هیجانات، باورها و افکار ما اثر می‌گذارند.

به‌خاطر قسمت سریع مغزمان است که اشتباه می‌کنیم. در خوردن یا آشامیدن زیاده‌روی می‌کنیم یا رابطۀ جنسی محافظت‌نشده داریم. همان قسمت مغز است که زمینۀ کلیشه‌سازی را فراهم می‌کند. ما بر اساس داده‌هایی بسیار کم دربارۀ افراد دیگر قضاوت می‌کنیم بی‌آنکه آگاهانه از این کار خبردار شویم. یا آن افراد به چشم ما نمی‌آیند. قسمت سریع مغز موجب می‌شود مستعد آن پدیده‌ای باشیم که اسمش را «پارادوکس اکنون» گذاشته‌ام: به طور خودکار فرض می‌کنیم که شرایط کنونی‌مان تغییر نخواهد کرد، یعنی اصلاً محال است که تغییر کند، حتی اگر با نشانه‌هایی مواجه باشیم که از چیزی نو یا متفاوت حکایت می‌کنند. شاید فکر کنیم که کنترل کاملی بر تصمیم‌گیری‌‌مان داریم، اما بخشی از ما مُدام در حالت پرواز خودکار است.

ریاضی‌دانان می‌گویند به‌خاطر پیچیدگی سیستم‌ها و سیالیتِ همیشگیِ آینده (که این سیالیت تا سطح مولکولی نیز ادامه دارد)، محال است بتوانیم «تصمیم بی‌نقص» بگیریم. محال است بتوانیم تک‌تک برون‌دادهای ممکن را پیش‌بینی کنیم، و چون تعداد متغیرها مجهول است، به‌هیچ‌وجه نمی‌توان مدلی ساخت که همۀ پاسخ‌های ممکن را سبک‌سنگین کند. چند دهۀ پیش، وقتی مرزهای هوش مصنوعی در حد شکست‌دادن آدم‌ها در بازی چکرز بود، متغیرهای تصمیم‌گیریْ روشن و واضح بودند. امروزه که از هوش مصنوعی می‌خواهیم دربارۀ یک تشخیص پزشکی نظر بدهد یا سقوط بعدی بازار مالی را پیش‌بینی کند، پای داده‌ها و تصمیم‌هایی در میان است که میلیون‌ها برابر پیچیده‌ترند. لذا سیستم‌هایمان را چنان ساخته‌ایم که بهینه‌سازی کنند. بهینه‌سازی هم به تلویح از پیش‌بینی‌ناپذیری می‌گوید: گرفتن تصمیم‌هایی که از تفکر انسانی خود ما فاصله دارد.

پارسال که نرم‌افزار آلفاگو زیرو (متعلق به شرکت دیپ‌مایند) استراتژی انسانی را کنار گذاشت و استراتژی خودش را ابداع کرد، معنی‌اش این بود که دیگر میان بدیل‌های از-پیش-موجود انتخاب نمی‌کرد، بلکه عامدانه تصمیم گرفت که چیزی کاملاً متفاوت را بیازماید. هدف محققان هوش مصنوعی همین الگوی فکری دوم است چون بنا به نظریه‌ها می‌شود گفت همین است که می‌تواند به پیشرفت‌های عظیم بیانجامد. لذا به‌جای تمرین‌دادن هوش مصنوعی برای گرفتن تصمیم‌های کامل و بی‌نقص، تمرینش می‌دهند تا برای بُرون‌دادهای خاص بتواند بهینه‌سازی کند. ولی برای چه کسی (و چه چیزی) داریم بهینه‌سازی می‌کنیم؟ و از این گذشته، فرآیند بهینه‌سازی به‌صورت بلادرنگ چطور عمل می‌کند؟ در حقیقت پاسخ دادن به این سؤال ساده نیست. فناوری‌های «یادگیری ماشینی» و «یادگیری عمیق» رازآلودتر از سیستم‌های قدیمی دستی‌اند. علتش هم این است که این سیستم‌ها هزاران نورون شبیه‌سازی‌شده را گرد هم می‌آورند که در قالب صدها لایۀ پیچیده و متصل سامان می‌یابند. پس از فرستادن ورودی اولیه به نورون‌های لایۀ اول، محاسبه‌ای انجام شده و سیگنال جدیدی تولید می‌شود. آن سیگنال به لایۀ بعدی نورون‌ها فرستاده می‌شود و فرآیند ادامه می‌یابد تا زمانی که هدف حاصل شود. همۀ این لایه‌های به‌هم‌متصل، به سیستم‌های هوش مصنوعی امکان می‌دهند داده‌ها را در چندین و چند لایۀ انتزاع شناخته و بفهمند. مثلاً یک سیستم شناسایی تصویر شاید در لایۀ اول بفهمد که یک تصویر فلان رنگ‌ها و شکل‌های خاص را دارد، و در لایه‌های بعدی بافت و نور را تشخیص بدهد. بالاترین لایه معین خواهد کرد که غذای موجود در آن عکس، گشنیز است، نه جعفری.

آیندۀ هوش مصنوعی (و بالتبع آیندۀ بشریت) در دست فقط ۹ شرکت است که فریم‌وُرک‌ها، چیپست‌ها و شبکه‌ها را توسعه می‌دهند، پشتیبان مالی عمدۀ تحقیقات‌اند، سهم اصلی را در حق اختراع‌ها می‌برند، و در این میان داده‌کاوی روی اطلاعات ما را به شیوه‌هایی انجام می‌دهند که نه برایمان شفاف است و نه مشاهده‌پذیر. شش تای آن‌ها در ایالات متحده‌اند که اسمشان را جی-مافیا گذاشته‌ام: گوگل، مایکروسافت، آمازون، فیسبوک، آی‌بی‌ام و اپل. سه‌تا در چین هستند که اسم‌شان را بَت می‌گذارم: بایدو، علی‌بابا و تنسنت. یک مثال بزنم که وقتی این ۹ غول از داده‌های ما برای ساختن ابزارهای کاربردی دنیای واقعی با مقاصد تجاری و حکومتی استفاده می‌کنند، چه مشکلات و مسائلی پیش می‌آید. محققان در دانشکدۀ طب ایچان در نیویورک یک آزمایش «یادگیری عمیق» انجام دادند تا ببینند آیا می‌توانند یک سیستم را جوری آموزش دهند که سرطان را پیش‌بینی کند. این دانشکده که در بیمارستان ماونت سینای قرار دارد، به داده‌های ۷۰۰ هزار بیمار دسترسی پیدا کرد، و این مجموعه‌داده‌ها شامل صدها متغیر متفاوت بود. سیستم آن‌ها، به نام دیپ پیشنت، تکنیک‌های پیشرفته‌ای برای شناسایی الگوهای جدید در داده‌ها داشت که محققان کاملاً از آن‌ها سر در نمی‌آوردند، اما از قضا در یافتن بیماران در مراحل اولیۀ بسیاری بیماری‌ها از جمله سرطان کبد بسیار خوب عمل می‌کرد. این سیستم همچنین می‌توانست نشانه‌های هشدار برخی اختلال‌های روان‌پزشکی مانند شیزوفرنی را هم پیش‌بینی کند که عجیب بود. ولی حتی محققانی که این سیستم را ساخته بودند، نمی‌دانستند که سیستم‌شان چگونه تصمیم‌گیری می‌کند. محققان یک هوش مصنوعی قدرتمند ساخته بودند، هوشی که مزایایش در زمینۀ تجارت و سلامت عمومی ملموس بود، و تا به‌امروز منطق نحوۀ تصمیم‌گیری‌اش را نمی‌دانند. دیپ پیشنت پیش‌بینی‌های هوشمندانه‌ای می‌کرد بی‌آنکه تبیینی برایشان وجود داشته باشد. آیا تیم پزشکی با آرامش خاطر می‌توانست گام‌های بعدی را بردارد، مثلاً داروهای بیمار را متوقف کند یا تغییر دهد، به پرتودرمانی یا شیمی‌درمانی روی بیاورد، یا دست به کار جراحی شود؟

این ناتوانی در مشاهدۀ نحوۀ بهینه‌سازی و تصمیم‌گیری در سیستم هوش مصنوعی را با عنوان «مسألۀ جعبۀ سیاه» می‌شناسند. درحال‌حاضر، کُدهای سیستم‌های هوش مصنوعی‌ای که آن ۹ غول می‌سازند به صورت منبع ‌باز ارائه می‌شود، ولی همگی مثل جعبه‌های سیاهی عمل می‌کنند که انحصاری شرکت‌های خاص است. آن‌ها می‌توانند فرآیند را شرح بدهند، اما اجازه‌دادن به دیگران برای مشاهدۀ آن در عمل به‌صورت بلادرنگ در پرده‌ای از ابهام است. با آن همه لایه‌ها و نورون‌های شبیه‌سازی‌شده، مهندسی معکوس‌کردن برای فهمیدن آنکه دقیقاً چه اتفاقاتی به چه ترتیبی رُخ داده‌اند ابداً ساده نیست. تیمی از محققان گوگل سعی کردند یک تکنیک جدید توسعه بدهند تا هوش مصنوعی شفاف‌تر شود. اساس کارشان این بود که یک الگوریتم شناسایی تصویر با فناوری یادگیری عمیق را برعکس اجرا کردند تا مشاهده کنند که سیستم چگونه چیزهای خاصی مانند درختان، حلزون‌ها و خوک‌ها را تشخیص می‌داد. این پروژه، با نام دیپ‌دریم، از شبکه‌ای استفاده می‌کرد که آزمایشگاه علم رایانه و هوش مصنوعی دانشگاه ام‌آی‌تی ساخته بود و الگوریتم یادگیری عمیق گوگل را برعکس اجرا می‌کرد. به‌جای تمرین دادن سیستم برای شناسایی اشیاء با استفاده از رویکرد لایه به لایه (که یاد بگیرد رُز یک رُز است و نرگس یک نرگس است)، این سیستم را تمرین دادند تا عکس‌ها را کج‌و‌معوج کرده و اشیائی بسازد که در عکس نبوده‌اند. آن تصویرهای کج‌ومعوج پی‌درپی به خورد سیستم داده شدند، و هر بار دیپ‌دریم تصویرهای غریب‌تری را کشف کرد. یعنی گوگل واقعاً از هوش مصنوعی خواسته بود که رؤیاپردازی کند. یعنی به‌جای آنکه سیستم را تمرین دهد تا اشیای موجود را تشخیص دهد، تمرینش دادند تا همان کاری را بکند که ما همه در کودکی کرده‌ایم: به ابرهای آسمان خیره می‌شویم، دنبال الگوهایی می‌گردیم تا انتزاع کنیم، و خیال می‌کنیم که چه می‌بینیم. با این تفاوت که دیپ‌دریم به استرس یا هیجان انسانی مقید نبود: آنچه می‌دید منظره‌هایی هیولایی بود مثل فاز روان‌گردان‌ها، ترکیبی از حیوان‌های عجیب‌غریب شناور، فراکتال‌های رنگی و ساختمان‌هایی که کج و چوله شده بودند و شکل‌های بی‌منطقی می‌ساختند.

_{هوش مصنوعی «دیپ‌دریم» هر عکسی را به شاهکاری وهم‌انگیز تبدیل می‌کند. عکس:گتی.}

وقتی که هوش مصنوعی رؤیاپردازی می‌کرد، چیزهای کاملاً جدیدی می‌ساخت که برای خود سیستم منطقی بودند اما برای ما ناشناس، از جمله حیوان‌های ترکیبی مثل یک «خوک-حلزون» و «سگ-ماهی.» رؤیاپردازی هوش مصنوعی لزوماً مایۀ دلواپسی نیست، اما نشان می‌دهد که تفاوت‌هایی گسترده میان دو امر وجود دارد: یکی معنایابی انسان‌ها از داده‌های دنیای واقعی، و دومی فهم سیستم‌هایمان از داده‌های ما وقتی که به حال خود رها شده باشند تا به دستگاه‌هایشان تکیه کنند. وقتی این تیم تحقیقاتی یافته‌های خود را منتشر کرد، جامعۀ دست‌اندرکاران هوش مصنوعی از آن به‌عنوان یک پیشرفت بزرگ در زمینۀ هوش مصنوعیِ مشاهده‌پذیر تقدیر کردند. درعین‌حال، تصاویر چنان بُهت‌آور و غریب بودند که در سراسر اینترنت پخش شدند. چند نفری هم از برنامۀ دیپ‌دریم استفاده کردند تا ابزارهایی بسازند که به هرکس امکان می‌داد برای خودش عکس‌های مدل فاز روان‌گردان‌ها را بسازد. حتی برخی از طراحان گرافیک نوآور و کارآفرین هم بودند که با دیپ‌دریم کارت‌های تبریک عجیب ولی بسیار زیبا ساختند و آن‌ها را برای فروش در Zazzle.com گذاشتند.

دیپ‌دریم دریچه‌ای بود تا ببینیم که برخی الگوریتم‌ها چگونه اطلاعات را پردازش می‌کنند. ولی نمی‌توان آن را روی همۀ سیستم‌های هوش مصنوعی پیاده کرد. نحوۀ کار سیستم‌های جدیدتر هوش مصنوعی (و اینکه چطور به تصمیم‌های خود می‌رسند) هنوز رازآلود است. در قبیلۀ هواداران هوش مصنوعی، هستند کسانی که بگویند مسئلۀ جعبۀ سیاه در کار نیست؛ ولی این سیستم‌ها تا به امروز هنوز در پرده‌ای از ابهام‌اند. آن‌ها می‌گویند که شفاف‌سازی این سیستم‌ها یعنی افشای الگوریتم‌ها و فرآیندهایی که صاحب‌امتیاز دارند. حرف‌شان منطقی است و نباید انتظار داشته باشیم که یک شرکت سهامی عام، دارایی‌های معنوی و اسرار تجاری خود را در اختیار همگان بگذارد، به‌ویژه وقتی که توجه کنیم چین در زمینۀ هوش مصنوعی چقدر تهاجمی عمل می‌کند.

اما وقتی که تبیین‌ها و توضیح‌های معناداری در کار نباشند، چطور می‌توان ثابت کرد که سوگیری در این سیستم‌ها نفوذ نکرده است؟ بدون دانستن پاسخ این سؤال هم چطور می‌شود با خیال راحت به هوش مصنوعی اعتماد کرد؟

ما خواستار شفافیت هوش مصنوعی نیستیم. ما با حیرت و تمجید به سیستم‌هایی می‌نگریم که گویا ادای انسان‌ها را درمی‌آورند اما دقیقاً هم به نتایجی نمی‌رسند که انسان‌ها می‌رسند. در گفتگوهای آخر شب تلویزیونی آن‌ها را سوژۀ خنده می‌کنیم چون یادمان می‌اندازند که دست بالا را داریم. همین‌جا دوباره از شما می‌پرسم: اگر این فاصله گرفتن‌ها از تفکر انسانی سرآغاز چیزی سراسر جدید باشند، چطور؟

آنچه می‌دانیم از این قرار است: نرم‌افزارهای کاربردی تجاری هوش مصنوعی با هدف بهینه‌سازی (نه بازجویی یا شفافیت) طراحی شده‌اند. دیپ‌دریم ساخته شد تا به مسئلۀ جعبۀ سیاه بپردازد یعنی به محققان کمک کند تا بفهمند سیستم‌های پیچیدۀ هوش مصنوعی چطور تصمیم‌گیری می‌کنند. نتایجش باید زنگ خطری حساب می‌شد که ادراک هوش مصنوعی اصلاً شبیه ما نیست. با این حال، چنان پیش می‌رویم که انگار هوش مصنوعی همیشه طبق منظور و مقصود سازندگانش عمل خواهد کرد.

نرم‌افزارهای کاربردی هوش مصنوعی که این ۹ غول می‌سازند، اکنون در حال ورود به جریان اصلی بازار هستند و قرار است کاربرپسند باشند یعنی به ما امکان دهند که سریع‌تر و کارآتر عمل کنیم. کاربران نهایی (ادارات پلیس، آژانس‌های حکومتی، کسب‌وکارهای کوچک و متوسط) یک داشبورد حاضر و آماده می‌خواهند که پاسخ‌ها را تحویلشان بدهد و ابزاری می‌خواهند که کارهای تکراری شناختی یا اداری را خودکار پیش ببرد. ما رایانه‌هایی می‌خواهیم که مسئله‌هایمان را حل کنند، و می‌خواهیم کمتر کار کنیم. همچنین می‌خواهیم پایمان کمتر گیر باشد، یعنی اگر مشکلی پیش آمد بتوانیم تقصیرش را گردن سیستم رایانه‌ای بیاندازیم. این همان «اثر بهینه‌سازی» است که پیامدهای ناخواسته‌اش هم‌اکنون نیز بر مردم عادی سراسر دنیا اثر می‌گذارد. همین‌جا دوباره می‌گویم که این نکته باید پرسشی را پیش بیاورد که مستی را از سرمان بپراند: میلیاردها تفاوت ظریف فرهنگی، دینی، سیاسی، جنسی و اخلاقیِ آدمیان چگونه بهینه‌سازی می‌شود؟ بدون دستورالعملی مبتنی بر ارزش‌های انسان‌گرایانه، وقتی هوش مصنوعی برای کسی بهینه‌سازی می‌شود که اصلاً شبیه شما نیست، چه می‌شود؟

اطلاعات کتاب‌شناختی:

Webb, Amy. The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity. Hachette UK, 2019

پی‌نوشت‌ها:
• این مطلب را ایمی وب نوشته است و در تاریخ ۲۳ فوریه ۲۰۱۹ با عنوان «An NYU professor explains why it’s so dangerous that Silicon Valley is building AI to make decisions without human values» در وب‌سایت بیزنس اینسایدر منتشر شده است. وب‌سایت ترجمان آن را در تاریخ ۱۸ آذر ۱۳۹۸ با عنوان «هوش مصنوعی اشتباه نمی‌کند، برای همین باید از آن ترسید» و ترجمۀ محمد معماریان منتشر کرده است.
•• ایمی وب (Amy webb) آینده‌پژوه، نویسنده و بنیان‌گذار مؤسسه تحقیقاتی آینده‌امروز است. وب در دانشگاه نیویورک تدریس می‌کند و آخرین کتاب او نُه غول: چطور غول‌های تکنولوژی و ماشین‌های اندیشندۀ آن‌ها ممکن است انسانیت را زیر و رو کنند؟ (The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity) نام دارد.

[۱] Thinking, Fast and Slow