image

آنچه می‌خوانید در مجلۀ شمارۀ 29 ترجمان آمده است. شما می‌توانید این مجله را به صورت تکی از فروشگاه اینترنتی ترجمان تهیه کنید.

نوشتار

هوش مصنوعی هیچ‌وقت از مخترعانش باهوش‌تر نخواهد شد

نظریۀ «انفجار هوش» بر مبنای درک نادرستی از هوش به وجود آمده است

هوش مصنوعی هیچ‌وقت از مخترعانش باهوش‌تر نخواهد شد عکس: فیلم تعالی به کارگردانی والی فیستر.

آیا روزی هوش مصنوعی خودش را از دست ما انسان‌ها آزاد می‌کند و بر ما مسلط می‌شود؟ تعداد قابل‌توجهی از دانشمندان فکر می‌کنند نباید این سوال را شوخی گرفت. فرض کنید روزی هوش مصنوعی به چنان مرحله‌ای از پیشرفت برسد که بتواند نمونه‌های ارتقایافته‌تری از خودش بسازد. یعنی دیگر برای تولید و بهبود خود نیازی به انسان‌ها نداشته باشد. بدین‌ترتیب خیلی زود به نقطه‌ای می‌رسد که هیچ انسانی یارای مقابله با آن را ندارد. بااین‌حال فرانسوآ شوله می‌گوید این سناریو هیچ‌وقت اتفاق نخواهد افتاد. چرا؟

فرانسوآ شوله

فرانسوآ شوله

مهندس نرم‌افزار و پژوهشگر هوش مصنوعی

Medium

The Implausibility of Intelligence Explosion

فرانسوآ شوله، مدیوم— سال ۱۹۶۵، آی. جِی. گود برای نخستین بار مفهوم «انفجار هوش» را در رابطه با هوش مصنوعی مطرح کرد:

ماشین فوق‌هوشمند ماشینی است که می‌تواند از تمام فعالیت‌های فکری هر انسانی، ولو بسیار مبتکر، پیشی بگیرد. ازآنجاکه طراحی ماشین‌ها یکی از این فعالیت‌های فکری است، ماشین فوق‌هوشمند می‌تواند ماشین‌های بهتری طراحی کند؛ آنگاه بی‌گمان «انفجار هوش» پیش می‌آید و هوش انسان از قافله جا می‌ماند. بدین‌ترتیب، بعد از نخستین ماشین فوق‌هوشمند، انسان دیگر نیاز نیست چیزی اختراع کند، به شرطی که ماشین به حدی مطیع باشد که به ما بگوید چگونه بر آن لگام بزنیم.

حالا پس از دهه‌ها، مفهوم «انفجار هوش» (که باعث ظهور ناگهانی «ابرهوش» و پایان تصادفیِ گونۀ انسان خواهد شد) در اجتماع اهالی هوش مصنوعی رواج یافته است. رهبران پرآوازۀ کسب‌وکار آن را خطری مهم می‌دانند، خطری به‌مراتب مهم‌تر از جنگ هسته‌ای و تغییرات اقلیمی. دانشجویان تحصیلاتِ تکمیلی رشتۀ یادگیری ماشین نیز بر این ترس و نگرانی صحه می‌گذارند. در سال ۲۰۱۵، یک نظرسنجی ایمیلی از پژوهشگران هوش مصنوعی صورت گرفت و ۲۹ درصد پاسخ‌دهندگان گفتند انفجار هوش «محتمل» یا «بسیار محتمل» است. ۲۱ درصد دیگر نیز آن را امکانی جدی دانستند.

فرض اساسی این است که، در آیندۀ نزدیک، نخستین «هوش مصنوعیِ بذرگونه» 1خلق می‌شود که توانایی‌های حل مسئله‌اش کمی از انسان‌ها فراتر است. این هوش مصنوعیِ بذرگونه سپس شروع به طراحی هوش‌های مصنوعی بهتر می‌کند و بدین‌ترتیب یک حلقۀ خودتقویت‌گریِ بازگشتی کلید می‌خورد که سرانجام از هوش انسان کاملاً پیشی می‌گیرد و در مدت کوتاهی با اختلاف از آن جلو می‌افتد. قائلان به این نظریه همچنین هوش را نوعی ابرقدرت می‌دانند که به دارندگانش قابلیت‌هایی عملاً فراطبیعی برای شکل‌دهی به محیط می‌بخشد. نمونۀ این امر را مثلاً می‌توان در فیلم علمی‌تخیلی «تعالی» (۲۰۱۴) 2دید. ابرهوش بدین‌ترتیب چیزی در حد تواناییِ مطلق و تهدیدی حیاتی برای بشریت است.

این روایتِ علمی‌تخیلی به مباحثۀ عمومی گمراه‌کننده و خطرناکی دامن می‌زند که پیرامون خطرات هوش مصنوعی و لزوم نظارت دولت بر هوش مصنوعی در جریان است. در این مطلب، استدلال می‌کنم که انفجار هوش غیرممکن است و این مفهوم ریشه در درکی عمیقاً غلط از ماهیت هوش و نیز رفتار سیستم‌های خودارتقابخش دارد. سعی می‌کنم نکات مطرح‌شده را بر پایۀ مشاهدات انضمامی دربارۀ سیستم‌های هوشمند و سیستم‌های بازگشتی استوار کنم.

استدلال‌ورزی ناقصی که ریشه در درک نادرست از هوش دارد

استدلالی که در پس انفجار هوش وجود دارد، مثل خیلی از نظریات متقدم دربارۀ هوش مصنوعی که در دهه‌های ۱۹۶۰ و ۱۹۷۰ صورت گرفت، سفسطه‌آمیز است: «هوش» را به شکلی کاملاً انتزاعی و جدا از بستر می‌داند و شواهد موجود دربارۀ سیستم‌های هوشمند و سیستم‌های خودتقویت‌کنندۀ بازگشتی را نادیده می‌گیرد. لزومی ندارد این‌گونه باشد. ما بالاخره در سیاره‌ای زندگی می‌کنیم که سیستم‌های هوشمند (ازجمله خودمان) و سیستم‌های خودتقویت‌کننده در آن فراوان است، پس می‌توانیم صرفاً این سیستم‌ها را مشاهده کنیم و پاسخ پرسش مدنظر را از آن‌ها بیاموزیم، نه اینکه استدلال‌های دوری و بی‌سند‌ومدرک سر هم کنیم.

برای صحبت دربارۀ هوش و ویژگی‌های خودتقویت‌گریِ احتمالی‌اش، باید ابتدا زمینه و بستر لازم را معرفی کنیم. وقتی می‌گوییم هوش، منظورمان چیست؟ تعریف دقیقِ هوش کار سختی است. روایت انفجار هوش چنین تعریفی از هوش دارد: توانایی عمومیِ حل‌مسئله که عامل‌های هوشمند منفرد به نمایش می‌گذارند، چه مغز انسانیِ امروز باشد و چه مغز الکترونیکیِ آینده. این تصویر کامل نیست، پس بیایید این تعریف را نقطۀ شروع در نظر بگیریم و بسط و تفصیلش دهیم.

هوشْ موقعیت‌مبناست

نخستین ایراد نظریۀ انفجار هوش این است که نمی‌فهمد هوش لزوماً جزئی از یک سیستم کلی‌تر است؛ این نظریه هوش را «مغز در خمره» 3 می‌داند که می‌توان آن را به‌دلخواه هوشمند کرد، مستقل از شرایط و موقعیتش. مغز صرفاً یک تکه بافت زیستی است و هیچ چیز هوشمندی در ذات آن وجود ندارد. علاوه بر مغز، جسم و حواس پنجگانه (امکانات حسی‌حرکتی) نیز اجزای بنیادین ذهن هستند. محیط جزء بنیادینی از ذهن است. فرهنگ انسانی جزء بنیادینی از ذهن است. درنهایت تمام افکار از این چیزها حاصل می‌شود. نمی‌توان هوش را از بستری که خود را در آن بروز می‌دهد گسست و جدا کرد.

به‌خصوص چیزی به نام هوش «عمومی» وجود ندارد. در ساحت انتزاع، این را به‌یقین از طریق قضیۀ «از ناهار مجانی خبری نیست» 4 می‌دانیم. بر اساس این قضیه، هیچ الگوریتمِ حل‌مسئله‌ای نمی‌تواند در تمام مسائل ممکنْ بهتر از شانس تصادفی عمل کند. اگر هوشْ یک الگوریتم حل‌مسئله است، پس فقط می‌توان آن را در رابطه با مسئلۀ خاصی درک کرد. به بیان انضمامی‌تر، این را می‌توان آنجایی به‌صورت تجربی مشاهده کرد که تمام سیستم‌های هوشمندی که می‌شناسیم شدیداً تخصصی‌اند. هوشِ هوش‌های مصنوعی که امروزه می‌سازیم مربوط به کارهایی به‌شدت مشخص و فوق‌العاده تخصصی است، مثلاً بازی گُو 5 یا دسته‌بندی تصاویر به ۱۰ هزار دستۀ تعریف‌شده. هوش اختاپوس در مسئلۀ اختاپوس‌بودن تخصصی شده است. هوش انسان در مسئلۀ انسان‌بودن تخصصی شده است.

اگر یک مغز نوسازِ انسانی را در بدن اختاپوس بگذاریم و اجازه دهیم کف اقیانوس زندگی کند چه می‌شود؟ آیا اصلاً یاد می‌گیرد از جسم هشت‌پایش استفاده کند؟ آیا بیشتر از چند روز دوام می‌آورد و زنده می‌ماند؟ این آزمایش را نمی‌توانیم انجام بدهیم، اما می‌دانیم که رشدِ شناختیِ انسان‌ها و حیوانات بر اساس سازوکارهایی نهادینه و ذاتی است. نوزاد انسان با مجموعۀ پیشرفته‌ای از رفتارهای بازتابی و چهارچوب‌های ذاتی برای یادگیری به دنیا می‌آید که رشد اولیۀ حسی‌حرکتی را رقم می‌زنند و با ساختار فضای حسی‌حرکتی انسان در هم تنیده شده‌اند. مغزْ تعاریف نهادینه‌ای دارد از داشتنِ جسمی با دو دستِ گیرنده، یک دهانِ مکنده، دو چشمِ قرارگرفته بر سری متحرک که می‌توان از آن‌ها برای پیگیری بصری اشیا (بازتاب دهلیزی-چشمی) استفاده کرد. این تعاریف پیشینی لازم‌اند تا هوش انسان کم‌کم کنترل جسم انسان را در اختیار بگیرد. افرادی همچون چامسکی حتی استدلال قانع‌کننده‌ای عرضه کرده‌اند که ویژگی‌های شناختیِ بسیار پیشرفتۀ انسان، همچون توانایی اکتساب زبان، ذاتی‌اند.

به همین ترتیب می‌توان تصور کرد که اختاپوس هم مجموعۀ خاصی از بدویات شناختیِ نهادینه دارد که با آن‌ها یاد می‌گیرد چگونه از بدن اختاپوسی‌اش استفاده کند و در محیط اختاپوسی‌اش زنده بماند. مغز انسان به‌شدت برای شرایط انسانی تخصصی شده است (تخصصی ذاتی که احتمالاً تا رفتارهای اجتماعی، زبان و قضاوت عقلانی نیز امتداد می‌یابد) و مغز یک اختاپوس هم احتمالاً چنین تخصص بالایی را در رفتارهای اختاپوسی دارد. مغز نوزاد انسان اگر به‌درستی در جسم اختاپوس نصب شود به احتمال قریب به یقین نمی‌تواند کنترل فضای حسی‌حرکتی خاصِ آن را به دست بیاورد و عن‌قریب از بین می‌رود. پس آقای مغز برتر، انگار چندان هم زرنگ نیستی.

اگر یک انسان را (با مغز و جسم) در محیطی قرار دهیم که در آن فرهنگ انسانی، به گونه‌ای که می‌شناسیم، وجود ندارد چه می‌شود؟ آیا موگلی 6، تولۀ انسانی که در دستۀ گرگ‌ها بزرگ شده، درنهایت از خواهروبرادرهای گرگی‌اش باهوش‌تر می‌شود؟ مثل ما باهوش می‌شود؟ اگر اینشتینِ نوزاد جای موگلیِ نوزاد بود، آیا سرانجام آن‌قدری باسواد می‌شد که آن نظریات عظیم دربارۀ جهان هستی را مطرح کند؟ دراین‌باره شواهد تجربی نسبتاً کمی وجود دارد اما، بر اساس آنچه می‌دانیم، بچه‌هایی که بیرون از محیط پرورندۀ فرهنگ انسانی بار می‌آیند به هوش انسانی مجهز نمی‌شوند. کودکان وحشی که از سال‌های نخست زندگی در طبیعت بزرگ شده‌اند عملاً حیوان می‌شوند و دیگر نمی‌توانند با بازگشت به تمدن، رفتارهای انسانی یا زبان را اکتساب کنند. سَتردِی مثیان، که در آفریقای جنوبی به دست میمون‌ها پرورش یافت و هنگام پیداشدن پنج‌ساله بود، تا بزرگ‌سالی مثل میمون رفتار می‌کرد: چهاردست‌وپا می‌پرید و راه می‌رفت، قابلیت زبان‌آموزی نداشت و از خوردن غذای پخته‌شده امتناع می‌کرد. کودکان وحشی که دست‌کم طی بخشی از سرنوشت‌سازترین سال‌های عمر با انسان‌ها ارتباط دارند از نظر تعلیم مجدد شانسشان کمی بیشتر است، هرچند آن‌ها هم به‌ندرت به انسان‌هایی با کارکردهای معمول و کامل تبدیل می‌شوند.

اگر هوش پیوند بنیادینی با شرایط حسی‌حرکتی خاص، محیط بخصوص، تربیت خاص و مسئلۀ خاصی برای حل‌کردن دارد، پس نمی‌توان هوشِ یک عامل را صرفاً با تنظیم مغزش به‌دلخواه افزایش داد، همان‌طور که نمی‌توان بازده خط تولید کارخانه را با تسریع تسمۀ نقاله افزایش داد. توسعۀ هوش فقط می‌تواند حاصل تکامل هم‌زمانِ ذهن، شرایط حسی‌حرکتی و محیط باشد. اگر چرخ‌دنده‌های مغز ما عامل تعیین‌کننده در توانایی حل‌مسئله‌مان بود، پس آن انسان‌های نادری که ضریب هوشی‌شان بسیار فراتر از دامنۀ معمول هوش انسان است بسیار فراتر از دامنۀ زندگی عادی انسان‌ها می‌زیستند، مشکلاتی را که قبلاً حل‌نشدنی پنداشته می‌شد حل می‌کردند و دنیا را می‌گرفتند، همان نگرانی‌ای که بعضی‌ها از بابت هوش‌های مصنوعیِ باهوش‌تر از انسان دارند. درعمل، نوابغی که توانایی‌های شناختی استثنایی دارند معمولاً زندگی‌های بسیار پیش‌پاافتاده‌ای دارند و تعداد خیلی کمی از آن‌ها به دستاورد قابل‌توجهی می‌رسد. لوئیس ترمَن در پژوهش مشهورش تحت عنوان «مطالعات ژنتیکیِ نبوغ» نشان می‌دهد که بیشترِ سوژه‌های دارای استعداد استثنایی دنبال «شغل‌های محقری همچون پلیس، دریانوردی، تایپیست و کارمند بایگانی» می‌روند. در حال حاضر ضریب هوشی حدود ۷ میلیون نفر از ۱۵۰ بیشتر است (یعنی توانایی شناختی‌شان از ۹۹.۹ درصد آدم‌ها فراتر است) و این افراد معمولاً کسانی نیستند که در اخبار چیزی از آن‌ها بشنویم. از میان افرادی که واقعاً کوشیده‌اند دنیا را بگیرند، علی‌الظاهر هیچ‌کدامشان هوش استثنایی نداشته‌اند؛ می‌گویند هیتلر در دبیرستان ترک تحصیل کرد و دو بار از ورود به آکادمی هنر وین بازماند.

وقتی کسی در زمینۀ حل مسائل سخت به دستاورد بزرگی می‌رسد، شرایط و شخصیت و تحصیلات و هوش دست در دست هم داده‌اند و ضمناً این دستاوردها بر پایۀ بهره‌گیری از کار پیشینیان است. موفقیت (هوش بروزیافته) یعنی مواجهۀ توانایی کافی با مسئله‌ای بزرگ در زمان مناسب. بیشتر این مسئله‌حل‌کن‌های مثال‌زدنی آن‌قدرها هم باهوش نبوده‌اند؛ مهارت‌هایشان ظاهراً در حوزۀ مشخصی تخصصی شده و معمولاً خارج از حوزۀ تخصصی‌شان توانایی خاصی نشان نمی‌دهند. برخی به دستاوردهای بیشتری می‌رسند، چون بیشتر اهل همکاری بوده‌اند یا شهامت یا اخلاق کاری یا خلاقیت بیشتری داشته‌اند. بعضی‌ها صرفاً در بستر مناسبی زیسته‌اند، یا در زمان مناسب گفت‌وگوی مناسبی کرده‌اند. هوش اساساً موقعیت‌مبناست.

محیط ما محدودیت‌های سفت‌وسختی بر هوش فردی‌مان می‌گذارد

هوشْ نوعی ابرقدرت نیست؛ هوشِ استثنایی فی‌نفسه قدرتی استثنایی برای تسلط بر شرایط و محیط به شما نمی‌دهد. منتها واقعیت مستند این است که توانایی شناختیِ خام (بر پایۀ ضریب هوشی که البته می‌توان در آن هم ان‌قلت آورد) در قسمت‌هایی از طیف که به میانگین نزدیک است با دستاورد اجتماعی همبستگی دارد. این امر اولین بار در پژوهش ترمن مشاهده شد و بعدها دیگران هم بر آن صحه نهادند. مثلاً فراتحلیلی گسترده از استرِنز در سال ۲۰۰۶ همبستگی مشهودِ هرچند کم‌وبیش ضعیفی را میان ضریب هوشی و موفقیت اجتماعی‌اقتصادی نشان داد. پس به‌لحاظ آماری احتمال اینکه فردی با ضریب هوشی ۱۳۰ با موفقیت از پسِ مشکلات زندگی برآید خیلی بیشتر از فردی با ضریب هوشی ۷۰ است (هرچند این هم اصلاً در ساحت فردی قطعیت ندارد)، اما نکته اینجاست: این همبستگی از یک جایی به بعد دیگر وجود ندارد. از هیچ شاهدی چنین برنمی‌آید که، در یک حوزۀ مشخص، احتمال تأثیرگذاری فردی با ضریب هوشی ۱۷۰ بیشتر از فردی با ضریب هوشی ۱۳۰ باشد. ازقضا بسیاری از تأثیرگذارترین دانشمندان ضریب هوشی بین ۱۲۰ تا ۱۴۰ داشته‌اند (فاینمن، ۱۲۶، جیمز واتسون از کاشفان دی‌ان‌ای، ۱۲۴)، یعنی دقیقاً در همان دامنه‌ای که تمام دانشمندان معمولی هستند. از طرف دیگر، امروزه حدود ۵۰ هزار نفر دارای ضریب هوشی شگفت‌انگیز ۱۷۰ یا بالاتر هستند، اما چند نفرشان می‌توانند مسئله‌ای را حل کنند که اهمیتش یک‌دهم پروفسور واتسون باشد؟

چرا کارآیی عملیِ تواناییِ شناختیِ خام از یک حدی به بعد متوقف می‌شود؟ این امر نشان از واقعیتی دارد که خودمان شاید ته دل بدانیم: اینکه دستاوردهای بزرگ نیازمند تواناییِ شناختی کافی است، اما مخل کنونیِ حل مسئله، مخل کنونیِ هوش بروزیافته، خودِ توانایی شناختیِ پنهان نیست. مخلِ آن شرایط ماست. محیط ما، که نحوۀ بروز هوش را رقم می‌زند، محدودیت سفت‌وسختی قرار می‌دهد بر اینکه از مغزمان چه کارها برمی‌آید، بر اینکه چقدر هوشمند می‌شویم، بر اینکه چقدر می‌توانیم از این هوش بهره بگیریم، بر اینکه چه مسائلی را می‌توانیم حل کنیم. تمام شواهد حاکی از آن است که محیط کنونی ما، مثل تمام محیط‌های قبلی طی ۲۰۰هزار سال تاریخ و پیشاتاریخِ بشر، مانع از آن می‌شود که افراد بسیار هوشمند قابلیت شناختیِ خود را کامل بپرورند و به کار گیرند. ده هزار سال پیش، فردِ قابل در محیطی با پیچیدگی کم رشد می‌کرد، احتمالاً یک زبان را با کمتر از ۵ هزار کلمه صحبت می‌کرد، هرگز خواندن و نوشتن نمی‌آموخت، در معرض دانش محدود و چالش‌های شناختیِ خیلی کمی قرار می‌گرفت. موقعیت بیشتر انسان‌های امروزی کمی بهتر شده، اما هیچ نشانی نیست که فرصت‌های محیطیِ ما از قابلیت شناختی‌مان پیشی گرفته باشد.

من بیش از آنکه به وزن و پیچیدگی مغز اینشتین علاقه داشته باشم، به این نکته علاقه‌مندم که، قریب به یقین، افرادی با همان میزان استعداد در مزارع پنبه و بهره‌کش‌خانه‌ها زندگی کرده و مرده‌اند. استیون جِی گولد

انسان باهوشی که در جنگل رشد کند میمونی بی‌پشم‌وپیله بیشتر نیست. به همین شکل، هوش مصنوعی‌ای که مغز فرابشری داشته باشد، اگر در دنیای مدرنِ ما در جسم انسان قرار بگیرد، احتمالاً توانایی‌های فراتر از یک آدم باهوش امروزی به دست نیاورد. اگر می‌توانست بیاورد، آن‌وقت انسان‌هایی که ضریب هوشی استثنایی دارند هم تا حالا دستاوردهای شخصی استثنایی‌ای از خود نشان داده بودند؛ بر محیط خود تسلطی استثنایی می‌یافتند و مسائل مهم و برجسته‌ای را حل می‌کردند، اتفاقی که در عمل نیفتاده است.

بیشتر هوشِ ما در مغزمان نیست؛ بلکه مانند تمدنمان موجودیت بیرونی یافته است

مسئله فقط این نیست که بدن و حواس پنجگانه و محیطمان تعیین کنند مغزمان چقدر می‌تواند باهوش شود. نکتۀ بسیار مهم این است که مغز زیستی ما فقط جزء کوچکی از کلِ هوشمان است. پروتزهای شناختی دورتادور ما را گرفته‌اند، وارد مغزمان می‌شوند و قابلیت‌های حل مسئله‌اش را بسط می‌دهند. گوشی‌های هوشمند، لپ‌تاپ‌ها، جست‌وجوی گوگل، ابزارهای شناختی‌ای که در مدرسه به ما داده‌اند، کتاب‌ها، انسان‌های دیگر، علائم ریاضی، برنامه‌نویسی. بنیادین‌ترین پروتز شناختی طبیعتاً خودِ زبان است که همچون سیستم‌عاملی برای شناخت عمل می‌کند و بدون آن نمی‌توان چندان اندیشید. این چیزها صرفاً دانش نیستند که به مغز خورانده شوند و به کارش بیایند، بلکه به معنای واقعیِ کلمه فرایندهای شناختیِ بیرونی هستند، شیوه‌هایی غیرزیستی برای در‌هم‌تنیدنِ اندیشه و الگوریتم‌های حل مسئله در زمان‌ها، فضاها و مهم‌تر از همه افراد مختلف. بیشتر توانایی‌های شناختیِ ما در این پروتزهای شناختی است، نه مغزمان.

ما ابزارهای خودمان هستیم. یک انسان منفرد به‌تنهایی عملاً بی‌فایده است؛ در این مورد هم آدم‌ها چیزی جز میمون دوپا نیستند. انباشت جمعی دانش و سیستم‌های بیرونی در طول هزاران سال (یا به عبارتی «تمدن») است که ما را از ذات حیوانی‌مان فراتر می‌برد. وقتی دانشمندی به یک دستاورد بزرگ می‌رسد، فرایندهای فکری‌ای که در مغزش می‌گذرد فقط بخش کوچکی از معادله است: پژوهشگر بخش‌های عظیمی از فرایند حل مسئله را به کامپیوترها، دیگر پژوهشگران، یادداشت‌ها، علائم ریاضیاتی و مواردی از این دست می‌سپارد. اگر هم موفق می‌شود دلیلش فقط این است که بر شانۀ غول‌ها ایستاده است و کارِ خوش چیزی نیست مگر آخرین زیرمجموعه از فرایند حل مسئله که گستره‌ای چندین‌دهه‌ای و هزاران‌نفره دارد. نقشِ کارِ شناختیِ خودِ آن فرد در کل فرایند شاید چندان پررنگ‌تر از نقش یک ترانزیستور در تراشه نباشد.

یک مغز منفرد نمی‌تواند ارتقای بازگشتیِ هوش را اجرا کند

شواهد زیادی دال بر این واقعیت ساده وجود دارد: مغز انسان، به‌تنهایی، نمی‌تواند هوشی فراتر از خود بسازد. این گزاره‌ای کاملاً تجربی است: از میلیاردها مغزی که تا کنون آمده و رفته‌اند هیچ‌کدامشان تاکنون چنین کاری نکرده است. مشخصاً هوش یک انسان در مدت‌زمان یک عمر نمی‌‌تواند هوش طراحی کند، وگرنه طی میلیاردها تلاش بالاخره دست‌کم یک بار چنین اتفاقی می‌افتاد.

منتها این میلیاردها مغز، که طی هزاران سال دانش اندوخته و فرایندهای هوش بیرونی را پرورش داده‌اند، سیستمی (به نام تمدن) اجرا می‌کنند که شاید سرانجام به مغزهای مصنوعی‌ای با هوشِ بیشتر از یک انسانِ واحد بینجامد. کلِ تمدن است که هوش مصنوعیِ فرابشری خواهد ساخت، نه شما، نه من، نه هیچ فرد دیگری. این فرایند دربرگیرندۀ انسان‌های بی‌شمار است و مقیاس‌های زمانی‌ای که درکشان در ذهن ما نمی‌گنجد، فرایندی است که بیشتر به هوشِ دارای موجودیت بیرونی (کتاب‌ها، کامپیوترها، ریاضیات، علوم، اینترنت) مربوط می‌شود تا هوش زیستی. ما در ساحت فردی صرفاً بُردارهای تمدن هستیم، یعنی از کارهای پیشین بهره می‌گیریم و یافته‌هایمان را برای افراد بعدی به جا می‌گذاریم. ترانزیستورهایی موقت هستیم که الگوریتم حل مسئلۀ تمدن بر آن اجرا می‌شود.

آیا هوش‌های مصنوعی فرابشریِ آینده، که به‌صورت جمعی و طی قرن‌ها ساخته می‌شوند، قابلیت ساختن هوش‌های مصنوعیِ قوی‌تر از خود را دارند؟ خیر، همان‌طور که خود ما نمی‌توانیم چنین کنیم. اگر به این سؤال پاسخ مثبت بدهیم، به هرآنچه می‌دانیم پشت کرده‌ایم. باید به یاد داشته باشیم که هیچ انسان یا موجود هوشمندی، تاکنون چیزی باهوش‌تر از خود خلق نکرده است. کاری که می‌کنیم این است که، به‌تدریج و به‌صورت جمعی، سیستم‌های بیرونیِ حل مسئله‌ای می‌سازیم که از خودمان عظیم‌ترند.

منتها هوش‌های مصنوعیِ آینده، مثل انسان‌ها و دیگر سیستم‌های هوشمندی که تاکنون تولید کرده‌ایم، به تمدن ما بهره می‌رسانند و تمدن نیز به‌نوبۀ خود از آن‌ها برای توسعۀ قابلیت‌های هوش‌های مصنوعیِ تولیدشده بهره می‌گیرد. از این لحاظ، هوش مصنوعی تفاوتی با کامپیوترها یا کتاب‌ها یا خودِ زبان ندارد: نوعی فناوری است که تمدن ما را توانمند می‌سازد. بنابراین پیدایش هوش مصنوعیِ فرابشری هم فقط و فقط به همان اندازه رویداد خاصی است که پیدایش کامپیوترها، کتاب‌ها یا زبان. تمدنْ هوش مصنوعی خواهد ساخت و مثل قبل به حرکت خود ادامه خواهد داد. تمدن سرانجام از آنچه اکنون هستیم جلوتر می‌رود، درست همان‌طور که نسبت به ده هزار سال پیش جلوتر رفته است. این فرایندی تدریجی است، نه تغییری ناگهانی.

شرط اولیۀ انفجار هوش (اینکه یک «هوش مصنوعی بذرگونه» پدید آید که قابلیت حل مسئله‌اش از انسان بیشتر باشد و بدین‌ترتیب یک حلقۀ بازگشتیِ تقویتِ هوش به‌صورت ناگهانی از آن به وجود بیاید) غلط است. توانایی‌های حل مسئلۀ ما (به‌خصوص توانایی طراحی هوش مصنوعی) همواره در حال پیشرفت است، چون جایگاه اصلی این توانایی‌ها مغزِ زیستی ما نیست، بلکه ابزارهای جمعی و بیرونی است. این حلقۀ بازگشتی مدت‌هاست در حال فعالیت است و ظهور «مغزهای بهتر» تفاوتی کیفی در آن ایجاد نمی‌کند، همان‌طور که پیدایش فناوری‌های هوش‌افزای قبلی چنین تغییری به وجود نیاورد. خودِ مغز ما هرگز عامل مخل قابل‌توجهی در فرایند طراحی هوش مصنوعی نبوده است.

در این صورت شاید سؤالی به ذهنتان برسد: آیا خودِ تمدن همان مغز خودتقویت‌کنندۀ افسارگسیخته نیست؟ آیا هوش تمدنیِ ما در حال انفجار است؟ خیر. نکتۀ بسیار مهم اینکه حلقۀ خودتقویت‌گریِ هوش، در ساحت تمدن، در گذر زمان فقط پیشرفتی خطی و سنجیدنی را در توانایی‌های حل مسئلۀ ما به وجود آورده است. انفجاری در کار نبوده است. اما چرا؟ مگر Xی که خودش را به‌صورت بازگشتی تقویت کند از لحاظ ریاضیاتی نباید به Xی با رشد تصاعدی بینجامد؟ خیر، دلیل مختصرش هم این است: هیچ سیستم واقعی پیچیده‌ای را نمی‌توان به این صورت مدل‌سازی کرد که `X(t + ۱) = X(t) * a, a > ۱`. هیچ سیستمی در خلأ وجود ندارد، نه هوش، نه تمدن بشری.

آنچه دربارۀ سیستم‌های خودتقویت‌کنندۀ بازگشتی می‌دانیم

در پاسخِ این پرسش که آیا وقتی یک سیستمِ هوشمند شروع به بهینه‌سازیِ هوش خود کند «انفجاری» رخ می‌دهد یا نه، نیازی به گمانه‌زنی نیست. چنان‌که می‌دانیم، اغلب سیستم‌ها خودتقویت‌کنندۀ بازگشتی‌اند. چنین سیستم‌هایی دورتادور ما را گرفته‌اند. پس طرز رفتار این سیستم‌ها را دقیق می‌دانیم، آن هم در انواع بسترها و انواع مقیاس‌های زمانی. خود شما یک سیستم خودتقویت‌کنندۀ بازگشتی هستید: وقتی چیزی یاد بگیرید باهوش‌تر می‌شوید و آن‌وقت می‌توانید چیزهای جدید را با بازدهی بیشتری یاد بگیرید. تمدن انسان نیز خودتقویت‌کننده و بازگشتی است، منتها در یک مقیاس زمانیِ بسیار طولانی‌تر. مکاترونیک خودتقویت‌کننده و بازگشتی است، روبات‌های تولیدکنندۀ باکیفیت‌تر می‌توانند روبات‌های تولیدکنندۀ باکیفیت‌تری بسازند. امپراتوری‌های نظامی خودتوسعه‌دهنده و بازگشتی‌اند: هرچه امپراتوری‌تان بزرگ‌تر باشد، امکانات نظامی بیشتری برای توسعۀ بیشترش دارید. سرمایه‌گذاریِ شخصی خودتقویت‌کننده و بازگشتی است: هرچه پول بیشتری داشته باشید، درآمد بیشتری هم می‌توانید داشته باشید. مثال‌ها فراوان است.

مثلاً نرم‌افزار را در نظر بگیرید. نوشتنِ نرم‌افزار طبیعتاً نرم‌افزار‌نویسی را توانمندتر می‌کند: ابتدا همگردان‌ها را برنامه‌نویسی کردیم که می‌توانستند «برنامه‌نویسی خودکار» انجام دهند، سپس با استفاده از همگردان‌ها زبان‌های جدیدی ساختیم تا پارادایم‌های برنامه‌نویسی قدرتمندتری اجرا کنند. با استفاده از این زبان‌ها ابزارهای پیشرفته‌ای ساختیم: اشکال‌یاب‌ها، محیط‌های توسعۀ یکپارچه، لینترها، پیش‌بینی‌کننده‌های اشکال. در آینده، نرم‌افزارها حتی خواهند توانست نرم‌افزار برنامه‌نویسی کنند.

نتیجۀ نهایی این فرایندِ خودتقویت‌گریِ بازگشتی چیست؟ آیا از نرم‌افزار کامپیوترتان می‌توانید دوبرابر پارسال کار بکشید؟ سال بعد می‌توانید دوبرابر بیشتر امسال از آن کار بکشید؟ می‌توان این‌طور گفت که کارآیی نرم‌افزار با سرعتی خطی و سنجیدنی در حال پیشرفت بوده، حال‌آنکه ما تلاش‌هایی تصاعدی صرف تولیدش کرده‌ایم. تعداد برنامه‌نویسانِ نرم‌افزار دهه‌هاست به‌صورت تصاعدی در حال افزایش است و تعداد ترانزیستورهایی که نرم‌افزارهایمان را بر آن‌ها اجرا می‌کنیم نیز، به تبع قانون مور، رشد انفجاری داشته است. اما کامپیوترهای ما امروزه نسبت به سال ۲۰۱۲، ۲۰۰۲ یا ۱۹۹۲ فقط کمی کارآیی بیشتری یافته‌اند.

اما چرا؟ اولاً چون کارآیی نرم‌افزار اساساً محدود به بستر کاربست آن است، درست همان‌طور که هوش هم با بستری که در آن خود را بروز می‌دهد تعریف و محدود می‌شود. نرم‌افزار فقط یک چرخ‌دنده در فرایندی بزرگ‌تر است، یعنی فرهنگ بشری. این بستر محدودیت سفت‌وسختی بر حداکثرِ کارآیی بالقوۀ نرم‌افزار می‌گذارد، درست همان‌طور که محیط ما محدودیت سفت‌وسختی بر این می‌گذارد که یک فرد چقدر می‌تواند هوشمند باشد، ولو مغزی فرابشری داشته باشد.

علاوه بر محدودیت‌های سف‌وسخت بستر، حتی اگر یک جزء سیستم بتواند خود را به‌صورت بازگشتی تقویت کند، اجزای دیگرِ سیستم سرانجام نقش عامل مخل را ایفا خواهند کرد. فرایندهای مختل‌کننده‌ای در واکنش به خودتقویتیِ بازگشتی پدید می‌آید و آن را از بین می‌برد. در حوزۀ نرم‌افزار، نمونۀ این امر مصرف منابع، خزش ویژگی و مشکلات تجربۀ کاربری است. وقتی پای سرمایه‌گذاری شخصی در میان باشد، نرخ خرج‌کردن خودتان نیز از این فرایندهای مختل‌کننده است: هرچه پول بیشتری داشته باشید، پول بیشتری خرج می‌کنید. وقتی بحث هوش باشد، ارتباط میان‌سیستمی مانع شکل‌گیری هر گونه پیشرفتی در واحدهای سازنده می‌شود: مغزی که اجزایش باهوش‌تر است دردسر بیشتری در هماهنگ‌کردن آن‌ها دارد؛ جامعه‌ای که افرادش باهوش‌ترند باید سرمایه‌گذاری بسیار بیشتری در شبکه‌سازی و ارتباطات و مسائلی از این دست بکند. شاید تصادفی نباشد که افرادِ دارای ضریب هوش بسیار بالا بیشتر به برخی امراض روانی دچار می‌شوند. این نیز شاید تصادفی نباشد که امپراتوری‌های نظامیِ گذشته پس از رسیدن به اندازۀ مشخصی فرو می‌پاشیدند. پیشرفت که تصاعدی باشد، اصطکاک هم رشد تصاعدی خواهد داشت.

مثال خاصی که شایان توجه ویژه است مسئلۀ پیشرفت علمی است، چون به‌لحاظ مفهومی ارتباط بسیار نزدیکی با خودِ هوش دارد: علم در مقام یک سیستم حل مسئله خیلی به هوش مصنوعی فرابشریِ افسارگسیخته نزدیک است. طبیعتاً علم یک سیستم خودتقویت‌کنندۀ بازگشتی است، چون پیشرفت علمی موجب ساختنِ ابزارهایی می‌شود که علم را توانمند می‌سازند، خواه سخت‌افزارهای آزمایشگاهی باشد (مثلاً فیزیک کوانتوم باعث ساخت لیزر شد که بعد از آن طیف بسیار وسیعی از آزمایش‌های جدید در حوزۀ فیزیک کوانتوم مُیسر گشت)، خواه ابزارهای مفهومی (مثلاً قضیه یا نظریۀ جدید)، خواه ابزارهای شناختی (همچون علائم ریاضی)، خواه ابزارهای نرم‌افزاری و خواه پروتکل‌های ارتباطی که امکان همکاری بهتر دانشمندان را فراهم می‌آورند (مثلاً اینترنت).

اما پیشرفت علم مدرن خطی و سنجیدنی است. در سال ۲۰۱۲ در جستاری با عنوان «تکینگی در راه نیست» 7 به‌تفصیل دربارۀ این پدیده نوشتم. ما در نیمۀ دوم قرن بیستم نسبت به نیمۀ اولش پیشرفت بیشتری در فیزیک نکردیم، می‌توان گفت میزان پیشرفت برابر بود. سرعت پیشرفت ریاضیات هم امروزه تفاوت چندانی با سال ۱۹۲۰ ندارد. علوم پزشکی دهه‌هاست تقریباً در تمام معیارها پیشرفتی خطی داشته است، آن هم با وجود تلاش‌های تصاعدی که صرف این علوم می‌شود: تعداد پژوهشگران تقریباً هر ۱۵ تا ۲۰ سال دوبرابر می‌شود و همین پژوهشگرها هم برای افزایش بازده کار خود از کامپیوترهایی استفاده می‌کنند که روزبه‌روز به‌صورت تصاعدی سریع‌تر می‌شود.

چطور ممکن است؟ چه عوامل مخل و پادواکنش‌های خصمانه‌ای در کار است که خودتقویت‌گریِ بازگشتی را در علوم کُند می‌کند؟ آن‌قدر تعدادشان زیاد است که نمی‌توان شمردشان. چند نمونه‌اش را می‌گویم. نکتۀ مهم این است که تک‌تک این‌ها دربارۀ هوش‌های مصنوعی خودتقویت‌کنندۀ بازگشتی هم صادق است:

علم‌ورزی در هر حوزه‌ای، با گذر زمان، به‌صورت تصاعدی سخت‌تر می‌شود: بنیانگذارانِ آن حوزه میوه‌های شاخه‌های پایینی را می‌چینند و بعد از آن، برای رسیدن به همان میزان تأثیرگذاری، تلاشی تصاعدی لازم است. پیشرفتی که کلود شانون با مقالۀ خود در سال ۱۹۴۸ در حوزۀ نظریۀ اطلاعات رقم زد از سوی هیچ تک‌پژوهشگری تکرار نخواهد شد.

وقتی حوزه‌ای وسیع‌تر شود، اشتراک معلومات و همکاری میان پژوهشگران به‌صورت تصاعدی سخت‌تر می‌شود. پیگیری مستمر رگبار تألیفاتِ جدید دشوار و دشوارتر می‌شود. یادتان باشد، شبکه‌ای که N گره دارد تعداد یال‌هایش می‌شود N * (N – 1) / 2.

با وسعت‌یافتن دانش و معرفت علمی، زمان و تلاشی که برای تحصیل و آموزش لازم است افزایش می‌یابد و حوزۀ تحقیقاتی هر پژوهشگر تنگ‌تر و تنگ‌تر می‌شود.

در عمل، مخل‌های سیستم، کاهش بازده و واکنش‌های خصمانه سرانجام خودتقویت‌گریِ بازگشتی را از بین می‌برند و این قضیه دربارۀ تمام فرایندهای بازگشتیِ پیرامون ما صادق است. خودتقویت‌گری قطعاً به پیشرفت می‌انجامد، اما این پیشرفت معمولاً خطی یا در بهترین حالت سیگموئید است. نخستین «دلار بذرگونه»ای که سرمایه‌گذاری می‌کنید نوعاً منجر به «انفجار ثروت» نمی‌شود؛ بلکه تعادل‌آفرینی میان بازده سرمایه‌گذاری و خرج‌کردنِ روبه‌رشد سرانجام باعث پیشرفت کم‌وبیش خطیِ پس‌اندازهای شما در گذر زمان می‌شود. ضمناً این نکته برای سیستمی است که بارها ساده‌تر از ذهن خودتقویت‌کننده است.

به همین ترتیب، نخستین هوش مصنوعی فرابشری نیز صرفاً گام دیگری است همچون تمام گام‌های پیشین در نردبان خطیِ پیشرفت که صعود از آن را مدت‌ها قبل آغاز کرده‌ایم.

نتیجه‌گیری‌ها

توسعۀ هوش فقط می‌تواند نتیجۀ تکامل هم‌زمان مغز (زیستی یا دیجیتال)، امکانات حسی‌حرکتی، محیط و فرهنگ باشد، نه صرفاً تنظیم مغزِ داخل خمره و جدا از همه‌چیز. این تکامل هم‌زمان از هزاران سال پیش در حال وقوع است و همچنان که هوش به‌طور فزاینده‌ای به زیرلایۀ دیجیتال انتقال می‌یابد، این فرایند نیز ادامه خواهد داشت. هیچ «انفجار هوش»ی رخ نخواهد داد، چراکه این پیشرفت با سرعتی تقریباً خطی واقع می‌شود.

نکاتی که باید به یاد داشت:

هوش موقعیت‌مبناست: چیزی به نام هوش عمومی وجود ندارد. مغز شما فقط یک قطعه از سیستمی کلی‌تر است که بدن، محیط، دیگر انسان‌ها و کلِ فرهنگ را نیز شامل می‌شود.

هیچ سیستمی در خلأ وجود ندارد؛ هر هوش منفردی را لزوماً بستر وجودش، یعنی محیطش، تعریف و محدود می‌کند. در حال حاضر، عامل مخل هوش ما محیط است، نه مغزمان.

هوش بشر عمدتاً موجودیت بیرونی دارد، یعنی در حصار مغزمان نیست، بلکه در تمدن ماست. ما ابزارهای خودمان هستیم: مغز ما واحدی از یک سیستم شناختیِ بسیار بزرگ‌تر از خودمان است، سیستمی که از دیرباز خود را تقویت کرده و می‌کند.

سیستم‌های خودتقویت‌کنندۀ بازگشتی، به دلیل وجود عوامل مخل، کاهش بازده و پادواکنش‌های حاصل از بستر کلی‌تری که در آن وجود دارند، نمی‌توانند در عمل به پیشرفت تصاعدی برسند. تجربه نشان داده که چنین سیستم‌هایی معمولاً پیشرفت خطی یا نهایتاً سیگموئید را به نمایش می‌گذارند. این امر به‌خصوص برای پیشرفت علمی صادق است، مقوله‌ای که شاید از هر سیستمِ قابل‌مشاهده‌ای به هوش مصنوعی خودتقویت‌کنندۀ بازگشتی نزدیک‌تر و شبیه‌تر باشد.

توسعۀ بازگشتیِ هوش هم‌اکنون در حال وقوع است: در ساحت تمدن ما. در عصر هوش مصنوعی نیز همچنان واقع خواهد شد و با سرعتی تقریباً خطی پیشرفت می‌کند.


فصلنامۀ ترجمان چیست، چه محتوایی دارد، و چرا بهتر است اشتراک سالانۀ آن را بخرید؟
فصلنامۀ ترجمان شامل ترجمۀ تازه‌ترین حرف‌های دنیای علم و فلسفه، تاریخ و سیاست، اقتصاد و جامعه و ادبیات و هنر است که از بیش از ۱۰۰ منبع معتبر و به‌روز انتخاب می‌شوند. مجلات و وب‌سایت‌هایی نظیر نیویورک تایمز، گاردین، آتلانتیک و نیویورکر در زمرۀ این منابع‌اند. مطالب فصلنامه در ۴ بخش نوشتار، گفت‌وگو، بررسی کتاب، و پروندۀ ویژه قرار می‌گیرند. در پرونده‌های فصلنامۀ ترجمان تاکنون به موضوعاتی نظیر «اهمال‌کاری»، «تنهایی»، «مینیمالیسم»، «فقر و نابرابری»، «فرزندآوری» و نظایر آن پرداخته‌ایم. مطالب ابتدا در فصلنامه منتشر می‌شوند و سپس بخشی از آن‌ها به‌مرور در شبکه‌های اجتماعی و سایت قرار می‌گیرند، بنابراین یکی از مزیت‌های خرید فصلنامه دسترسی سریع‌تر به مطالب است.

فصلنامۀ ترجمان در کتاب‌فروشی‌ها، دکه‌های روزنامه‌فروشی و فروشگاه اینترنتی ترجمان به‌صورت تک شماره به‌ فروش می‌رسد اما شما می‌توانید با خرید اشتراک سالانۀ فصلنامۀ ترجمان (شامل ۴ شماره)، علاوه بر بهره‌مندی از تخفیف نقدی، از مزایای دیگری مانند ارسال رایگان، دریافت کتاب الکترونیک به‌عنوان هدیه و دریافت کدهای تخفیف در طول سال برخوردار شوید. فصلنامه برای مشترکان زودتر از توزیع عمومی ارسال می‌شود و در صورتی‌که فصلنامه آسیب ببیند بدون هیچ شرط یا هزینۀ اضافی آن را تعویض خواهیم کرد. ضمناً هر وقت بخواهید می‌توانید اشتراکتان را لغو کنید و مابقی مبلغ پرداختی را دریافت کنید.

این مطلب را فرانسوآ شوله نوشته و در تاریخ ۲۷ نوامبر ۲۰۱۷ با عنوان «The Implausibility of Intelligence Explosion» در وب‌سایت مدیوم منتشر شده است و برای نخستین بار با عنوان «هوش مصنوعی هیچ‌وقت از مخترعانش باهوش‌تر نخواهد شد» در بیست‌ونهمین شمارۀ فصلنامۀ ترجمان علوم انسانی با ترجمۀ علیرضا شفیعی‌نسب منتشر شده است. وب سایت ترجمان آن را در تاریخ ۲۲ اسفند ۱۴۰۲با همان عنوان منتشر کرده است.

فرانسوآ شوله (François Chollet) مهندس نرم‌افزار و پژوهشگر هوش مصنوعی است و در شرکت گوگل کار می‌کند. او در سال ۲۰۲۱ برندهٔ Global Swiss AI Award شد. تازه‌ترین کتاب او Deep Learning with Python است.

پاورقی

  • 1
    Seed AI: نوعی هوش مصنوعی که مثل بذر می‌تواند با استفاده از توانایی‌های درونی خود، رشد کند، ببالد و تولیدمثل انجام دهد. یعنی هوش مصنوعی‌های دیگری تولید کند [مترجم].
  • 2
    Transcendence
  • 3
     brain in a vat آزمایشی فکری در معرفت‌شناسی است که گیلبرت هارمن، به تبع از دکارت، آن را طراحی کرد و افرادی همچون هیلاری پاتنم سعی کردند به آن پاسخ دهند. تصور کنید یک دانشمند دیوانه مغز شما را درون یک خمرۀ زیستی قرار داده و، از طریق یک کامپیوتر پیچیده، تجربیاتی مشابه با تجربیات روزمره‌تان را برای شما ایجاد می‌کند. بر اساس این آزمایش فکری، شما هیچ راهی ندارید تا بفهمید که آیا مغزی درون خمره هستید و یا انسانی واقعی با تجربیات واقعی [ویراستار].
  • 4
    “no free lunch” theorem
  • 5
    Go
  • 6
    شخصیت اصلی مجموعه‌داستان کتاب جنگل اثر رودیارد کیپلینگ [مترجم].
  • 7
    The Singularity is not coming

مرتبط

چه کسی باید بر هوش مصنوعی فرمان براند؟

چه کسی باید بر هوش مصنوعی فرمان براند؟

چهار بحث دربارۀ تأثیر هوش مصنوعی بر آیندۀ کار، اقتصاد و سیاست

آیا مخترع چت جی‌پی‌تی می‌داند دارد چه‌کار می‌کند؟

آیا مخترع چت جی‌پی‌تی می‌داند دارد چه‌کار می‌کند؟

تلاش بلندپروازانه، نبوغ‌آمیز و هولناکِ مدیرعامل اُپن‌ای‌آی برای تولید گونۀ جدیدی از هوش

هوش مصنوعی احمق است، اما به‌شکلی قانع‌کننده

هوش مصنوعی احمق است، اما به‌شکلی قانع‌کننده

هوش مصنوعی به شکل فعلی‌اش بیشتر کلیشه است تا خلاق، و بیشتر مبتذل است تا پیشرو

خبرنامه را از دست ندهید

نظرات

برای درج نظر ابتدا وارد شوید و یا ثبت نام کنید

گردآوری و تدوین لارنس ام. هینمن

ترجمه میثم غلامی و همکاران

امیلی تامس

ترجمه ایمان خدافرد

سافی باکال

ترجمه مینا مزرعه فراهانی

لیا اوپی

ترجمه علیرضا شفیعی نسب

دیوید گرِیبر

ترجمه علیرضا شفیعی نسب

جو موران

ترجمه علیرضا شفیعی نسب

لی برِیوِر

ترجمه مهدی کیانی

آلبرتو منگوئل

ترجمه عرفان قادری

گروهی از نویسندگان

ترجمه به سرپرستی حامد قدیری و هومن محمدقربانیان

d

خرید اشتراک چهار شمارۀ مجلۀ ترجمان

تخفیف+ارسال رایگان+چهار کتاب الکترونیک رایگان (کلیک کنید)

آیا می خواهید از جدیدترین مطالب ترجمان آگاه شوید؟

بله فعلا خیر 0