آیا مجلات معتبر اقتصادی از راستی‌آزمایی سربلند بیرون می‌آیند؟

اکونومیست — سوگیری انتشار در مجلات اقتصادی مسئلۀ جدیدی نیست. شاید یافته‌ای مبنی بر بی‌ارتباط‌بودن رویدادهای ورزشی و اعمال مجرمانه یا جرائم مالی از نظر تحلیلی بسیار ارزشمند باشد؛ اما صادقانه بگویم، اگر توجهی به چنین یافته‌ای نکنید، کسی شما را سرزنش نمی‌کند. این در حالی است که اگر سردبیران مجلات، نتایج هیجان‌انگیز و بهت‌آور را بیشتر بپسندند، با این خطر مواجه می‌شویم که در پی گزینش نهایی مقالات برای چاپ، تصویری تحریف‌شده از واقعیت ارائه شود.

[الگوی] توزیع آثار چاپ‌شده باید به‌سمت یافته‌های «معنادار»تر متمایل شود. اما مقاله‌ای که به‌تازگی در امریکن ایکانامیک ژورنال^۱ چاپ شده، نشانه‌هایی از نوع دیگری از سوگیری را یافته که به منبع مذکور نزدیک‌تر است. این مقاله با عنوان «جنگ ستارگان؛ تجربه‌گرایان انتقام می‌گیرند^۲» پنجاه‌هزار آزمایش را تحلیل می‌کند. نتایج این آزمایش‌ها بین سال‌های ۲۰۰۵ تا ۲۰۱۱ در سه مجلۀ برتر امریکا چاپ شده‌اند. نتیجه اینکه، توزیع نتایج (که با «نمره معیار^۳» اندازه‌گیری شده‌ است) شکلِ دوقله‌ای عجیب‌وغریبی دارد(مراجعه شود به نمودار). فرورفتگی میان دو قله، نتایج «مفقودشده» را نشان می‌دهد که فقط در دامنه‌ای کاملا خارج از نقطه برش^۴ استاندارد برای معناداریِ آماری^۵ روی می‌دهد؛ جایی که معناداری معمولا با ستاره‌ها مشخص می شود. براساس نتایج آن‌ها مشخص می‌شود که ده‌ تا بیست‌درصد از نتایجی که کم‌وبیش معنادار هستند، دست‌کاری شده‌اند.

یک توضیح اینکه اگر نتیجه‌ای در سطح معناداری پنج‌درصد، یعنی استاندارد صنعت باشد، محققان می‌توانند دور هم خوش بگذرانند و به ساخت لطیفه‌های اقتصادی ادامه دهند. اما اگر نتیجه به شکل وسوسه‌انگیزی به نتیجۀ مثبت نزدیک باشد، آن وقت شاید محققان کمی با روش خود وَر بروند و نتیجۀ ناشِرپسند خود را بستایند. یانوس زیلبربرگ، یکی از نویسندگان مقاله، شرح می‌دهد که انجام آزمایش‌های کنترل‌شده در اقتصاد دشوار است و این مسئله آزادی زیادی به محققان می‌دهد تا در روش‌های خود تغییرات جزئی ایجاد کنند. گاه محققان بدین‌خاطر تغییر روش می‌دهند که می‌خواهند بهترین راه تأثیرگذاری را پیدا کنند؛ اما گاه این تغییر در جهت رسیدن به تأثیری معنادار است. شاید این تقسیم‌بندی مبهم باشد؛ حتی در ذهن خودشان.

در این مقاله به نتایجی پرداخته می‌شود که در زیرگروه‌هایی تقسیم شده‌اند. ظاهراً عواملی در آنجا دخیل هستند که با توزیعی کم‌فرازونشیب‌تر مرتبط‌اند (که می‌تواند نشانگر دستکاری کمتر باشد). در هر سه مجلۀ تراز اوّلی که مقاله به آن‌ها می‌پردازد، این الگوی کلی برقرار است؛ یعنی امریکن ایکانامیک ریویو^۶، فصل‌نامۀ ایکانامیکس^۷ و پولیتیکال ایکانامی^۸. اما در مقالات محققان مسن‌تر و مقالاتی که به توصیف آزمایش‌های تصادفی کنترل‌شده می‌پردازند، اگرچه هنوز قله‌هایی مشاهده می‌شوند، این قله‌ها برجستگی کمتری دارند. این موضوع برای کسانی که تلاش می‌کنند آخرین تحقیقات را تفسیر و دربارۀ آن‌ها اظهارنظر کنند، تاحدی نگران‌کننده است؛ زیرا نمی‌توان گفت در کدام مطالعه دست‌کاری شده و در کدام‌یک نشده است. اما نگرانی اساسی مربوط به خود این حرفه و سیاست‌گذارانی است که بر اساس شواهد اقتصادی تصمیم‌گیری می‌کنند. دست‌کاری و انجام آزمایش‌های متعدد و کم‌وبیش متفاوت روی همان داده‌ها به‌سرعت حجم و دقت گزارش‌شدۀ نتایج نهایی را بی‌معنا می‌کند.

راه‌حل‌های متفاوتی عرضه شده است. یکی انتشار «برنامه‌های پیش‌تحلیلی» است که در آن محققان پیش از تحلیل بیان می‌کنند که قصد دارند تحلیل خود را چگونه انجام دهند. راه‌حل دیگر تشویق به تکثیر بیشتر است. مارسل فچمپس و ژولیئن لابون در مقالۀ جدید و ناتمام خود در دفتر ملی تحقیقات اقتصادی^۹ روش مرتبط دیگری را پیشنهاد می‌دهند. نظرشان این است که محققان داده‌های خود را برای طرف سومی بفرستند و طرف سوم نمونۀ داده را به دو نیم تقسیم کند. محققان تحلیل خود را براساس اولین مجموعۀ داده انجام می‌دهند، روش خود را نهایی می‌سازند و برای چاپ تحویل می‌دهند. زمانی که مقاله پذیرفته شود، همان تحلیل روی نمونۀ دوم انجام می‌شود و نتایج کامل چاپ می‌شوند. اگر نتیجۀ اولیه تنها به‌علت دست‌کاری به دست آمده باشد، احتمال رسیدن به همان نتایج در نمونۀ دوم تقریباً کم است. وقتی مسئلۀ تغییر نتایج مطرح باشد، برای اجتناب از نابسامانی ناشی از نرسیدن به نتیجه، محققان باید سخت‌گیرتر شوند. وقتی اندازۀ نمونه‌ها کوچک باشد، دست‌کاری دشوار است؛ زیرا دونیم‌کردن نمونه از قدرت آزمایش‌ها کم می‌کند. اما در جهان ابرداده‌ها، این راهکار عملی است. شاید سد بزرگ‌تر تشویق محققان با وجدان کاری به مشارکت باشد.

پی‌نوشت‌ها:
[۱] American Economic Journal
[۲] Star Wars, the empirics strike back
[۳] نمره معیار یا نمره-z میزان دوربودنِ یک نتیجه از میانگین مورد انتظار را نشان می‌دهد.
[۴] cut-off point
[۵] statistical significance
[۶] American Economic Review
[۷] Quarterly Journal of Economics
[۸] Journal of Political Economy
[۹] NBER or the national bureau of economic research