نوشتار

آیا مجلات معتبر اقتصادی از راستی‌آزمایی سربلند بیرون می‌آیند؟

تحقیقات انجام شده روی صحت آمارهای سه مجلۀ معتبر اقتصادی، باعث نگرانی سیاست‌گذاران شده است.

آیا مجلات معتبر اقتصادی از راستی‌آزمایی سربلند بیرون می‌آیند؟

به‌تازگی در امریکن ایکانامیک ژورنال مقاله‌ای چاپ شده است که میزان صحت و سقم نتایج تحقیقاتِ منتشر شده در سه مجلۀ معتبر اقتصادی را بررسی می‌کند. این مقاله با عنوان «جنگ ستارگان؛ تجربه‌گرایان انتقام می‌گیرند» پنجاه‌هزار آزمایش بین سال‌های ۲۰۰۵ تا ۲۰۱۱ را تحلیل می‌کند و در پایان انواع روش‌های جلوگیری از دست‌کاری در نتایج تحقیقات و راهکارهای کشف این تقلب‌ها را معرفی می‌کند.

اکونومیست — سوگیری انتشار در مجلات اقتصادی مسئلۀ جدیدی نیست. شاید یافته‌ای مبنی بر بی‌ارتباط‌بودن رویدادهای ورزشی و اعمال مجرمانه یا جرائم مالی از نظر تحلیلی بسیار ارزشمند باشد؛ اما صادقانه بگویم، اگر توجهی به چنین یافته‌ای نکنید، کسی شما را سرزنش نمی‌کند. این در حالی است که اگر سردبیران مجلات، نتایج هیجان‌انگیز و بهت‌آور را بیشتر بپسندند، با این خطر مواجه می‌شویم که در پی گزینش نهایی مقالات برای چاپ، تصویری تحریف‌شده از واقعیت ارائه شود.

[الگوی] توزیع آثار چاپ‌شده باید به‌سمت یافته‌های «معنادار»تر متمایل شود. اما مقاله‌ای که به‌تازگی در امریکن ایکانامیک ژورنال۱ چاپ شده، نشانه‌هایی از نوع دیگری از سوگیری را یافته که به منبع مذکور نزدیک‌تر است. این مقاله با عنوان «جنگ ستارگان؛ تجربه‌گرایان انتقام می‌گیرند۲» پنجاه‌هزار آزمایش را تحلیل می‌کند. نتایج این آزمایش‌ها بین سال‌های ۲۰۰۵ تا ۲۰۱۱ در سه مجلۀ برتر امریکا چاپ شده‌اند. نتیجه اینکه، توزیع نتایج (که با «نمره معیار۳» اندازه‌گیری شده‌ است) شکلِ دوقله‌ای عجیب‌وغریبی دارد(مراجعه شود به نمودار). فرورفتگی میان دو قله، نتایج «مفقودشده» را نشان می‌دهد که فقط در دامنه‌ای کاملا خارج از نقطه برش۴ استاندارد برای معناداریِ آماری۵ روی می‌دهد؛ جایی که معناداری معمولا با ستاره‌ها مشخص می شود. براساس نتایج آن‌ها مشخص می‌شود که ده‌ تا بیست‌درصد از نتایجی که کم‌وبیش معنادار هستند، دست‌کاری شده‌اند.

یک توضیح اینکه اگر نتیجه‌ای در سطح معناداری پنج‌درصد، یعنی استاندارد صنعت باشد، محققان می‌توانند دور هم خوش بگذرانند و به ساخت لطیفه‌های اقتصادی ادامه دهند. اما اگر نتیجه به شکل وسوسه‌انگیزی به نتیجۀ مثبت نزدیک باشد، آن وقت شاید محققان کمی با روش خود وَر بروند و نتیجۀ ناشِرپسند خود را بستایند. یانوس زیلبربرگ، یکی از نویسندگان مقاله، شرح می‌دهد که انجام آزمایش‌های کنترل‌شده در اقتصاد دشوار است و این مسئله آزادی زیادی به محققان می‌دهد تا در روش‌های خود تغییرات جزئی ایجاد کنند. گاه محققان بدین‌خاطر تغییر روش می‌دهند که می‌خواهند بهترین راه تأثیرگذاری را پیدا کنند؛ اما گاه این تغییر در جهت رسیدن به تأثیری معنادار است. شاید این تقسیم‌بندی مبهم باشد؛ حتی در ذهن خودشان.

در این مقاله به نتایجی پرداخته می‌شود که در زیرگروه‌هایی تقسیم شده‌اند. ظاهراً عواملی در آنجا دخیل هستند که با توزیعی کم‌فرازونشیب‌تر مرتبط‌اند (که می‌تواند نشانگر دستکاری کمتر باشد). در هر سه مجلۀ تراز اوّلی که مقاله به آن‌ها می‌پردازد، این الگوی کلی برقرار است؛ یعنی امریکن ایکانامیک ریویو۶، فصل‌نامۀ ایکانامیکس۷ و پولیتیکال ایکانامی۸. اما در مقالات محققان مسن‌تر و مقالاتی که به توصیف آزمایش‌های تصادفی کنترل‌شده می‌پردازند، اگرچه هنوز قله‌هایی مشاهده می‌شوند، این قله‌ها برجستگی کمتری دارند. این موضوع برای کسانی که تلاش می‌کنند آخرین تحقیقات را تفسیر و دربارۀ آن‌ها اظهارنظر کنند، تاحدی نگران‌کننده است؛ زیرا نمی‌توان گفت در کدام مطالعه دست‌کاری شده و در کدام‌یک نشده است. اما نگرانی اساسی مربوط به خود این حرفه و سیاست‌گذارانی است که بر اساس شواهد اقتصادی تصمیم‌گیری می‌کنند. دست‌کاری و انجام آزمایش‌های متعدد و کم‌وبیش متفاوت روی همان داده‌ها به‌سرعت حجم و دقت گزارش‌شدۀ نتایج نهایی را بی‌معنا می‌کند.

راه‌حل‌های متفاوتی عرضه شده است. یکی انتشار «برنامه‌های پیش‌تحلیلی» است که در آن محققان پیش از تحلیل بیان می‌کنند که قصد دارند تحلیل خود را چگونه انجام دهند. راه‌حل دیگر تشویق به تکثیر بیشتر است. مارسل فچمپس و ژولیئن لابون در مقالۀ جدید و ناتمام خود در دفتر ملی تحقیقات اقتصادی۹ روش مرتبط دیگری را پیشنهاد می‌دهند. نظرشان این است که محققان داده‌های خود را برای طرف سومی بفرستند و طرف سوم نمونۀ داده را به دو نیم تقسیم کند. محققان تحلیل خود را براساس اولین مجموعۀ داده انجام می‌دهند، روش خود را نهایی می‌سازند و برای چاپ تحویل می‌دهند. زمانی که مقاله پذیرفته شود، همان تحلیل روی نمونۀ دوم انجام می‌شود و نتایج کامل چاپ می‌شوند. اگر نتیجۀ اولیه تنها به‌علت دست‌کاری به دست آمده باشد، احتمال رسیدن به همان نتایج در نمونۀ دوم تقریباً کم است. وقتی مسئلۀ تغییر نتایج مطرح باشد، برای اجتناب از نابسامانی ناشی از نرسیدن به نتیجه، محققان باید سخت‌گیرتر شوند. وقتی اندازۀ نمونه‌ها کوچک باشد، دست‌کاری دشوار است؛ زیرا دونیم‌کردن نمونه از قدرت آزمایش‌ها کم می‌کند. اما در جهان ابرداده‌ها، این راهکار عملی است. شاید سد بزرگ‌تر تشویق محققان با وجدان کاری به مشارکت باشد.


پی‌نوشت‌ها:
[۱] American Economic Journal
[۲] Star Wars, the empirics strike back
[۳] نمره معیار یا نمره-z میزان دوربودنِ یک نتیجه از میانگین مورد انتظار را نشان می‌دهد.
[۴] cut-off point
[۵] statistical significance
[۶] American Economic Review
[۷] Quarterly Journal of Economics
[۸] Journal of Political Economy
[۹] NBER or the national bureau of economic research

مرتبط

راست‌های افراطی کيستند؟ چه می‌گويند؟ و چه اهميتی دارند؟

راست‌های افراطی کيستند؟ چه می‌گويند؟ و چه اهميتی دارند؟

راست‌افراطی: جست‌وجویی تباه در جهانی ویران‌شده

چطور اینستاگرام به معبد فرقه‌ها تبدیل شد؟

چطور اینستاگرام به معبد فرقه‌ها تبدیل شد؟

فرقه‌ها از تنهایی بیرونمان می‌آورند و تنهاترمان می‌کنند

آنتونی اتکینسون: میراثی برای ساختن دنیایی برابرتر

آنتونی اتکینسون: میراثی برای ساختن دنیایی برابرتر

تاریخ مطالعات فقر و نابرابری در قرن گذشته با تلاش‌های این اقتصاددان بریتانیایی درهم‌آمیخته است

چگونه مصرف کالاها می‌تواند از آدم‌ها دیو یا فرشته بسازد؟

چگونه مصرف کالاها می‌تواند از آدم‌ها دیو یا فرشته بسازد؟

کالاهایی که در فروشگاه چیده می‌شود ممکن است محصول کار کودکان یا بیگاری کارگران باشد

خبرنامه را از دست ندهید

نظرات

برای درج نظر ابتدا وارد شوید و یا ثبت نام کنید

لیزا هرتسُک

ترجمه مصطفی زالی

گردآوری و تدوین لارنس ام. هینمن

ترجمه میثم غلامی و همکاران

امیلی تامس

ترجمه ایمان خدافرد

سافی باکال

ترجمه مینا مزرعه فراهانی

لیا اوپی

ترجمه علیرضا شفیعی نسب

دیوید گرِیبر

ترجمه علیرضا شفیعی نسب

جو موران

ترجمه علیرضا شفیعی نسب

لی برِیوِر

ترجمه مهدی کیانی

آلبرتو منگوئل

ترجمه عرفان قادری

گروهی از نویسندگان

ترجمه به سرپرستی حامد قدیری و هومن محمدقربانیان

d

خرید اشتراک چهار شمارۀ مجلۀ ترجمان

تخفیف+ارسال رایگان+چهار کتاب الکترونیک رایگان (کلیک کنید)

آیا می خواهید از جدیدترین مطالب ترجمان آگاه شوید؟

بله فعلا خیر 0