متخصصان آمار دربارۀ کاربرد نادرست «پی‌مقدار» هشدار می‌دهند

مونیا بیکر، نیچر — انجمن آمار امریکا در بیانیه‌ای که در فوریۀ ۲۰۱۶ منتشر کرد، هشدار داد که استفادۀ ناصحیح از پی‌مقدار^۱ به‌عنوان معیار متداولی در سنجش قوت شواهد علمی، سبب افزایشِ یافته‌های پژوهشی‌ای شده که قابلیت بازتولید ندارند. انجمن مذکور در اقدامی نامتعارف، اصولی را بعنوان راهنمایِ استفاده از پی‌مقدار تصویب کرده است؛ طبق این اصول پی‌مقدار نمی‌تواند درستیِ یک فرضیه یا اهمیت نتایجِ به‌دست‌آمده را مشخص کند.

به‌گفتۀ ران واسرشتاین، مدیر اجرایی انجمن آمار امریکا، این نخستین باری است که این انجمنِ ۱۷۷ساله، توصیه‌های صریحی دربارۀ چنین موضوع بنیادینی در آمار مطرح کرده است. وی می‌افزاید که اعضای انجمن واقعاً نگران کاربرد ناصحیح پی‌مقدار بودند؛ چراکه این سوءکاربرد باعث ایجاد شک و شبهه دربارۀ کل آمار شده بود.

انجمن آمار امریکا در این بیانیه به پژوهشگران توصیه می‌کند صِرف پی‌مقدار را مبنای نتیجه‌گیری‌های علمی یا تصمیم‌گیری‌های خود در حوزۀ سیاست‌گذاری قرار ندهند. به‌گفتۀ انجمن، نه‌تنها پژوهشگران باید تحلیل داده‌هایی را شرح دهند که نتایج آماری معنی‌دار تولید کرده‌اند، بلکه باید تمام آزمون‌های آماری و انتخاب‌های صورت‌گرفته در محاسبات را نیز تشریح کنند. درغیر این صورت ممکن است نتایج حاصل‌شده به‌غلط محکم و قطعی تلقی شوند.

ورونیکا کی‌یرمر، سردبیر اجرایی کتابخانۀ عمومی مجلات علمی^۲، خاطرنشان می‌کند که بیانیۀ انجمن آمار باعث می‌شود به آن نگرانی قدیمی درخصوص اعتماد نابجا به پی‌مقدار، مجددا توجه شود. وی می‌افزاید: «علاوه‌براین، بیانیۀ مذکور از این نظر که نشان می‌دهد آمارگیران به‌عنوان اعضای یک حرفه، با مسائل موجود در ادبیات خارج از حوزۀ حرفه‌ایِ خود درگیر هستند نیز اهمیت فراوانی دارد.»

سنجش شواهد
پی‌مقدار عموماً برای محک‌زدن و کنارگذاشتنِ «فرضیۀ صفر» به‌ کار می‌رود. فرضیۀ صفر به‌طور کلی بیانگر این است که دو گروه از پدیده‌ها تفاوتی با هم ندارند یا اینکه بین یک جفت از مشخصه‌ها همبستگی وجود ندارد. با فرض درستی فرضیۀ صفر، هر چه پی‌مقدار کوچک‌تر باشد، احتمال کمتری دارد که مجموعه‌ای از مقادیرِ مشاهده شده بطور اتفاقی بدست آمده باشند. پی‌مقدار ۰/۰۵ یا کمتر معمولاً چنین تعبیر می‌شود که یک یافته به‌لحاظ آماری معنی‌دار است و اجازۀ چاپ دارد؛ اما بر اساس بیانیۀ انجمن آمار اینگونه تعبیرکردنِ پی‌مقدار لزوماً درست نیست.

معنای پی‌مقدار ۰/۰۵ این نیست که شانس صحت فرضیه‌ای معین ۰/۹۵ است؛ درعوض، معنایش این است که اگر فرضیۀ صفرِ مدنظر درست باشد و تمام سایر فرض‌های درنظرگرفته‌شده نیز معتبر باشند، احتمالِ به‌دست‌آوردن نتیجه‌ای دستِ‌کم به حد نتیجۀ مشاهده‌شده، ۵درصد است. به‌علاوه، پی‌مقدار نشان‌دهندۀ میزان اهمیت یک یافته نیست؛ به‌طورمثال، ممکن است اثر یک دارو به‌لحاظ آماری بر میزان قند خون بیمار زیاد باشد، بدون اینکه داروی مدنظر اثر درمانی خاصی داشته باشد.

به‌گفتۀ جُوانی پارمیجانی، متخصص آمار زیستی از مؤسسۀ سرطان دانا فاربر در بوستون ماساچوست، بدفهمی دربارۀ اطلاعاتی که یک پی‌مقدار می‌تواند به ما بدهد، اغلب از کتاب‌های درسی و دفترچه‌های راهنمای عملی سر در می‌آورد. به‌عقیدۀ او دیرزمانی است که وقت اصلاح این مسیر فرارسیده است. «مطمئناً اگر چنین چیزی بیست سال قبل اتفاق افتاده بود، تحقیقات زیستی اینک در وضعیت بهتری می‌بود.»

افزایش نارضایتی‌ها
انتقاد از پی‌مقدار مسئلۀ جدیدی نیست. در سال ۲۰۱۱، پژوهشگران جهت افزایشِ آگاهی دربارۀ «مثبت‌های کاذب»^۳، تجزیه‌تحلیلی ترتیب دادند تا به یافتۀ آماری معنی‌داری دست یابند. یافتۀ مذکور این بود که گوش‌دادن به موسیقی [گروه] بیتلز دانشجویان دورۀ کارشناسی را جوان‌تر می‌کند. در نمونه‌ای بحث‌برانگیزتر، در سال ۲۰۱۵، گروهی از مستندسازان نتایجی از یک آزمایش بالینیِ عمداً جعلی منتشر کردند که با پی‌مقدارِ محکمی تأیید می‌شد؛ تا نشان دهند که خوردن شکلات به کاهش وزن افراد کمک می‌کند. مقالۀ یادشده از آن زمان تاکنون تکذیب شده است.

اما سیمین وزیری، روان‌شناسی از دانشگاه دیویسِ کالیفرنیا و ویراستار مجلۀ سایکولوژیکال اند پرسونالیتی ساینس، معتقد است که بیانیۀ انجمن آمار امریکا می‌تواند نویسندگان را قانع کند که راز تمام تحلیل‌های آماری صورت‌گرفته را افشا کنند. به‌گفتۀ او «این بیانیه کمک می‌کند آمارگران، طوری‌ که ممکن است مردم به شک بیفتند، بگویند: نه؛ شما نمی‌توانید بدون داشتن این اطلاعات پی‌مقدار را تفسیر کنید».

به‌عقیدۀ اندرو ویکرز، متخصص آمار حیاتی در مرکز سرطان اسلون کترینگ در نیویورک، اقدامات شدیدتر مثل اقدام صورت‌گرفته توسط حداقل یک مجله در تحریم انتشار مقالاتی که دربردارندۀ پی‌مقدار هستند، می‌تواند اثر معکوس داشته باشد. وی تلاش برای تحریم استفاده از پی‌مقدار را مثل این می‌داند که در توضیح خطر حوادث جاده‌ای به مردم هشدار دهیم رانندگی نکنند. روشن است که بسیاری از مخاطبین هدف، احتمالاً آن هشدار را نادیده خواهند گرفت. ویکرز خاطرنشان می‌کند که درعوض، پژوهشگران باید یاد بگیرند که «‌با آمار مثل یک علم رفتار کنند؛ نه یک دستورالعمل».

اندرو گلمان، متخصص آمار دانشگاه کلمبیا در نیویورک، هشدار می‌دهد که درهرحال، حتی فهم بهتر پی‌مقدار نمی‌تواند ازبین برندۀ انگیزۀ انسان برای استفاده از آمار در جهت ایجاد سطحی دست‌نایافتنی از قطعیت باشد. به‌گفتۀ او «مردم دنبال چیزی هستند که واقعاً نمی‌توانند بدان دست یابند. آن‌ها در جست‌وجوی یقین هستند».

پی‌نوشت‌ها:
• این مطلب را مونیا بیکر نوشته است و در تاریخ ۷ مارس ۲۰۱۶ با عنوان «Statisticians issue warning over misuse of P values» در وب‌سایت نیچر منتشر شده است. وب‌سایت ترجمان در تاریخ ۱۴ ارديبهشت ۱۳۹۵ این مطلب را با عنوان «متخصصان آمار دربارۀ کاربرد نادرست "پی‌مقدار" هشدار می‌دهند» و ترجمۀ مهدیه توکل منتشر کرده است.
•• مونیا بیکر (Monya Baker) مدرک لیسانس زیست‌شناسی خود را از کالج کارلتون دریافت کرده و دارای فوق لیسانس آموزش و پرورش از دانشگاه هاروارد است. او برای اکونومیست، نیو ساینتیست، نیچر، نیچر بیوتکنولوژی، وایرد و نشریات دیگر می‌نویسد.
[۱] یکی از مسائل بسیار مهم موجود در آمار استنباطی، آزمون فرض‌های آماری است که در تصمیم‌گیری بسیار حائز اهمیت است. در آزمون فرض، مسئلۀ ارائۀ یک معیار برای پذیرفتن یا ردکردن فرض، مطرح است. پی‌مقدار یا p value یا Probability Value یکی از معیارهایی است که جهت انجام آزمون فرض معرفی شده ‌است.
[۲] Public Library of Science journals
[۳] در آمار دو شاخص برای ارزیابی نتیجۀ یک آزمایشِ دوحالته وجود دارد. فرض کنید بتوان در یک آزمایش، داده‌ها را به دو گروه «مثبت» و «منفی» تقسیم کرد. در این صورت دقت نتایج این آزمایش را با استفاده از دو شاخص می‌توان سنجیده و توصیف کرد: حساسیت و ویژگی. true positive rate به‌معنی نسبتی از موارد مثبت است که آزمایش، آن‌ها را به‌درستی، «مثبت» علامت‌گذاری می‌کند. true negative rate به‌معنی نسبتی از موارد منفی است که آزمایش آن‌ها را به‌درستی، «منفی» علامت‌گذاری می‌کند.
مثبت صحیح (True Positive): شخص بیمار، به‌درستی بیمار تشخیص داده شود.
مثبت کاذب (False Positive): شخص سالم، به‌اشتباه بیمار تشخیص داده شود.
منفی صحیح (True Negative): شخص سالم، به‌درستی سالم تشخیص داده شود.
منفی کاذب (False Negative): شخص بیمار، به‌اشتباه سالم تشخیص داده شود.
حساسیت به‌بیان ریاضی، حاصل تقسیم موارد مثبت واقعی به حاصل‌جمع موارد مثبت واقعی و موارد منفی کاذب است.