آنچه در اینجا اتفاق افتاده است این است که باد تغییر کرده است

شخصی این مقاله را توسط استاد روانشناسی سوزان فیسکه ارسال کرد ، که قرار است در APS Observer ، مجله انجمن علوم روانشناسی ظاهر شود. مقاله من را کمی ناراحت کرد و من تمایل داشتم که پاسخ خود را کوتاه و شیرین نگه دارم ، اما به نظر می رسید که ارزش ایجاد زمینه را دارد.

من ابتدا مقاله را با شما به اشتراک می گذارم ، سپس آنچه را که می بینم به عنوان مسائل بزرگتر می دانم. عنوان و عناوین این پست به این واقعیت اشاره دارد که بحران تکثیر ، توپوگرافی علم را به ویژه در روانشناسی اجتماعی دوباره تغییر داده است ، و من می توانم این را برای افرادی مانند فیسکی که با لایه های اولیه سرزمین سازگار شده اند ، ببینمتغییرات می توانند فاجعه بار باشند.

من به هیچ وجه از نقطه به نقطه ای از قطعه Fiske استفاده نمی کنم ، زیرا تقریباً همه چیز در مورد کارهای داخلی در حوزه روانشناسی است (مشاغل ، تصدی ، تاکتیک های اسمیر ، افرادی که سعی در محافظت از آزمایشگاه های خود دارند ، عمومیحامیان مالی صحبت ، آسیب پذیری مرحله شغلی) ، و من چیزی در این باره نمی دانم ، زیرا من یک فرد خارج از روانشناسی هستم و در آمار یا علوم سیاسی بسیار کمی از این نوع چیزها را دیده ام.(مطمئناً ، اعمال کثیف در همه بخش های دانشگاهی انجام می شود اما در زمینه هایی که من با آنها آشنا هستم ، نقد روش ها تقریباً در باز است و چهره های پیشرو در این زمینه ها به نظر نمی رسد مشکل زیادی با این ایده داشته باشنداگر چیزی را منتشر کنید ، دیگران می توانند از آن انتقاد کنند.)

همانطور که من به اندازه کافی در مورد سیاست دانشگاهی روانشناسی نمی دانم تا درباره آنچه که فیسکه درباره آن می نویسد اظهار نظر کنم ، بنابراین آنچه بیشتر در مورد آن صحبت خواهم کرد این است که چگونه نگرش های او ، ناراحتی از آنجا که من آنها را به صورت ماده و بیان می بینم ، می تواندبا توجه به تاریخ اخیر روانشناسی و بحران تکثیر آن قابل درک است.

به طور خلاصه ، Fiske دوست ندارد وقتی مردم از رسانه های اجتماعی برای انتشار نظرات منفی در مورد تحقیقات منتشر شده استفاده می کنند. او به طور ضمنی آنچه را که من گاهی اوقات آن را قانون وظیفه تحقیق خوانده ام ، دنبال می کند: این که ، هنگامی که مقاله ای در برخی از مکان های مصوب منتشر شود ، باید به عنوان حقیقت در نظر گرفته شود. من در جای دیگری در مورد مشکلات خود با این نگرش نوشتم - به طور خلاصه ، (الف) بسیاری از مقالات منتشر شده به وضوح خطا هستند ، که اغلب با بررسی داخلی ادعاها قابل مشاهده است و به دنبال تکرار ناموفق ، و (ب نیز واضح تر می شود.) خود انتشار چنان تله ای است که یک خطای آماری برای ترسیم یک خط روشن بین اثر منتشر شده و منتشر نشده است.

ابرها از شمال می چرخند و شروع به باران می کنند

برای درک نگرش Fiske ، این کمک می کند تا درک کنید که چقدر سریع اوضاع تغییر کرده است. از پنج سال پیش - 2011 - بحران تکثیر به سختی ابری در افق بود.

این چیزی است که من به عنوان جدول زمانی وقایع مهم می بینم:

1960-1970s: پل مول استدلال می کند که الگوی استاندارد روانشناسی تجربی مؤثر نیست ، که "یک محقق غیرت و باهوش می تواند به آرامی راه خود را از طریق یک شبکه نانولوژیک تنش پشت سر بگذارد ، و یک سری طولانی از آزمایشات مرتبط را انجام دهد که به نظر می رسد خواننده غیر منتقدی استبه عنوان یک نمونه خوب از "یک برنامه تحقیقاتی یکپارچه" ، بدون اینکه یک بار یک بار رد یا تأیید کند به اندازه یک رشته واحد از شبکه. "

همه روانشناسان می دانستند که پل میل کیست، اما تقریباً هشدارهای او را نادیده گرفتند. برای مثال، رابرت روزنتال مقاله‌ای تأثیرگذار در مورد «مشکل کشوی فایل» نوشت، اما اگر هر چیزی این مسئله حواس را از مشکلات بزرگ‌تر پارادایم یافتن-آماری-اهمیت-به هر طریق-می-توانی-و-اعلان-پیروزی منحرف می‌کند.

دهه 1960: ژاکوب کوهن قدرت آماری را مطالعه می کند، این ایده را گسترش می دهد که طراحی و جمع آوری داده ها برای تحقیقات خوب در روانشناسی مرکزی هستند، و در کتاب خود، تجزیه و تحلیل قدرت آماری برای علوم رفتاری، جامعه پژوهشی روش ها و اصطلاحات کوهن را در عمل خود گنجانده است. با بیش از حد برآورد کردن اندازه افکت های دنیای واقعی، مهمترین مسئله را نادیده می گیرد.

1971: تورسکی و کانمن «اعتقاد به قانون اعداد کوچک» را نوشتند که یکی از اولین مطالعات آنها در مورد تعصبات مداوم در شناخت انسان است. این کار اولیه بر درک نادرست محققین از عدم قطعیت و تنوع (به ویژه اما نه محدود به مقادیر p و اهمیت آماری) متمرکز است، اما آنها و همکارانشان به زودی به سمت خطوط کلی تر تحقیق می روند و مفهوم کار خود را کاملاً تشخیص نمی دهند. برای تمرین تحقیقاتی

دهه 1980-1990: آزمون اهمیت فرضیه صفر در دنیای روانشناسی به طور فزاینده ای بحث برانگیز می شود. متأسفانه این بیشتر به عنوان یک سؤال روشی مطرح شد تا یک سؤال تحقیقاتی، و من فکر می‌کنم ایده این بود که پروتکل‌های تحقیقاتی خوب هستند، تنها چیزی که لازم است اصلاح تحلیل بود. من پخش کلی حدس‌های میل‌مانند را ندیدم که بسیاری از تحقیقات منتشر شده بی‌فایده باشد.

2006: من برای اولین بار در مورد کار ساتوشی کانازاوا، جامعه‌شناس که مجموعه‌ای از مقالات با ادعاهای تحریک‌آمیز منتشر کرد ("مهندسین پسران بیشتری دارند، پرستاران دختران بیشتری دارند" و غیره منتشر کرد. خطای آماریالبته من قبلاً از وجود خطاهای آماری آگاه بودم، اما به طور کامل با این ایده کنار نیامده بودم که این برنامه تحقیقاتی خاص و سایر برنامه های تحقیقاتی مانند آن به دلیل نسبت سیگنال به نویز بسیار پایین، در بدو ورود مرده بودند. به نظر می رسید هنوز مشکلی در تجزیه و تحلیل آماری وجود دارد که باید هر بار یک خطا حل شود.

2008: ادوارد وول، کریستین هریس، پیوتر وینکیلمن و هارولد پاشلر مقاله‌ای بحث‌برانگیز با عنوان «همبستگی‌های وودو در علوم اعصاب اجتماعی» نوشتند و استدلال کردند که نه تنها برخی از مقالات منتشر شده دارای مشکلات فنی هستند، بلکه این مشکلات آماری باعث تحریف زمینه تحقیقاتی می‌شوند. که بسیاری از ادعاهای برجسته منتشر شده در این منطقه قابل اعتماد نیستند. این در حال حرکت به قلمرو میهل است.

همچنین در سال 2008 وبلاگ Neuroseptic شروع به کار کرد که با اهداف نرم معمولی (مطالعات دعا، انکارکننده‌های واکسن) شروع شد، سپس شروع به انتقاد از تبلیغات علمی کرد («می‌خواهم روشن کنم که من برای انتقاد ازخود مقاله یا نویسندگان... من فکر می کنم داده های این مطالعه برای یک متخصص ارزشمند و جالب است. آنچه مرا نگران می کند نحوه گزارش این مطالعه و سایر موارد مشابه آن است و در واقع این واقعیت است که آنها به عنوان گزارش شده اند. اصلاً اخبار»)، اما به زودی به سمت انتقادات بزرگتر از این حوزه رفت. من نمی‌دانم که وبلاگ عصب‌شکنی فی‌نفسه آنقدر مهم بود، اما نشان‌دهنده تغییر بیشتر در وبلاگ‌نویسی علمی-عقاید به دور از موضوعات سیاسی سنتی به سمت انتقاد داخلی است.

2011: جوزف سیمونز، لیف نلسون و اوری سیمونسون مقاله ای با عنوان «روانشناسی مثبت کاذب» در علوم روانشناسی منتشر کردند و اصطلاح مفید «درجات آزادی پژوهشگر» را معرفی کردند. بعداً اصطلاح p-hacking را ارائه کردند و من و اریک لوکن از باغ مسیرهای دوشاخه صحبت می کنیم تا فرآیندهایی را توصیف کنیم که در آن درجات آزادی محقق برای دستیابی به اهمیت آماری به کار گرفته می شود. مقاله سیمونز و همکاران. در عنوان پوزشی خود نیز قابل توجه است و نه تنها ادعاهای زیر شاخه روانشناسی مثبت گرا را زیر سؤال می برد بلکه آن را نیز به سخره می گیرد.(اصلاح: اوری ایمیل زد تا به من اطلاع دهد که مقاله آنها در واقع هیچ ربطی به زیرشاخه روانشناسی مثبت گرا ندارد و آنها قصد ندارند چنین جناسی داشته باشند.)

در همان سال، سیمونسون همچنین مقاله‌ای منتشر می‌کند که مقاله دندانپزشکی به نام دنیس را نابود می‌کند. من نیز از ضعف اساسی بسیاری از تحقیقات تجربی بی اطلاع بودم.

2011: داریل بم مقاله خود را با عنوان «احساس آینده: شواهد تجربی برای تأثیرات ماسبق غیرعادی بر شناخت و عاطفه» در یک مجله برتر روانشناسی منتشر کرد. افراد زیادی فکر نمی کردند که بم ESP را کشف کرده است، اما این تصور کلی وجود داشت که کار او اساساً محکم است، و بنابراین این موضوع به عنوان یک نگرانی برای تحقیقات روانشناسی ارائه شد. به عنوان مثال، نیویورک تایمز گزارش داد:

سردبیر مجله، چارلز جاد، روانشناس در دانشگاه کلرادو، گفت که این مقاله روند بررسی منظم مجله را طی کرده است. او گفت: "چهار داور نظرات خود را در مورد نسخه خطی ارائه کردند و این افراد بسیار مورد اعتماد هستند."

در نگاهی به گذشته، مقاله بم مشکلات بزرگ و آشکاری در مقایسه چندگانه داشت - ویراستار و چهار داور او نمی‌دانستند به دنبال چه چیزی بگردند - اما در سال 2011 ما آنقدرها در توجه به این چیزها خوب نبودیم.

در این مرحله، برخی از کارهای قبلی با این الگوی بزرگ‌تر مطابقت داشت، که نقص‌های روش‌شناختی خاص در عملکرد آماری استاندارد صرفاً اشتباهات مجزا یا حتی الگوهای اشتباه نبودند، بلکه می‌توانستند آسیب جدی به فرآیند علمی وارد کنند. برخی از اسناد مرتبط در اینجا عبارتند از مقاله جان ایوانیدیس در سال 2005، "چرا بیشتر یافته های تحقیقات منتشر شده نادرست هستند"، و مقاله نیکلاس کریستاکیس و جیمز فاولر در سال 2007 که ادعا می کند چاقی مسری است. مقاله Ioannidis اکنون یک کتاب کلاسیک است، اما وقتی منتشر شد، فکر نمی‌کنم بیشتر ما به مفاهیم بزرگ‌تر آن فکر کنیم. مقاله کریستاکیس و فاولر دیگر جدی گرفته نمی‌شود، اما در همان روزگاری که کار بزرگی بود. منظور من این است که این رویدادهای سال‌های 2005 و 2007 در خط داستانی ما قرار می‌گیرند، اما در آن زمان به‌طور کامل به‌عنوان آن شناخته نشدند. شاید این بم بود که همه ما را به این درک واداشت که کار بد می تواند قاعده باشد، نه استثنا.

بنابراین، از اوایل سال 2011، این احساس وجود دارد که چیزی اشتباه است، اما برای مردم چندان روشن نیست که چقدر چیزها اشتباه هستند، و ناظران (از جمله خود من) از همه جا، در واقع آشکار بودن مشکلات مقایسه های متعدد مرگبار در بسیاری از موارد، بی اطلاع هستند. تحقیق منتشر شدهیا، باید بگویم، ترکیب مرگبار نظریه ضعیف که تقریباً به طور کامل توسط نتایج آماری قابل توجهی پشتیبانی می شود که خود محصول درجات آزادی کنترل نشده محقق است.

2011: قسمت های مختلف سوء رفتار علمی به این خبر رسید. Diederik Stapel از گروه Pscyhology در دانشگاه تیلبورگ بیرون می رود و مارک هاوسر از بخش روانشناسی در هاروارد خارج می شود. این و سایر قسمت ها توجه خود را به وبلاگ Watch Watch جلب می کنند. من ارتباط بین کلاهبرداری علمی ، شیب دار و بی کفایتی قدیمی را می بینم: در همه موارد ، محققانی را می بینم که در فرضیه های خود مؤمن واقعی هستند ، که به نوبه خود به اندازه کافی مبهم هستند تا از هرگونه شواهدی که به سمت آنها پرتاب می شود ، پشتیبانی کنند. قانون کلارک را به یاد بیاورید.

2012: گرگوری فرانسیس "خیلی خوب برای درست بودن" منتشر می کند ، و یک سری از مقالات را مطرح می کند و استدلال می کند که نتایج مکرر از نظر آماری قابل توجه (یعنی یک روش استاندارد در مقالات روانشناسی منتشر شده) می تواند نشانه ای از تعصب انتخاب باشد. PubPeer شروع می کند.

2013: Katherine Button ، John Ioannidis ، Claire Mokrysz ، Brian Losek ، Jonathan Flint ، Emma Robinson و Marcus Munafo مقاله را منتشر می کنند "شکست برق: چرا اندازه نمونه کوچک ، قابلیت اطمینان از عصبیت را تضعیف می کند ، که حلقه را از آنالیز قدرت کوهن می بنددبه ناامیدی عمومی تر ، با انتخاب ارتباط و بیش از حد اندازه تأثیر.

در این زمان ، مردم شروع به ارسال مقاله های بد برای من می کنند که بر اساس داده های ضعیف ادعاهای افراطی را مطرح می کنند. اولین مورد ممکن است یکی از آنها در مورد تخمک گذاری و رأی گیری باشد ، اما بعد از آن تخمک گذاری و لباس ، اسلحه چربی و نگرش سیاسی و بقیه می گیریم. اصطلاح "تحقیقات روانشناختی-علمی" وارد واژگان می شود.

همچنین ، جنبش تکثیر بخار به دست می آید و یک سری از تکرارهای ناموفق با مشخصات بالا بیرون می آید. ابتدا عدم تکثیر کاملاً شگفت آور از کار ESP BEM وجود دارد. و یافته های مختلف دیگر از روانشناسی اجتماعی.

2015: نگرانی های مختلفی با کیفیت تحقیق و روند انتشار علمی در تحقیقات "قدرت" دانا کارنی ، ایمی کودی و اندی یاپ ، که پوشش رسانه ای را دریافت می کردند اما از مشکلات امروزه محققان کنترل نشده رنج می برد ، همگرا می شود. مدرک آزادی (به این بحث اوری سیمونسون مراجعه کنید) ، و نتوانست در یک تلاش تکثیر توسط اوا رانیل ، آنا دربر ، مگنوس یوهانسیون ، سوزان لیبرگ ، سونه سول و روبرتو وبر ظاهر شود.

در همین حال ، مراحل معتبر آکادمی ملی علوم (PPNA) وارد بازی می شود و مقالات بسیار بد و با نقص در مورد مباحث دوستانه رسانه ای مانند Himmicanes ، Air Rage و "مردم هنگام نزدیک شدن به یک دهه جدید ، به دنبال معنا می گردند. در عصر زمانی. "این مقالات خاص همه توسط "سوزان تی. فیسکه ، دانشگاه پرینستون" ویرایش شده است. درست هنگامی که این خبر سرانجام در مورد مدرک آزادی محقق ، اهمیت آماری و خطرات مطالعات کم مصرف ، در حال بیرون آمدن بود ، PPNA ها به آنجا می روند. در مورد زمان بد صحبت کنید.

2016: برایان نویزک و دیگران یک پروژه بزرگ تکثیر مشترک را ترتیب می دهند. بسیاری از مطالعات برجسته تکرار نمی شوند. این پروژه تکثیر توجه زیادی را در بین دانشمندان و در اخبار ، روانشناسی در حال حرکت و شاید تحقیقات علمی به وجود می آورد ، وقتی صحبت از اعتماد عمومی می شود. برخی از تلاش های Rearguard برای تکثیر ناموفق وجود دارد اما آنها قانع کننده نیستند.

اواخر سال 2016: اکنون به مرحله "امپراتور لباس ندارد" رسیده ایم. وقتی یافته‌های به ظاهر محکم در روان‌شناسی اجتماعی تکرار نمی‌شوند، دیگر تعجب نمی‌کنیم.

باران شدیدی بارید و برای مدت طولانی باران بارید

خوب، این یک جدول زمانی بسیار دقیق بود. اما نکته اینجاست. تقریباً برای مدت طولانی هیچ اتفاقی نمی افتاد، و حتی پس از اولین افشاگری ها و مقالات نظری، اگر بر روی تحقیقات و مسئولیت های دیگر خود متمرکز بودید، باز هم می توانستید بحران را نادیده بگیرید. به یاد داشته باشید، تا سال 2011، حتی دانیل کانمن در مورد مطالعات اولیه می گفت که «ناباوری یک گزینه نیست. نتایج نه ساخته شده اند و نه تصادفات آماری. شما چاره ای ندارید جز اینکه بپذیرید که نتایج عمده این مطالعات درست است.»

بعد ناگهان دنیا زیر و رو شد.

اگر عمیقاً روی سیستم قدیمی سرمایه گذاری کرده اید، فکر کردن به تغییر باید بسیار ناراحت کننده باشد. فیسکه در موقعیت کسی است که در یک شرکت در حال ورشکستگی صاحب سهام است، بنابراین جای تعجب نیست که او می خواهد درباره آن صحبت کند. اگرچه این قیاس کامل نیست، زیرا کسی نیست که او سهامش را به او بفروشد. کاری که فیسک واقعا باید انجام دهد این است که ضررهای خود را کاهش دهد، اعتراف کند که او و همکارانش اشتباهات زیادی مرتکب شده اند، و ادامه دهد. او دوره تصدی خود را دارد و کلیدهای PPNAS را در اختیار دارد، بنابراین می تواند این کار را انجام دهد. هرچند کوتاه مدت، حدس می‌زنم برای او راحت‌تر باشد که درباره تروریست‌های تکراری و همه این‌ها ناله کند.

شش فوت آب در خیابان های اوانجلین

سوزان فیسک کیست و چرا فکر می‌کند تروریست‌های متدولوژیک در حال دویدن هستند؟من نمی توانم در مورد نکته دوم مطمئن باشم زیرا او از بیان این که این تروریست ها چه کسانی هستند یا به اقدامات تروریستی خاصی اشاره نمی کند. مقاله او دقیقاً هیچ مدرکی ارائه نمی دهد، اما در عوض، حکایت های نیمه تمام غیرقابل بررسی را ارائه می دهد.

من برای اولین بار نام سوزان فیسک را شنیدم زیرا نام او به عنوان ویراستار به مقالات PPNAS فوق الذکر در مورد همیکان ها و غیره پیوست شده بود. بنابراین، حداقل در برخی موارد، او یک قاضی ضعیف در تحقیقات علوم اجتماعی است.

یا به بیان دیگر، او در سال 2016 زندگی می کند اما در تفکرات دوران 2006 گیر کرده است. به 10 سال پیش، شاید من هم عاشق همیکانس ها و روزنامه های خشم هوا می شدم. من می خواهم فکر کنم نه، اما چه کسی می داند؟با پیروی از سیمونسون و دیگران، نسبت به تحقیقات منتشر شده خیلی بیشتر از قبل تردید داشتم. خیلی از ما زمان زیادی را صرف کردیم تا به جایگاهی که میهل پنجاه سال پیش در آن ایستاده بود برویم.

کار منتشر شده خود فیسک نیز مشکلاتی دارد. من در مورد تحقیقات او به طور کلی اظهارنظری نمی کنم، زیرا بیشتر مقالات او را نخوانده ام. چیزی که من می دانم این است که نیک براون برایم فرستاد:

به دلایل مختلف، من [براون] روزی متوجه شدم که این مقاله را می‌خوانم: این کلیشه قدیمی: فراگیر بودن و تداوم کلیشه سالمندان نوشته ایمی جی سی کادی، مایکل آی. نورتون و سوزان تی فیسک (مجله مسائل اجتماعی)، 2005)....

این مقاله فقط با اشتباهات پر شده بود. ابتدا، ادعاهای اصلی آن توسط آمار t 5. 03 و 11. 14 پشتیبانی شد... امممم، پس از محاسبه مجدد، مقادیر در واقع 1. 8 و 3. 3 بودند. بنابراین یکی از ادعاها حتی "از نظر آماری معنی دار" نبود (بنابراین، طبق قوانین، غیرقابل انتشار بود).

اما این بدترین کار نبود. به نظر می رسد که برخی از اعداد گزارش شده در آن مقاله نمی توانند صحیح باشند. این امکان وجود دارد که نویسندگان برخی از محاسبات را اشتباه انجام داده باشند، برای مثال با گرد کردن نادرست مقادیر میانی. خطای گرد کردن آنچنان مهم به نظر نمی رسد، اما می تواند مجموعه مفیدی از «درجات آزادی» را فراهم کند تا به محققان اجازه دهد نتایج مورد نظر خود را از داده هایی که به راحتی با یکدیگر همکاری نمی کنند، به دست آورند.

موارد بیشتری در لینک وجود دارد. داستان کوتاه این است که کادی، نورتون و فیسک یکسری خطاهای داده‌ای را مرتکب شدند - که خیلی بد است، اما چنین چیزهایی اتفاق می‌افتد - و سپس وقتی این خطاها به آنها اشاره شد، از تجدید نظر در چیزی خودداری کردند. تئوری ماهوی آنها به قدری باز است که می تواند تقریباً هر نتیجه و هر تعاملی را در هر جهت توضیح دهد.

و به همین دلیل است که ادعای نویسندگان مبنی بر اینکه اصلاح اشتباهات "نتیجه گیری مقاله را تغییر نمی دهد" مضحک و بیش از حد درست است. این مضحک است زیرا یکی از ادعاهای کلیدی کاملاً مبتنی بر یک p-value از نظر آماری معنی دار است که دیگر وجود ندارد. اما این ادعا درست است زیرا "نتیجه گیری واقعی مقاله" به هیچ یک از جزئیات آن بستگی ندارد - تنها چیزی که اهمیت دارد این است که چیزی وجود دارد، جایی که p کمتر از 0. 05 دارد، زیرا این برای انتشار و تبلیغ کافی است. ادعاهایی در مورد "فراگیر بودن و تداوم کلیشه سالمندان" یا هر چیز دیگری که آنها می خواهند در آن روز منتشر کنند.

وقتی نویسندگان اعتراض می کنند که هیچ یک از خطاها واقعاً مهم نیستند، به شما می فهماند که در این پروژه ها، داده ها اصلاً مهم نیستند.

چرا این همه جزئیات را وارد می کنم؟آیا این به سادگی لجن کشی است؟فیسکه به اصلاح‌طلبان علم حمله می‌کند، پس اصلاح‌طلبان علم فیسکه را مورد انتقاد قرار می‌دهند؟نه، این موضوع نیست. موضوع خطاهای پردازش داده های فیسک یا قضاوت ضعیف او به عنوان سردبیر مجله نیست. بلکه آنچه در اینجا مربوط است این است که او در یک پارادایم مرده کار می کند. الگویی که باید در دهه 1960 مرده می‌بود، زمانی که میهل درباره همه این‌ها می‌نوشت، اما به دنبال Simonsohn، Button و همکاران، Nosek و همکاران، قطعا امروز مرده است. این پارادایم نظریه پایان باز، انتشار در مجلات برتر و تبلیغ در مطبوعات عمومی و تجاری است که بر اساس نتایج "p کمتر از 0. 05" به دست آمده با استفاده از درجات آزادی پژوهشگر فراوان است. این پارادایم این تئوری است که به قول جرمی فریز جامعه شناس، «بیشتر خون آشام است تا تجربی – نمی تواند با داده های صرف کشته شود». این الگویی است که روی باومیستر و جان برگ، دو روانشناس اجتماعی برجسته دنبال می‌شوند که در برخی از شکست‌های تکراری در مسیر اشتباه قرار گرفته‌اند و نمی‌توانند از عهده آن برآیند.

من نمی گویم که هیچ یک از کارهای فیسک تکرار نمی شود یا بیشتر آن تکرار نمی شود یا حتی یک سوم آن تکرار نمی شود. هیچ نظری ندارم؛من هیچ نظرسنجی انجام ندادممن می گویم رویکرد تحقیقاتی که فیسک در پاسخ به انتقاد از آن کار او نشان داد، سبکی است که ده سال پیش، در روانشناسی استاندارد بود، اما دیگر چندان نیست. بنابراین باز هم، ناراحتی او با دنیای مدرن قابل درک است.

به نظر می‌رسد همکاران فیسک و دانشجویان سابق نیز سبک‌های پژوهشی مشابهی را نشان می‌دهند، از فرضیه‌های انعطاف‌پذیر، اثبات به آمار و نگرش غیرجدی نسبت به انتقاد حمایت می‌کنند.

و بگذارید در اینجا تأکید کنم که ، بله ، آمارشناسان می توانند نقش مفیدی در این بحث داشته باشند. اگر Fiske و غیره واقعاً از آمار و روشهای تحقیق متنفر هستند ، خوب است. آنها می توانند سعی کنند آزمایش های شفاف را که هر بار کار می کنند طراحی کنند. اما ، نه ، آنها کسانی هستند که ادعاهای خود را با استفاده از مقادیر p استخراج شده از داده های پر سر و صدا توجیه می کنند ، آنها کسانی هستند که ارسال های مربوط به PPNA ها را رد می کنند زیرا به اندازه کافی هیجان انگیز نیستند ، آنها کسانی هستند که به نظر می رسد تقریباً به هر چیزی اعتقاد دارند(به عنوان مثال ، این ادعا مبنی بر اینکه زنان براساس زمان ماه ، ترجیحات رای خود را با 20 درصد امتیاز تغییر می دهند) اگر "P کمتر از 0. 05" داشته باشد. اگر این بازی شما می خواهید بازی کنید ، مطمئناً انتقاد روشها مرتبط است.

رودخانه تمام روز برخاست ، رودخانه تمام شب برخاست

خطاها از خودشان تغذیه می کنند. محققانی که یک خطا ایجاد می کنند می توانند موارد بیشتری را دنبال کنند. هنگامی که واقعاً به شماره های خود اهمیت نمی دهید ، هر اتفاقی می تواند رخ دهد. در اینجا نمونه ای وحشتناک از برخی از محققان که کار آنها مورد سؤال قرار گرفته است آورده شده است:

اگرچه 8 خطای برنامه نویسی در داده های مطالعه 3 کشف شد و این مطالعه خاص از آن مقاله جمع شده است ، همانطور که در این مقاله نشان می دهم ، استدلال هایی که توسط منتقدین مطرح می شود غیرقابل توصیف است. وادوادوادبا توجه به خطاهای ظاهری در مطالعه 3 ، می فهمم که حذف کلمه هدف ساقه SUPP و CE به هیچ وجه بر یافته ها تأثیر نمی گذارد.

هاهاها ، بسیار خنده دار. نتایج به 8 خطای برنامه نویسی بسیار قوی است!همچنین سرگرم کننده است که آنها مطالعه 3 را پس گرفتند اما هنوز هم نمی توانند آن را رها کنند. همچنین اینجا را ببینید.

من از مقاله بدنام "Gremlins" توسط ریچارد تول یادآوری کردم که تقریباً به همان اندازه نقاط داده اصلاحات خطایی را انجام داد - هیچ شوخی نیست! - اما هیچ یک از این اصلاحات برای او کافی نبود که نتیجه گیری خود را تغییر دهد. تقریباً به نظر می رسد که او قبل از زمان تصمیم گرفته است. و ، سلام ، خوب است که کارهای کاملاً نظری انجام دهیم ، اما پس از آن نیازی به منحرف کردن ما با داده ها نیست.

بعضی از افراد در سیل گم شدند

نگاه کنمن نمی گویم اینها افراد بدی هستند. مطمئناً ، شاید آنها گوشه ها را در اینجا یا آنجا قطع کنند ، یا برخی از اشتباهات را مرتکب شوند ، اما این همه فنی هستند - حداقل ، اینگونه است که من حدس می زنم که آنها فکر می کنند. برای کدی ، نورتون و فیسکه قدم به عقب می گذارند و فکر می کنند که شاید تقریباً هر کاری که سالها انجام داده اند همه اشتباه است. وادواداین یک پرش بزرگ است. در واقع ، آنها احتمالاً هرگز آن را نخواهند گرفت. همه مشوق ها در جهت دیگر قرار می گیرند.

در مقاله خود که بهانه من برای نوشتن این پست طولانی بود ، فیسکی ابراز نگرانی از مشاغل دوستانش ، شغلی که ممکن است در اثر پخش عمومی اشتباهات تحقیقاتی آنها آسیب دیده باشد. فقط به یاد داشته باشید که ، برای هر یک از این افراد ، ممکن است سه محقق جوان دیگر که کارهای دقیق و جدی انجام می دادند ، وجود داشته باشند اما پس از آن برای یک کار آلو یا ارتقاء انتخاب نشدند زیرا رقابت با سایر نامزدها که این کار را انجام می دادند بسیار سخت بودکارهای شیب دار اما چشمگیر که در Psych Science یا PPNA منتشر شد. هر دو روش پیش می رود.

بعضی از افراد خوب شدند

نکته دیگری که در اینجا غم انگیز است این است که چگونه به نظر می رسد Fiske نیاز به سازش اصول خودش را در اینجا احساس کرده است. او از "بحث زباله های فیلتر نشده" ، "حملات غیرمجاز" و "شرارت مخالف" غافل می شود و بر اهمیت "نظارت تحریریه و بررسی همسالان" اصرار دارد. به گفته فیسکه ، انتقادات باید "بیشتر اوقات به صورت خصوصی با فرصتی برای بهبود (بررسی همسالان) یا حداقل در مبادلات تعدیل شده (نظرات و توبه های سرپرستی)" باشد. و او از "معیارهای علمی ، هنجارهای اخلاقی و احترام متقابل" می نویسد.

اما فیسکی این دیدگاه ها را در یک حمله نامشخص در یک انجمن بدون تغییر و بدون بررسی همسالان یا فرصتی برای اظهار نظر یا توهین بیان می کند ، در عین حال با اشاره به مخالفان بی نام خود به عنوان "تروریست های متولوژیک". به نظر می رسد زباله های فیلتر نشده با من صحبت می کنند. اما ، پس از آن دوباره ، من Fiske را در زمین بسکتبال ندیده ام ، بنابراین من واقعاً نمی دانم که او وقتی واقعاً زباله صحبت می کند به نظر می رسد.

من این را نه با روحیه گوتچا مطرح می کنم ، بلکه بیشتر برای تأکید بر اینکه موقعیت سختی در آن وجود دارد ، تأکید می کنم. روانشناسی و استاد امور عمومی در دانشگاه پرینستون تا زمانی که می خواهد - اما کار او و کار دوستان و همکارانش به شکلی مورد سؤال قرار می گیرد که هیچ کس نمی توانست ده سال پیش تصور کند. این ترسناک است ، و این برای او بسیار ساده تر است که برخی از "تروریست ها" نامشخص را مقصر بدانیم تا اینکه در درک خود از روشهای تحقیق ، با شکاف ها روبرو شود.

به عبارت دیگر ، فیسکه و دوستان و دانش آموزانش مسیری خاص را دنبال کردند که شهرت ، ثروت و تحسین آنها را به آنها داده است. مسیر را زیر سوال ببرید ، و شما مشروعیت همه آنچه را که از آن ناشی می شود سوال می کنید. و این نمی تواند خوشایند باشد.

رودخانه از طریق پاک به پلاکتین ها فرو رفته است

Fiske از رسانه های اجتماعی اذیت می شود و من می توانم آن را درک کنم. او در بالای رسانه های سنتی نشسته است. او می تواند مقاله ای را در APS Observer منتشر کند و بدون نیاز به بررسی همسالان ، تمام این بحث ها را دریافت کند. او این قدرت را دارد که مقالات را برای مراحل معتبر آکادمی ملی علوم تصویب کند. کار توسط خودش و همکارانش در روزنامه های ملی ، تلویزیون ، رادیو و حتی مذاکرات تد نمایش داده می شود ، یا به همین ترتیب من شنیده ام. رسانه های از بالا به پایین دوست سوزان فیسک هستند. با این حال ، او هیچ کنترلی بر رسانه های اجتماعی ندارد. این باید ناامید کننده باشد ، و من به عنوان یک مدیر موفق رسانه های سنتی (بله ، من نیز در مجلات علمی منتشر کرده ام) ، وقتی تازه واردان کانال های سنتی انتشار را دور می زنند ، می توانم اذیت شوم. افرادی مانند Fiske و خودم زندگی حرفه ای خود را صرف ساختن یک ثروت کوچک از سکه در قالب نشریات و استناد می کنیم ، و دیدن آن بی ارزش است یا اینکه فکر می کنیم نوع دیگری از اسکریپت در گردش است که می تواند چیزهایی را خریداری کند که ما می تواند چیزهایی را خریداری کندپول مدرسه قدیمی نمی تواند.

اما بیایید یک لحظه شغل را فراموش کنیم و در عوض با علم صحبت کنیم.

وقتی صحبت از خطاهای موجود در کارهای منتشر شده می شود ، رسانه های اجتماعی لازم بوده اند. فقط جایگزین منطقی نبوده است. بله ، گاهی اوقات می توان نامه های بررسی شده را در مجلات انتقاد از کارهای منتشر شده منتشر کرد ، اما می تواند تلاش زیادی شود. ژورنال ها و نویسندگان اغلب در برابر انتقادات دفن مقاومت گسترده ای به کار می روند.

این بحث نیز وجود دارد که بسیار مرتبط است:

من در مورد وبلاگ ها در مقایسه با مقالات ژورنال چه چیزی را دوست دارم؟اول ، فضای وبلاگ نامحدود است ، فضای مجله به خصوص در مجلات تبلیغاتی بالا مانند علم ، طبیعت و PPNA ها محدود است. دوم ، در یک وبلاگ ، بیان عدم اطمینان خوب است ، در ژورنال ها هنجار اطمینان وجود دارد. در وبلاگ من ، من توانستم آشکارا در مورد ایده های مختلف تنظیم سن بحث کنم ، در حالی که در مقاله ژورنال ، کیس و داتون حرفی برای گفتن نداشتند ، اما این که تعداد آنها "در گروه سنی 10-45-54 تنظیم نشده است."این همه است!من پرونده و داتون را مقصر نمی دانم که بسیار سخت است. آنها الزامات ژورنال را دنبال می کردند ، این است که حداقل توضیحات و کاوش های حداقل را ارائه می دهند. وادوادوادبارها و بارها ، ما در حال مشاهده مقاله ژورنال یا ژورنال-مقاله به صورت-مطالب به عنوان دلسرد کننده اکتشاف داده ها و دلسرد کردن ابراز عدم اطمینان هستیم. وادوادوادهنجارهای بررسی شده همسالان مانند PPNA ها ، ارائه کار با نمای یقین را تشویق می کنند.

باز هم ، هدف در اینجا انجام علم خوب است. انجام علم خوب دشوار است وقتی اشتباهات پرچم گذاری نمی شوند و وقتی قرار است مثل همیشه درست عمل کرده باشید ، هر الگوی داده ای که می بینید با تئوری سازگار است و غیره. نویسندگان اثر اصلی ، که می توانند سالها تعقیب و گریز را که قبلاً بی اعتبار بوده اند ، هدر دهند ، این یک مشکل برای محققانی است که کارهای نادرست را دنبال می کنند ، و این یک مشکل برای سایر محققان است که می خواهند کارهای دقیق انجام دهند اما این کار را دشوار می کنددر یک محیط چاپی شلوغ با نویسندگان تمرینات چشمگیر و شلخته در معدن سر و صدا که "علوم روانشناختی" (مجله ، نه حوزه علمی) را در یک خط پانچ قرار داده است ، رقابت کنید.

اشتباه است که اشتباه کنید. من خودم کارهایی را منتشر کرده ام که مجبور به عقب نشینی شده ام ، بنابراین به سختی در موقعیتی هستم که دیگران را برای تجزیه و تحلیل داده های شیب دار و در منطق قرار دهم. و وقتی کسی به اشتباهات من اشاره کرد ، من از آنها تشکر می کنم. من تصحیح را به عنوان "تاکتیک های اسمیر آگهی" تبلیغ نمی کنم. در عوض ، من از این نوع انتقاد آزاد ناخواسته استفاده می کنم تا کار خود را بهتر کنم.(برای نمونه ای از چگونگی تنظیم تحقیقات خود در پاسخ به انتقادی که کاملاً آگاهانه و مهربان نبود ، اما هنوز هم ارزش ارائه شده است ، به اینجا مراجعه کنید.) توصیه می کنم سوزان فیسکه همین کار را انجام دهید.

شش فوت آب در خیابان های اوانجلین

از نظر من ، غم انگیزترین قسمت یادداشت فیسکه نزدیک به پایان است ، وقتی او می نویسد ، "علم روانشناختی از طریق همکاری بلکه از طریق پاسخ دادن به مخالفان سازنده بسیار دست به کار شده است. واد. "فیسک بر "سازنده" تأکید می کند که خوب است. ما ممکن است تعاریف متفاوتی از آنچه سازنده است ، داشته باشیم ، اما امیدوارم که همه ما بتوانیم موافقت کنیم که این امر سازنده است که به اشتباهات در کارهای منتشر شده و انجام مطالعات تکثیر بپردازیم.

چیزی که من را ناراحت می کند ، توصیف Fiske از منتقدین به عنوان "مخالفان" است. من دشمن علوم روانشناسی نیستم!من حتی دشمن علوم روانشناختی با کیفیت پایین نیستم: ما اغلب از اشتباهات خود یاد می گیریم و در واقع ، در بسیاری موارد به نظر می رسد که ما واقعاً نمی توانیم یاد بگیریم بدون اینکه ابتدا خطاهای مختلف ایجاد کنیم. آنچه من یک دشمن هستم ، این است که مردم خطایی را قبول نمی کنند و با جدیت از اشتباهاتی که به آنها اشاره شده است نگاه می کنند.

اگر Kanazawa کار Kanazawa خود را انجام می داد ، و قدرت مردم کار خود را به صورت پوزور انجام می داد ، و غیره و غیره ، من می گویم ، خوب ، من می توانم ببینم که چگونه این چیزها ارزش شلیک داشتند. اما هنگامی که تجزیه و تحلیل طراحی آماری نشان می دهد که این تحقیق غیرممکن است ، یا وقتی که شکست های تکثیر نشان می دهد که نتیجه گیری های منتشر شده اشتباه گرفته شده است ، پس از آن لعنتی درست انتظار دارم که شما به جلو بروید ، بارها و بارها همان کار را انجام ندهید و اصرار داشته باشید که همه در کنار هم هستیدواداین که علم نیست. یا ، باید بگویم ، این یک روش واقعاً ناکارآمد برای انجام علم است ، برای محققان فردی که شغل خود را به بن بست دهند ، فقط از این که از پذیرش خطا امتناع می ورزند.

ما از اشتباهات خود می آموزیم ، اما فقط اگر تشخیص دهیم که آنها اشتباه هستند. اشکال زدایی یک روند مشترک است. اگر برخی از کد ها را تأیید کنید و من یک اشکال در آن پیدا می کنم ، من یک دشمن نیستم ، من یک همکار هستم. اگر سعی می کنید من را به عنوان "دشمن" نقاشی کنید تا از اصلاح اشکال جلوگیری کنید ، این مشکل شماست.

آنها سعی می کنند ما را از بین ببرند ، آنها سعی می کنند ما را از بین ببرند

بگذارید با اختلاف نظر کلیدی که با Fiske دارم نتیجه بگیرم. او مجامع تعدیل شده را ترجیح می دهد که انتقاد به صورت خصوصی انجام می شود. من بحث باز را ترجیح می دهم. من شخصاً طرفدار توییتر نیستم ، جایی که به نظر می رسد محدودیت فضا باعث تشویق مبادلات ناخوشایند و غالباً متضاد می شود. من وبلاگ ها و نظرات وبلاگ را دوست دارم ، زیرا ما فضای کافی داریم تا خودمان را به طور کامل توضیح دهیم و به آنچه در مورد آنها بحث می کنیم ، کامل کنیم.

از این رو من این مطلب را در وبلاگ خود ارسال می کنم ، جایی که هر کسی فرصتی برای پاسخگویی دارد. درست است ، هر کسیسوزان فیس می تواند پاسخ دهد ، و هر کس دیگری نیز می تواند. از جمله بسیاری از افراد که به علوم روانشناختی علاقه دارند اما فرصتی برای نوشتن مقالات غیر قابل بررسی برای APS Observer ندارند ، که در دانشگاه های بزرگ و غیره استادان نیستند. روبروی تروریسم. و فکر می کنم این بسیار مسخره است که حتی باید چنین چیزی را بگویم که بسیار واضح است.

پ. بیشتر در اینجا: چرا بحران تکثیر علمی متمرکز بر روانشناسی است؟

294 فکر در مورد "آنچه در اینجا اتفاق افتاده است این است که باد تغییر کرده است"

خلاصه عالیاما ناراحت که دوستان ما از برآورد مرگ لانکت عراق ، جدول زمانی را رقم زدند. این مطمئناً همان چیزی است که من را درگیر مسائل مربوط به اشتراک گذاری/تکثیر داده ها کرده است.

من فکر می کنم که یک نظر طولانی مدت به این خط کار در اپیدمیولوژی درگیری بسیار خوب در این گروه منعکس خواهد شد ، و شاید یک پست وبلاگ SMCISS در آینده این موضوع را انجام دهد.(من با آنها در دو نظرسنجی اخیر خانگی کار کرده ام.)

افراد پشت سرنوشت لانکت ، به ویژه لس رابرتز و گیلبرت برنهام هنوز از انتشار (داده های ناشناس) یا کد رایانه ای که برای تدوین نتایج آنها استفاده می شود ، امتناع می ورزند.(و kudos به مایک اسپاگات برای ادامه کار در این زمینه.) شما واقعاً فکر می کنید که "توجه طولانی مدت" آنها را در یک نور خوب قرار می دهد؟اگر شفاف نیستید ، به نتایج شما نمی توان اعتماد کرد و با توجه به اینکه علوم اجتماعی به کجا می رود ، من شک دارم که تاریخ شما را به آرامی قضاوت می کند.

من خبرهای خوبی در این باره دارم ، که فکر می کنم دقیقاً نوع "تغییر باد" است که وبلاگ اندرو به آن آدرس می دهد. در اولین نظرسنجی که من با این تیم کار کردم ، به روزرسانی در سال 2013 برای برآورد مرگ و میر عراق ، من استدلال کردم که باید یک "بایگانی تکثیر" را منتشر کنیم که حاوی کلیه داده ها و کد تجزیه و تحلیل لازم برای تولید مثل نتایج در مقاله است. بورنهام و شرکت موافقت کردند ، اگرچه من فکر می کنم این فقط برای طنز من بود: http://ghdx. healthdata. org/record/mortality-iraq-sociated-2003-2011-nvasion-and-occupation

در طول بررسی بعدی که به آنها کمک کردم ، من با مسئولیت های دیگر بسیار مشغول کار بودم و بسیار کمتر در تجزیه و تحلیل شرکت کردم. من وقت نداشتم که از انتشار داده ها دفاع کنم ، چه رسد به تمام کارهایی که یک بایگانی را تهیه می کنم. بنابراین من با خوشحالی تعجب کردم که این مقاله بیرون آمد تا ببیند که آنها یک بایگانی عمومی از تمام داده های مطالعه ایجاد کرده اند بدون هیچ گونه درخواست از من: http://datadryad. org/resource/doi:10. 5061/dryad. 0nk1p

kudos به شما و نویسندگان شما!این فقط عالی استهر فرصتی برای اینکه بتوانید Burnham و همکاران را برای انتشار حداقل کد (اگر نه داده ها) از مقالات 2004/2006 منتشر کنید؟یکی از دلایلی که این نتایج ممکن است خارج از فواصل اطمینان از کارهای اخیر شما باشد ، ممکن است خطاهای کدگذاری باشد.