מחקר ציון דרך בהשתתפות 100 מדענים מרחבי העולם ניסה לשחזר את הממצאים של 270 ממצאים עדכניים מכתבי עת לפסיכולוגיה מדורגים גבוהים, ולפי מדד אחד, רק 36 אחוז הציגו את אותן תוצאות. זה אומר שבמשך יותר ממחצית המחקרים, כאשר מדענים השתמשו באותה מתודולוגיה, הם לא יכלו להגיע לאותן תוצאות.
"חלק גדול מהשכפולים יצרו ראיות חלשות יותר לממצאים המקוריים למרות שימוש בחומרים שסופקו על ידי המחברים המקוריים, סקירה מראש לאמינות מתודולוגית וכוח סטטיסטי גבוה לזיהוי גדלי ההשפעה המקוריים."הצוות מדווחמַדָעהַיוֹם.
המחקר אורגן על ידי כך שמספר צוותים מרחבי העולם בחרו ניסוי מתוך מהדורת 2008 של אחד משלושה כתבי עת מובילים לפסיכולוגיה ולאחר מכן עקבו אחר המתודולוגיה המקורית ככל יכולתם. נאמר להם ליצור קשר עם המחברים הראשיים במידת האפשר, כדי שיוכלו לקבל תובנה טובה יותר לגבי איך הדברים נעשו בפעם הראשונה.
בעוד ש-97 מתוך 100 המחקרים דיווחו במקורתוצאות -שאד יונג מסביר עליוהאוקיינוס האטלנטיכמו "אם תעשה את המחקר שוב, הסיכויים שלך להסתער לאותן תוצאות (או טוב יותר) יהיו פחות מ-1 ל-20" - רק 36 מהתוצאות הללו יכלו להיות משוכפלות כמשמעותיות סטטיסטית בפעם השנייה.
והמאמרים הללו נלקחו מכתבי העת הטובים ביותר - אלה שהכי קשה להתפרסם בהם. אם המחקרים נלקחו מכל כתבי העת הפסיכולוגיים הזמינים, התוצאות היו כנראה גרועות עוד יותר.
"שיעור ההצלחה נמוך ממה שהייתי חושב", ג'ון יואנידיס מאוניברסיטת סטנפורד, מחבר המאמר שצוטט רבות,מדוע רוב ממצאי המחקר שפורסמו הם שקריים,אמר יונג. "אני מרגיש רע לראות שחלק מהתחזיות שלי אומתו. הלוואי שהוכחו שהם שגויים".
אבל זה לא אומר שהתוצאות משני שליש מהמחקרים הפסיכולוגיים הגבוהים ביותר משנת 2008 היו שגויות. גם אם לא ניתן היה לשחזר את התוצאות, זה לא מוריד מהעובדה שסביר להניח שיש משהו בממצאים המקוריים, אבל כמו בכל המחקרים שלא אומתו ושוכפלו באופן עצמאי, יש לקחת אותם עם גרגר מלח.
בעוד שמחקרים בפסיכולוגיה חברתית, אשר בוחנים כיצד דברים מסוימים משפיעים על התנהגות, ידועים כפחות ניתנים לשחזור ממחקרים קוגניטיביים, אשר בוחנים כיצד המוח מתפקד כאשר הוא אוגר זיכרונות, לומד דברים חדשים וכו', זה לא התחום היחיד בתחום מדע שסובל כשמעבירים אותו דרך סחטת השכפול.
רק אתמול דיווחנוכי סקירה של מאמרים נגד אקלים - מאמרים בכתבי עת שאינם מסכימים עם הקונצנזוס שנגרם ככל הנראה מפעילות אנושית - גילו שהם היו מלאים בטעויות מתודולוגיות, מה שלא היה מאפשר לשכפל את הממצאים שלהם. ובתחילת השנה,נמצא מחקר נפרדכי השכיחות של מחקר פרה-קליני בלתי ניתן לשחזור עולה על 50 אחוז, "כתוצאה מכך כ-28,000,000,000 דולר ארה"ב בשנה שהושקעו על מחקר פרה-קליני שאינו ניתן לשחזור - בארצות הברית לבדה".
אז אין לראות במחקר של היום אינדיקציה לכך שפסיכולוגיה היא מדע פחות אמין. המדע ברמה הבסיסית ביותר שלו עוסק בתהליך של השערה, בדיקה, אימות ובדיקה חוזרת, ולמרות שזה היה צריך להיעשות מלכתחילה עם הניסויים האלה של 2008, מוטב מאוחר מאשר לעולם לא. "אכן, העובדה שהחוקרים הללו מנסים לנתח את האמינות של ממצאים מהדיסציפלינה שלהם היא בוודאי אינדיקטור למחויבות לקפדנות מדעית."ויקטוריה טורק מצביעה על לוח האם.
הסיבות לכך שהמחקרים הללו מתפרסמים ללא שכפול הן, כפי שאתה יכול לדמיין, מורכבות להפליא, אבל אד יונג מתמודד עם העיקראלה אצלואטלנטיסָעִיף.הרבה מזה מסתכם בכך שבני אדם רוצים תשובות, שהמדע אינו חייב לתת בשום אופן.בתור המחברים של היוםמַדָעמחקר לציין: "בני אדם חפצים בוודאות, והמדע מספק אותה לעתים רחוקות. עד כמה שאנו רוצים שזה יהיה אחרת, מחקר בודד כמעט אף פעם לא מספק פתרון סופי בעד או נגד השפעה והסברה."
