1 January 2021 in Psychological Bulletin
Questionable research practices (QRPs) can occur whenever one result is favored over another, and tests of mediation are no exception. Given mediation's ubiquity and importance to both theory and practice, QRPs in tests of mediation pose a serious threat to the advancement of psychology. We investigate this issue through the introduction of a straightforward means of detecting the presence and magnitude of QRPs in tests of mediation and validate this methodology with a series of sensitivity tests and simulations. We then apply this method to 2,569 tests of mediation published in five leading psychology journals in 2018 and 2019. We find that despite most hypothesized tests of mediation being likely underpowered, most (76%) were nevertheless supported. Furthermore, confidence intervals (CIs) that just barely exclude zero are 3.6 to 4.4 times as prevalent as those CIs that just barely include zero. We also find a number of study- and test-level factors, such as whether the test of mediation was hypothesized, explain both whether the CI excluded zero (odds ratio [OR] = 17.87, p < .001) as well as the CI's proximity to zero (b = .27, p < .001). In addition, other factors, most notably sample size, do predict the CI's proximity to zero (γ = .00, p < .001), but surprisingly do not predict the CI's exclusion of zero (OR = .99, p = .803). We conclude with actionable QRP curtailment strategies so that both, academics and practitioners, can have greater and well-founded confidence in tests of mediation in psychological research. (PsycInfo Database Record (c) 2020 APA, all rights reserved).
11 April 2024 in Zeitschrift für Didaktik der Naturwissenschaften
Zusammenfassung: Die vorliegende Studie geht der Frage nach, welchen Einfluss der Präsentationsmodus einer Versuchsanleitung auf die Lernwirksamkeit und die Selbstwirksamkeitserwartung nimmt. Im Rahmen dieser Studie erarbeiteten N = 820 Schüler:innen im Alter von 12 bis 16 Jahren (M = 13,7 Jahre, SD = 1,1 Jahre) mit drei Anleitungsvarianten Versuche zur Optik und Infrarotstrahlung. Zum Einsatz kamen Versuchsanleitungen mit identischem Text- und Bildmaterial, einzig im Präsentationsmodus variierend. Die Anleitungsvarianten umfassten Bild-Text-Anleitungen in Form klassischer Arbeitsblätter, Bild-Instruktions-Anleitungen ähnlich dem Frontalunterricht mit einstudiertem Sprechtext der Workshop-Leitenden, und Video-Anleitungen, bei denen Teenager den Versuchsaufbau demonstrierten, basierend auf den gleichen Text- und Bildinhalten wie die Bild-Text-Anleitungen. Die Resultate der Untersuchung sollen Erkenntnisse liefern, welche Präsentationsmodi bei Versuchsanleitungen geeignet sind, damit Schüler:innen mit unterschiedlich hoher Selbstwirksamkeitserwartung selbständig und lernwirksam Schüler:innenversuche im Fach Physik durchführen können. Die Daten wurden in einem Prä- und Post-Test quantitativ erhoben und mögliche Zusammenhänge zwischen den Präsentationsmodi von Versuchsanleitungen, der Lernwirksamkeit und der Selbstwirksamkeitserwartung mittels Multilevel-Regressionsanalysen getestet. Die Auswertung der Daten lässt vermuten, dass innerhalb dieser Untersuchung alle drei Anleitungsvarianten bezüglich ihrer Lernwirksamkeit als ähnlich effektiv angesehen werden können. Bezüglich der Selbstwirksamkeitserwartung deuten die Ergebnisse darauf hin, dass ein Überdenken des Einsatzes von Bild-Text-Anleitungen angebracht sein könnte, da bei dieser Anleitungsvariante eine signifikante Abnahme der Selbstwirksamkeitserwartung festgestellt wurde.