Fellow-Programm Freies Wissen 2018/2019 Qualifizierungsworkshop 11.-12.02.2019 @ Museum für Naturkunde Berlin Referent*in: Rima-Maria Rahal & Felix Henninger

Fixing the broken system

Oder: Hilfe, die empirischen Wissenschaften stecken in der Krise, wie kommen wir da wieder raus?

Entstanden im Nachtrag zum Vortrag „Falsche Anreize und statistische Rituale" (Gerd Gigerenzer, 11.02.2019, https://tools.wmflabs.org/scholia/author/Q108184).

Generelle Einführung

• "How open science can solve (parts of) the replication crisis" (Schönbrodt, 2017) https://osf.io/bd5s4/
• Auch: "Openness & Transparency" (Fiedler & Rahal, 2018) https://osf.io/b7dmq/?view_only=a67659e8a54b4b2ea52eb90dc9f686d7
• Auch: Let's be less wrong (Henninger, 2016) http://files.felixhenninger.com/2016/2016-04%20Felix%20Henninger%20--%20Let's%20be%20less%20wrong.pdf

Was ist überhaupt kaputt am System? Und warum ist das ein Problem? Diagnosemodus

• Leistungsdefinition anhand von Publikationszahl
  • "Don't make a fool of yourself: Reputation and performance evaluation in academia" (Schönbrodt, 2018) https://osf.io/zyr4g/)
• Publikationsbias + Ressourcenknappheit (underpowered and false positive literature)
  • "Why most published research findings are false" (Ioannidis, 2005), https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
  • Auch: "The rules of the game called psychological science (Bakker, Dijk, & Wicherts, 2012), http://pages.ucsd.edu/~cmckenzie/Bakker2012Perspectives.pdf
• Dadurch problematische Incentives, die problematischen Forschungspraktiken attraktiver machen: p-Hacking, HARKing, optional stopping.
  • Überblick: https://plato.stanford.edu/entries/scientific-reproducibility/#QuesResePrac
  • p-Hacking zum Ausprobieren: https://www.nicebread.de/introducing-p-hacker/
  • Im Detail: https://osf.io/5d9pk/
  • p value @ calling bullshit https://www.youtube.com/watch?v=eesUdFlYMh8
• Bullshit Asymmetry (Brandolini's Law, http://ordrespontane.blogspot.com/2014/07/brandolinis-law.html):
  • Es braucht zig-fach so viele Datenpunkte, um einen Effekt wieder los zu werden, wie es braucht, um ihn zu etablieren.
  • Beispiel: https://en.wikipedia.org/wiki/Ego_depletion#Reproducibility_controversy_and_conflicting_meta_analyses
  • Nosek et al. (2012): "The problem isn't that false results get into the literature, it's that they stay in the literature"

Das ist dir noch nicht kaputt genug? Dann guck mal hier :'-)

Allgemeine Einführung, was noch alles kaputt ist: "Everything is fucked: The syllabus" (Srivastava, 2016) https://thehardestscience.com/2016/08/11/everything-is-fucked-the-syllabus/

Was kann man machen, um das System zu fixen? Diskussionsvorschläge

• Umdenken bei der Leistungsdefinition: Zählt wirklich nur die Zahl der Publikationen? Und leisten Wissenschaftler das beste, wenn sie unter Druck stehen (https://www.mpg.de/lise-meitner-exzellenzprogramm)?
• Umdenken bei der Publikationswürdigkeit: wie wär's mit transparent (präregistriert, open data, open methods: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002456) und solide (a priori Poweranalyse) statt überraschend und magisch und signifikant
• Proaktiver Umgang mit Fragen zur Replizierbarkeit -> Verbesserung der Literaturlage über Zeit
• Tools die offene Wissenschaft einfach(er) machen
• Als Reviewer auf offene Materialien/Daten bestehen (oder kurze Erklärung warum das nicht möglich ist): https://opennessinitiative.org/
• Incentives für transparentes wissenschaftliches Verhalten, auch 'symbolische' (e.g. badges)
• Stärkerer Fokus auf Replikation (z.B. Abschlussarbeiten an der Fernuniversität Hagen (http://open-science-fernuniversitaet-hagen.de/#))
• (Potentielle) Reproduzierbarkeit von Analysen durch Open Data, Metadaten
• Bewertung von Forschung unabhängig vom Ergebnis: Preregistration, registered reports, result-blind peer review -> Keine "high-risk-Forschung"
• Gemeinsame Initiativen von vielen ForscherInnen
  • Kollaborationen im Einzelfall: Study Swap (https://osf.io/view/StudySwap/)
  • Groß angelegte Kollaborationen, e.g. Open Science Collaboration, Many Labs, Psych Science Accelerator (https://psysciacc.org)
  • Initiativen zur Verbesserung der Forschungsqualität: Society for the Improvement of Psychological Science (https://improvingpsych.org), Network of Open Science Initiatives (https://osf.io/tbkzh/), lokale open-science-initiativen

Weiterführende Literatur

• Nosek, Spies, & Motyl (2012): Scientific Utopia II: "Published and true are not synonyms. To the extent that publishing itself is rewarded, then it is in scientists’ personal interests to publish, regardless of whether the published findings are true" (p. 616)
• Nelson, Simmons, & Simonsohn (2017): Psychology's Renaissance (https://doi.org/10.1146/annurev-psych-122216-011836) https://fivethirtyeight.com/features/psychologys-replication-crisis-has-made-the-field-better/