Dieser Artikel fasst schön die Fettnäpfchen zusammen, die man beim Lesen und Schlussfolgern aus Forschungsergebnissen machen kann.

Quelle im Original: https://theconversation.com/the-10-stuff-ups-we-all-make-when-interpreting-research-30816

Sinngemäße Zusammenfassung! Für den exakten Wortlaut und verlinkte Artikel bzw. Bilder bitte auf die Originalquelle gehen, danke!

1. Warte! Das ist bloß eine Studie!

Wenn nur eine Studie vorhanden ist, sollte man bei keinem Thema ein Pauschalurteil fällen. Tut man es absichtlich, ist es Erbenzählerei, tut man’s versehentlich, fällt man aufgrund einer Ausnahme auf eine Täuschung herein.

Gute Beispiele dafür: Die Fälle von Masern, Mumps und Röteln (MMR)-Impfungen, die angeblich Autismus verursachen, und das aufgrund einer (inzwischen zurückgezogenener) Studie glauben. und Erbsenzähler, die selektiv diese Studie benutzten, um Impfungen was entgegenzusetzen.

2. Signifikanz ist nicht gleichbedeutend mit Wichtigkeit

Manche Auswirkungen könnten durchaus statistisch signifikant sein, aber so winzig, dass sie in der Praxis nutzlos sind.

Querverbindungen (wie Korrelationen) sind großartig, um damit in Konflikt zu kommen, besonders, wenn Studien zahlreiche Teilnehmer aufweisen. Grundsätzlich tendieren bedeutende Querverbindungen dazu, bei einer großen Anzahl an Teilnehmern zahlreich, aber nicht unbedingt bedeutungsvoll zu sein.

Beispiel: Eine Studie mit 22 000 Teilnehmern mit einer signifikanten Verbindung (p < 0.00001) zwischen Leuten, die Aspirin nehmen und einer Verringerung von Herzattacken. Die Größenordnung des Ergebnisses war allerdings unbedeutend. Weniger als 1 % betrug der Unterschied in der Wahrscheinlichkeit von Herzattacken bei denen mit täglicher Aspirineinnahme sowie ohne.  In Anbetracht der möglichen Kosten durch die Aspirin-Einnahme und dem Gesamtwirkungsgrad ist es zweifelhaft, ob sich die Einnahme überhaupt rentiert.

3. Und Gesamtwirkungsgrad bedeutet nicht nützlich

Wir haben möglicherweise eine Behandlung, die das Risiko einer Erkrankung um 50 % senkt. Aber wenn das Risiko, diese Erkrankung zu bekommen, bereits verschwindend gering war (sagen wir, ein lebenslanges Risiko von 0,002 %), dann könnte die weitere Verringerung ein wenig witzlos sein.

Wir können das umdrehen und etwas benutzen, was NNT genannt wird (Number Needed to Treat)

Unter normalen Bedingungen: Wenn zwei zufällig ausgesuchte Personen von 100 000 diese Erkrankung während ihrer Lebenszeit bekommen, müssten alle 100 000 die Behandlung benötigen, um die Zahl auf eins zu reduzieren.

4. Beurteilst Du die Extreme durch die Mehrheit?

Die Forschung in Biologie und Medizin erinnern uns dankenswerter Weise daran, dass nicht alle Trends linear sind.

Wir wissen, dass Personen mit sehr hoher Salzzufuhr ein größeres Risiko von Herzgefäßkrankheiten aufweisen als Leute mit mäßiger Salzeinahme.

Aber hey – Leute mit sehr geringer Salzzufuhr zeigen auch ein hohes Risiko für Herzgefäßkrankheiten.

Der Graph ist U-förmig, nicht nur eine gleichmäßig ansteigende Linie. Die Menschen an beiden Enden des Graphen tun wahrscheinlich verschiedene Dinge.

5. Möchtest Du eventuell diese Auswirkung finden wollen?

Ohne es zu bemerken glauben wir eher Informationen, die mit unseren Meinungen übereinstimmen. Wir sind darauf getrimmt, das zu sehen und zu akzeptieren, das bestätigt, was wir bereits wissen, denken und glauben.

6. Wurdest Du durch wissenschaftliche Quacksalberei hinters Licht geführt?

Du wirst sicher nicht überrascht sein zu hören, dass wissenschaftlich klingendes Zeug verführerisch ist. Selbst die Werbemacher benutzen gerne unsere Worte. Aber das ist ein realer Effekt, der unsere Fähigkeit beeinträchtigt, Forschung zu interpretieren. In einer Studie fanden Nichtexperten sogar heraus, dass schlechte psychologische Erklärungen über Verhalten überzeugender sind, wenn sie mit irrelevanter neurowissenschaftlicher Information verbunden sind. Und wenn man noch ein netten, glänzenden fMRI-Scan dazu legt, gib Acht!

7. Qualitäten sind keine Quantitäten und umgekehrt

Aus manchen Gründen fühlen sich Zahlen objektiver an als adjektivbeladene Beschreibungen. Zahlen scheinen rational, Worte irrational. Aber manchmal können Zahlen auch verwirren.

Beispielsweise wissen wir, dass die Leute ungern in langen Schlangen in einer Bank anstehen. Wenn man das verbessern möchte, könnte man die Wartezeiten messen und sich dann darum bemühen, die Zeit zu verringern. Aber in der Realität kann man nur die Wartezeit verringern. Und ein rein quantitativer Ansatz kann andere Möglichkeiten auslassen. Wenn man dagegen Leute fragt, wie sich das Warten für sie anfühlt, könnte man entdecken, dass es weniger darüber geht, wie lang es dauert und mehr darum, wie unbehaglich sie sich dabei fühlen.

8. Modelle repräsentieren per Definition nicht perfekt die Realität

Anerkenner und Leugner des Klimawandels streiten sich regelmäßig über die Aussagekraft der Klimamodelle. Aber wir können noch viel einfachere Modelle betrachten, etwa das klassische Modell eines Atoms. Es wird häufig als ein netter, stabiler Kern in der Mitte von einer Reihe sauber zirkelnden Elektronen dargestellt. Während dies nicht wiedergibt wie ein Atom tatsächlich aussieht, dient es als Erklärung fundamentaler Aspekte über Atome und Verknüpfungen.

Das heißt nicht, dass die Leute falsche Vorstellungen über Atome aufgrund eines vereinfachten Modells haben. Aber dies kann mit Hilfe von weiterer Lehre, Studium und Erfahrung geändert werden.

9. Der Kontext entscheidet

Individuelle Wissenschaftler – und wissenschaftliche Disziplinen – mögen großartig sein, was Ratschläge von einer Seite betrifft. Aber für komplette soziale, politische oder persönliche Angelegenheiten gibt es oft vielfältige Disziplinen und mehrere Sichtweisen müssen berücksichtigt werden.

Um darüber nachzudenken, können wir uns das Radhelm-Gesetz anschauen. Es ist schwer zu bestreiten, dass jemand, der einen Radunfall hatte und auf seinen Kopf fiel, besser einen Helm getragen hätte. Aber wenn wir daran interessiert sind, wie die Gesundheit aller profitiert, dann gibt es Forschungsergebnisse, die nahelegen, dass ein Anteil in der Bevölkerung nicht radeln wird, wenn man gesetzlich verpflichtet wird, einen Helm zu tragen. Rechne dies gegen die Zahl der Unfälle auf , wo ein Helm tatsächlich einen Unterschied in den gesundheitlichen Folgen ausmachte, und Helme nun tatsächlich einen negativen Einfluss auf die gesamte öffentliche Gesundheit haben werden. Zuverlässige, seriöse Forschung kann herausfinden, dass Helmgesetze sowohl gut als auch schlecht für die Gesundheit sind.

10. Nur, weil es durch Kollegen überprüft wurde, ist es nicht richtiger

Die Überprüfung durch andere Kollegen (peer-review) wird als der Goldstandard in der Wissenschaftsforschung in den höchsten Tönen gelobt.

Aber selbst wenn wir annehmen, dass die Kritiker keine Fehler gemacht haben oder es keine Befangenheit bezüglich Richtlinien der Veröffentlichung gibt (oder es keine direkte Täuschung gibt), bedeutet ein peer-reviewed Artikel bloß, dass die Forschung soweit ist, ihn der Gemeinschaft wichtiger Experten fürs Hinterfragen, Überprüfen und Verfeinern zukommen zu lassen.

Es bedeutet nicht, dass er perfekt, vollständig oder korrekt ist. Peer-review ist der Beginn des aktiven öffentlichen Lebens einer Studie, nicht dessen Höhepunkt.

Und schließlich …

Forschung ist eine menschliche Anstrengung und unterliegt damit allen Wundern und Schrecken jeder menschlichen Anstrengung.

Wie bei jedem anderen Aspekt unseres Lebens, haben wir am Ende unsere eigenen Entscheidungen zu treffen. Und sorry, der passende Gebrauch der weltbesten Studie entlässt uns nicht von dieser wundervollen und schrecklichen Verantwortung.

Es wird immer Mehrdeutigkeiten geben, durch die wir mühsam durcharbeiten müssen, wie bei jedem anderen menschlichen Bereich auch. Tu das, was Du am besten kannst, auf Deine Weise, hol Dir ein wenig Rat direkt von oder zumindest ursprünglich über wertvolle Experten.