ARArtunabhängigAbelastbar
Im Median melden 31 Prozent der Studien einen anderen Hauptendpunkt als registriert. So prüfen Sie IMRaD, Vorregistrierung, Spin und CONSORT in zehn Minuten.
Zusammenfassung
Eine Studie liest man nicht von vorne nach hinten, sondern von der Fragestellung zum Hauptendpunkt. Prüfen Sie drei Dinge: Welcher einzelne Endpunkt war vorab festgelegt, stimmt er mit dem Registereintrag überein, und deckt sich die Zusammenfassung mit der Ergebnistabelle. In methodischen Übersichten weicht im Median rund ein Drittel der Studien beim Hauptendpunkt vom Register ab. Der Rest des Textes ist Interpretation.
Das Wesentliche
Fast jede biomedizinische Originalarbeit folgt derselben Ordnung: Einleitung, Methoden, Resultate, Diskussion. Die Kurzform heisst IMRaD. Diese Form ist jünger, als man vermutet. Eine Auswertung von vier grossen Medizinzeitschriften über die Jahre 1935 bis 1985 zeigt, dass IMRaD in den 1940er-Jahren aufkam, in den 1970er-Jahren rund 80 Prozent der Originalarbeiten prägte und erst in den 1980er-Jahren das alleinige Muster war.
Der Aufbau ist keine Formsache, sondern eine Beweisordnung. Die Einleitung nennt die Frage. Die Methoden legen fest, was gemessen werden soll, und zwar bevor gemessen wurde. Die Resultate zeigen, was herauskam. Die Diskussion ordnet ein und hat damit den grössten Spielraum aller Abschnitte. Wer eine Studie prüfen will, liest deshalb zuerst die Methoden und die Ergebnistabellen und erst danach Zusammenfassung und Diskussion.
Der Endpunkt ist die Messgrösse, an der eine Studie ihren Erfolg misst: die Zahl der Lahmheitsgrade, die Zeit bis zum Rückfall, der Anteil geheilter Tiere. Eine Studie darf viele Endpunkte messen, aber nur einer entscheidet über ihre Aussage.
Weil jede zusätzlich ausgewertete Messgrösse die Chance erhöht, allein durch Zufall einen Unterschied zu finden. Der Hauptendpunkt ist die Grösse, auf die eine Studie sich vorab festgelegt hat und nach der die Zahl der Teilnehmenden berechnet wurde. Sekundäre Endpunkte liefern Zusatzinformation, tragen aber keine Schlussfolgerung.
| Typ | Vorab festgelegt | Was er belegen kann |
|---|---|---|
| Hauptendpunkt | ja, in Register und Protokoll | die eigentliche Aussage der Studie |
| Sekundärer Endpunkt | ja, aber ohne eigene Fallzahlplanung | Stützung oder Widerspruch, keine eigenständige Aussage |
| Explorativer Endpunkt | nein oder nur allgemein umrissen | Hypothesen für die nächste Studie |
| Surrogatendpunkt | je nach Studie | einen Zwischenschritt, nicht das eigentlich interessierende Ereignis |
Besondere Vorsicht verlangt der Surrogatendpunkt. Er misst einen Zwischenschritt statt des Ereignisses, das eigentlich interessiert: einen Laborwert statt der Genesung, ein Bildgebungsmerkmal statt der Rückkehr zur Arbeit. Surrogate sind praktisch, weil sie früher und häufiger auftreten und die Studie damit kürzer und kleiner wird. Ob ein Surrogat den weiteren Verlauf zuverlässig vorhersagt, ist jedoch für jedes Krankheitsbild und jede Art eigens zu belegen und lässt sich nicht aus der Plausibilität ableiten.
Wie viel Spielraum in der Auswertung steckt, zeigt eine Übersicht über 22 methodische Untersuchungen mit zusammen 3'140 randomisierten Studien: Bei den Untergruppenanalysen wichen die Publikationen in 61 bis 100 Prozent der Fälle von den zugehörigen Studienunterlagen ab, bei den statistischen Analysen in 7 bis 88 Prozent. Untergruppen, die erst nach Sichtung der Daten auftauchen, sind Hypothesen und keine Resultate.
Seit 2005 verlangen die grossen medizinischen Zeitschriften, dass klinische Studien vor Einschluss der ersten Teilnehmenden in einem öffentlichen Register eingetragen werden. Der Eintrag hält Frage, Hauptendpunkt und Messzeitpunkt fest, bevor irgendein Resultat bekannt ist. Genau das macht ihn zum härtesten Prüfstein, den ein Leser hat: Registereintrag und Publikation lassen sich nebeneinanderlegen.
Der Effekt lässt sich beziffern. Unter 55 grossen, öffentlich finanzierten Herz-Kreislauf-Studien in den USA berichteten 57 Prozent der vor dem Jahr 2000 publizierten Arbeiten einen Nutzen der geprüften Massnahme, nach dem Jahr 2000 waren es noch 8 Prozent. Der Anteil an Studien mit Placebovergleich hatte sich in dieser Zeit nicht verändert, und eine Beteiligung der Industrie hing nicht mit der Wahrscheinlichkeit eines positiven Befunds zusammen. Der Bruch fällt zeitlich mit der Registrierungspflicht zusammen, was ein Zusammenhang und kein Beleg für eine Ursache ist.
Praktisch heisst das: Ein Registereintrag enthält ein Feld für den Hauptendpunkt samt Messzeitpunkt, ein Feld für die geplante Teilnehmerzahl und ein Datum. Systematische Übersichten werden in einem eigenen Register hinterlegt, bevor die Literatursuche beginnt. Wer diese drei Felder mit der Publikation vergleicht, führt die wichtigste Qualitätsprüfung in wenigen Minuten selbst durch, ohne eine einzige Zahl nachrechnen zu müssen.
Vorregistrierung ist aber kein Selbstläufer. Ein Vergleich von 193 vorregistrierten mit 193 nicht vorregistrierten psychologischen Arbeiten fand keinen geringeren Anteil positiver Befunde und keine kleineren Effekte. Vorregistrierte Arbeiten enthielten jedoch häufiger eine Fallzahlplanung und stützten sich auf grössere Stichproben. Ein Registereintrag wirkt also nur so gut, wie er präzise formuliert ist.
Häufiger, als der Ruf der Fachliteratur vermuten lässt. Eine Übersicht über 27 methodische Untersuchungen fand im Median bei 31 Prozent der Studien eine Abweichung beim Hauptendpunkt; beschränkt auf vorab registrierte Studien stieg dieser Wert auf 41 Prozent. Im Median führten 13 Prozent der Arbeiten einen im Register gar nicht genannten Endpunkt neu ein.
Die Richtung der Abweichung ist selten neutral. In einer Auswertung von 180 Studien aus drei neurologischen Zeitschriften fehlten 21 Prozent der registrierten Hauptendpunkte in der Publikation, während 34 Prozent der Arbeiten einen nicht registrierten Hauptendpunkt ergänzten und 29 Prozent den Messzeitpunkt verschoben. Wo sich die Wirkung nachvollziehen liess, begünstigten zwei Drittel der schweren Abweichungen ein statistisch bedeutsames Resultat. In der plastischen Chirurgie waren von 145 Studien überhaupt nur 39 Prozent registriert, und von den 49 auswertbaren Arbeiten zeigten 88 Prozent mindestens eine Abweichung.
Was das für Übersichtsarbeiten bedeutet, zeigt eine Untersuchung an 283 Cochrane-Reviews: In einem Drittel steckte mindestens eine Studie mit starkem Verdacht auf selektive Ergebnisberichterstattung. Von 42 zusammenfassenden Analysen mit einem bedeutsamen Resultat verloren acht diese Bedeutsamkeit, sobald die fehlenden Daten berücksichtigt wurden.
Spin bezeichnet Formulierungen, die ein Ergebnis günstiger erscheinen lassen, als die Zahlen es hergeben. Systematisch beschrieben wurde er 2010 an 72 randomisierten Studien, die im Hauptendpunkt keinen Unterschied gefunden hatten: 18 Prozent der Titel, 58 Prozent der Fazite in der Zusammenfassung und 50 Prozent der Fazite im Volltext stellten die geprüfte Behandlung trotzdem als vorteilhaft dar.
Der Befund betrifft nicht ein einzelnes Fachgebiet. Eine methodische Übersicht über 35 Erhebungen fand Spin in klinischen Studien, Beobachtungsstudien, Diagnosestudien und Übersichtsarbeiten; am häufigsten und am unterschiedlichsten ausgeprägt war er in klinischen Studien. Die beiden verbreitetsten Muster: Ergebnisse ohne Unterschied werden heruntergespielt, und für blosse Zusammenhänge wird ursächliche Sprache verwendet. Bei 52 Nichtunterlegenheitsstudien in der Onkologie ohne bedeutsames Hauptergebnis trat Spin in 75 Prozent der Berichte auf.
Dass Spin wirkt, ist selbst experimentell geprüft. In einem randomisierten Versuch beurteilten 300 Ärztinnen und Ärzte dieselben Studienergebnisse entweder in der Originalfassung mit Spin oder in einer neutral umgeschriebenen Fassung; die Zuteilung erfolgte zufällig, und die Beurteilenden kannten die Fragestellung nicht. Die Fassung mit Spin liess die Behandlung auf einer Skala von 0 bis 10 im Schnitt um 0,7 Punkte wirksamer erscheinen.
CONSORT ist die Berichtsnorm für randomisierte Studien. Die Fassung von 2025 umfasst 30 Punkte, darunter sieben neue, sowie erstmals einen eigenen Abschnitt zu offener Wissenschaft: Protokoll, Analyseplan, Datenverfügbarkeit. PRISMA erfüllt dieselbe Aufgabe für systematische Übersichten und zusammenfassende Analysen; die Fassung von 2020 zählt 27 Punkte und ein Flussdiagramm, das die Auswahl der eingeschlossenen Studien nachvollziehbar macht.
Als Leserin oder Leser muss man diese Listen nicht auswendig kennen. Ihr Nutzen liegt darin, dass sie benennen, was fehlen darf und was nicht. Eine Methodenübersicht über 50 Erhebungen mit zusammen 16'604 randomisierten Studien fand: In Zeitschriften, die sich zu CONSORT bekennen, war die verdeckte Zuteilung in 45 Prozent der Arbeiten ausreichend beschrieben, in Zeitschriften ohne solche Selbstverpflichtung nur in 22 Prozent. Auch im besseren Fall bleibt also mehr als die Hälfte unklar.
Verdeckte Zuteilung heisst, dass niemand vorhersehen kann, in welche Gruppe der nächste Teilnehmer kommt. Fehlt diese Angabe, lässt sich nicht beurteilen, ob die Gruppen wirklich vergleichbar entstanden sind. Das ist kein Formfehler, sondern eine Lücke im Beweis.
Für Tierversuche gilt die ARRIVE-Norm, aktuell in der Fassung 2.0 mit zehn Kernpunkten. Eine systematische Auswertung von 263 Publikationen mit 275 Tierexperimenten aus einem einzelnen Gebiet, der präklinischen Forschung zu abbaubaren Metallimplantaten bei Knochendefekten, fand bei diesen zehn Kernpunkten einen Erfüllungsgrad von rund 42 Prozent. Ob dieser Wert auch für die Pferdeforschung gilt, ist damit nicht gesagt. Wer eine Pferdestudie liest, prüft deshalb zuerst, ob Zahl der Tiere, Art der Zuteilung und Verblindung überhaupt genannt sind.
Die zweite Frage betrifft die Finanzierung. Eine Auswertung von 126 randomisierten Studien aus der Veterinärmedizin, darunter Arbeiten an Pferden, Rindern, Hunden, Katzen und Schafen, fand positive Resultate in 56,9 Prozent der von der Pharmaindustrie finanzierten Studien, gegenüber 34,9 Prozent bei anderer Finanzierung und 29,1 Prozent ohne Angabe der Geldquelle. Das ist ein Zusammenhang und kein Nachweis absichtlicher Verzerrung, aber ein guter Grund, die Finanzierungsangabe zu suchen. In derselben Auswertung war das Verzerrungsrisiko bei einem grossen Teil der Studien schlicht nicht beurteilbar, weil die Angaben fehlten.
Die folgenden sechs Schritte lassen sich an jeder frei zugänglichen Publikation durchführen, ohne statistische Vorkenntnisse und ohne Zugang zu Rohdaten.
Dieses Raster ersetzt keine methodische Ausbildung. Es filtert aber zuverlässig jene Arbeiten heraus, bei denen die Überschrift mehr verspricht als der Datensatz, und genau das ist der häufigste Grund für falsche Erwartungen an eine Behandlung.
Eigene Auswertung
| Prüffrage | Wo im Artikel | Womit vergleichen | Gemessene Häufigkeit des Problems | Folge für das Fazit |
|---|---|---|---|---|
| Ist genau ein Hauptendpunkt genannt? | Methoden, Abschnitt Endpunkte | Registereintrag vor Studienbeginn | Von 323 publizierten Studien waren 45,5 Prozent ausreichend registriert | Ohne festen Hauptendpunkt ist jedes positive Resultat ein Fund unter vielen |
| Stimmt der publizierte Hauptendpunkt mit dem registrierten überein? | Methoden gegen Registereintrag | ClinicalTrials.gov, ISRCTN, PROSPERO | Median 31 Prozent Abweichung, bei vorab registrierten Studien 41 Prozent | Der berichtete Effekt kann der günstigste von mehreren sein |
| Wurde der Messzeitpunkt verschoben? | Methoden und Resultate | Registereintrag und Protokoll | In 180 Neurologiestudien 29 Prozent | Ein anderer Zeitpunkt kann die Richtung des Ergebnisses drehen |
| Sind Untergruppen vorab geplant? | Methoden, Analyseplan | Protokoll oder statistischer Analyseplan | Abweichungen bei Untergruppen in 61 bis 100 Prozent der geprüften Arbeiten | Nachträgliche Untergruppen sind Hypothesen, keine Resultate |
| Deckt sich das Fazit mit der Ergebnistabelle? | Zusammenfassung gegen Ergebnistabelle | Volltext, Abschnitt Resultate | Beschönigende Fazite bei 58 Prozent von 72 ausgewerteten Studien ohne Unterschied im Hauptendpunkt | Leserinnen und Leser bewerten die Behandlung messbar günstiger |
| Ist die Zuteilung verdeckt beschrieben? | Methoden, Randomisierung | CONSORT 2025, Punkt zur Zuteilung | 45 Prozent in Zeitschriften, die sich zu CONSORT bekennen, 22 Prozent ohne | Ohne diese Angabe ist das Verzerrungsrisiko nicht beurteilbar |
| Bei Tierstudien: Tierzahl, Zuteilung, Verblindung angegeben? | Methoden, Abschnitt Tiere | ARRIVE 2.0, zehn Kernpunkte | Erfüllungsgrad rund 42 Prozent in 275 Tierexperimenten eines einzelnen Fachgebiets | Ohne diese Angaben bleibt die Aussagekraft offen |
Nein, und zwar aus einem messbaren Grund. In einer Auswertung von 72 randomisierten Studien, die im Hauptendpunkt keinen Unterschied fanden, enthielt das Fazit der Zusammenfassung in 58 Prozent der Fälle Formulierungen, die die Behandlung dennoch als vorteilhaft darstellten; in 18 Prozent bereits der Titel. Ein randomisierter Versuch mit 300 Ärztinnen und Ärzten zeigte zudem, dass solche Formulierungen die eingeschätzte Wirksamkeit tatsächlich anheben. Die Zusammenfassung ist ein Werbetext im besten Sinn: sie soll zum Weiterlesen bewegen. Die belastbare Information steht in den Methoden und in der Ergebnistabelle zum Hauptendpunkt.
Der Hauptendpunkt ist die eine Messgrösse, auf die sich die Studie vor Beginn festgelegt hat und nach der die Zahl der Teilnehmenden berechnet wurde. Nur er trägt die Aussage der Studie. Sekundäre Endpunkte werden mitgemessen, haben aber keine eigene Fallzahlplanung; sie können ein Ergebnis stützen oder ihm widersprechen, begründen aber für sich allein keine Schlussfolgerung. Je mehr Endpunkte ausgewertet werden, desto grösser die Chance, rein zufällig irgendwo einen Unterschied zu finden. Deshalb ist eine Studie, die im Hauptendpunkt nichts zeigt und im Fazit einen sekundären Endpunkt hervorhebt, mit Vorsicht zu lesen.
Meist am Ende der Zusammenfassung oder im Methodenteil, als Nummer mit einem Präfix wie NCT, ISRCTN oder CRD. Diese Nummer gibt man in das entsprechende Register ein und erhält die Fassung, die vor Studienbeginn hinterlegt wurde, samt Änderungsverlauf. Interessant sind drei Felder: der Hauptendpunkt, der Zeitpunkt seiner Messung und das Datum der Registrierung im Verhältnis zum Studienbeginn. Findet sich keine Nummer, ist das selbst eine Information. In einer Auswertung plastisch-chirurgischer Studien waren nur 39 Prozent der Arbeiten überhaupt registriert.
An drei wiederkehrenden Mustern, die keine Rechnung erfordern. Erstens: Das Fazit spricht über einen anderen Endpunkt als die Fragestellung. Zweitens: Ein Vergleich innerhalb einer Gruppe vor und nach der Behandlung wird betont, statt der Vergleich zwischen den Gruppen. Drittens: Für einen blossen Zusammenhang wird ursächliche Sprache verwendet, also verbessert statt geht einher mit. Eine methodische Übersicht über 35 Erhebungen nennt genau diese Muster als die verbreitetsten. Der einfachste Test bleibt der Rückvergleich zwischen Fazit und Ergebnistabelle.
Nein, sie beantwortet eine andere Frage. Eine gut gemachte Studie an Pferden ist die beste verfügbare Evidenz für Pferde und sagt für sich genommen nichts über Menschen aus; umgekehrt gilt dasselbe. Der Wert einer Studie bemisst sich daran, wie gut sie die Frage beantwortet, die sie gestellt hat. Zusätzlich gilt für Tierstudien eine eigene Berichtsnorm, ARRIVE 2.0 mit zehn Kernpunkten, deren Erfüllungsgrad in einer Auswertung von 275 Tierexperimenten aus der präklinischen Implantatforschung bei rund 42 Prozent lag. Fehlen Tierzahl, Zuteilung und Verblindung, lässt sich die Aussagekraft nicht beurteilen, unabhängig von der Art.
Es bedeutet, dass kein unabhängiges Dokument existiert, an dem sich die Publikation prüfen lässt. Die Studie kann trotzdem sauber gemacht sein, aber der Leser hat keinen Weg, das zu überprüfen. In einer Auswertung von 323 Studien aus drei Fachgebieten waren 45,5 Prozent ausreichend registriert, der Rest gar nicht, erst nach Studienende oder ohne klar benannten Hauptendpunkt. Bei nicht registrierten Arbeiten gewinnen deshalb andere Merkmale an Gewicht: eine klar formulierte Hypothese im Methodenteil, eine offene Datenablage und eine vollständige Angabe der Finanzierung.
Evidence Lab
Ein Biomarker ersetzt einen klinischen Endpunkt erst nach Validierung: Prüfregeln, biologische Variation, Referenzintervalle, bekannte Fehlschläge.
MEMehrere ArtenBmoderatT1nur Hypothese Freier Zugang
Evidence Lab
Nur bei fünf von 33 Prüfsubstanzen verringerte die Körperoberfläche die Streuung: warum mg/kg zwischen Arten täuscht und was Exposition stattdessen mi
MEMehrere ArtenBmoderatT2Zieldaten begrenzt Freier Zugang
Evidence Lab
Evidenzgrade bewerten Vertrauen, nicht Wahrheit: was randomisierte, beobachtende und Tierstudien belegen, wie GRADE wertet und wo die Pyramide bricht.
MEMehrere ArtenBmoderatT0keine Übertragung Freier Zugang
Einmal im Monat: neue Synthesen, geprüfte Studien und was sich an der Beweislage geändert hat.