Eine erste Reaktion auf unsere Kritik an der Studie über Homöopathie bei Lungenkrebs - Langfassung
Dazu Update 2 und Update 3 und Update 4
Stellen Sie sich vor, Sie hätten eine hervorragende, nach strengen wissenschaftlichen Kriterien durchgeführte Studie veröffentlicht, die einen soliden Nachweis dafür liefert, dass man mit einer bestimmten Therapie Patienten helfen kann, die an einer tödlichen Krankheit leiden. Sie hätten gezeigt, dass man die Überlebenszeit Ihrer Patienten ganz beträchtlich verlängern kann, weit über das hinaus, was man heute mit der üblichen Therapie erreichen kann. Nicht nur dass die Patienten länger leben, nein, sie tun dies auch mit einer deutlich besseren Lebensqualität und führen sich dabei auch subjektiv erheblich wohler. Kurz: Es ließe sich ein Fortschritt realisieren, der sonst in jahrzehntelanger Forschung hart erarbeitet werden müsste.
Und dann kommt jemand daher und behauptet, dass die Daten allem Anschein nach manipuliert wurden. Wesentliche Studienparameter seien zu einem Zeitpunkt verändert worden, zu dem die Daten der Versuchspersonen bekannt waren, womit die Ergebnisse in eine positive Richtung verfälscht worden seien. Diese Kritiker zeigen auf, dass die veröffentlichten Ergebnisse Merkmale aufweisen, wie sie genau durch derartige Korrekturen entstehen. Im Endeffekt steht damit ein wissenschaftliches Fehlverhalten im Raum, das, sofern es bestätigt werden würde, Sie ihre wissenschaftliche Reputation kosten könnte, und zwar ziemlich vollständig.
Was würden Sie tun?
Sie könnten die Unterstellungen als völlig absurd ignorieren, denn Sie sind sich der wissenschaftlichen Qualität Ihrer Arbeit sicher. Schließlich könnten Sie, wenn tatsächlich ernsthafte akademische Kritik aufkäme, jederzeit nachweisen, dass Ihre Ergebnisse in einer wissenschaftlich soliden Vorgehensweise zustande gekommen sind.
Sie könnten auch, damit Ein- für Allemal Ruhe ist, auf einige Daten und/oder Dokumente hinweisen, die die Kritiker in ihrer Ignoranz wahrscheinlich übersehen haben oder nicht richtig einordnen und bewerten konnten.
Vielleicht könnten Sie sogar einige Punkte, auf die sich die Kritiker beziehen, aufklären und gegebenenfalls Informationen nachliefern, damit keine weiteren Missverständnisse aufkommen.
Oder würden Sie versuchen Ansatzpunkte für juristische Schritte wegen Verleumdung oder übler Nachrede zu finden?
Nun, wir haben tatsächlich damit gerechnet, dass irgendetwas dieser Art geschehen würde, nachdem wir die Autoren der im Oktober 2020 veröffentlichten Studie zur homöopathischen Zusatzbehandlung bei nicht-kleinzelligem Lungenkrebs (NSCLC) [1] am 6. Juni 2021 angeschrieben hatten. Mit dieser Nachricht haben wir dem Hauptautor und den Ko-Autoren unsere detaillierte Analyse der Studie zugeschickt, die inhaltlich den Blogbeiträgen entspricht, die auf den Webseiten des Informationsnetzwerks Homöopathie und der Initiative für wissenschaftliche Medizin erschienen sind [2].
Denkbar wäre natürlich auch, wenn auch aus unserer Sicht eher unwahrscheinlich, dass eine Begründung für die Vielzahl der Ausschlusskriterien geliefert würde und erläutert werden würde, warum andere ernste mit höherem Alter einher gehende Beschwerden nicht zum Ausschluss von der Teilnahme geführt haben. Oder es könnte ein aktualisiertes Flussdiagramm vorgelegt werden, in dem ersichtlich wäre, wann wie viele Patienten ausgeschlossen wurden. Oder es könnte Erklärungen dafür geben, warum so viele schwerwiegende Adaptionen des Protokolls notwendig waren, diese aber offenbar nicht wichtig genug waren, sie in der veröffentlichten Studie zu erwähnen.
Aber bis jetzt (Ende Juli 2021) ist nichts dergleichen passiert. Stattdessen wurden am 14. und 16. Juni 2021, also keine zwei Wochen nach unserer Nachricht, die Daten des Eintrags im Studienregister bei ClinicalTrials erneut überarbeitet und eine neue Version des Studienprotokolls wurde hochgeladen [3]. Die eingebrachten Veränderungen lassen sich durchaus dahingehend interpretieren, dass alle Ansatzpunkte unserer Kritik verschleiert werden sollten. Natürlich sind die früheren Daten und die frühere Version des Protokolls noch immer im Register verfügbar, jetzt allerdings eine Schicht tiefer, und man muss schon bis zum Ende des Eintrags runterscrollen um den unscheinbaren Link mit dem Titel "History of Changes" zu finden. Wer macht sich ohne einen gegebenen Anlass schon diese Mühe?
Im Gegensatz zu den früheren Versionen stimmen jetzt die Angaben im Register mit denen der veröffentlichten Studie überein, indem jetzt eine vollständige Liste der Ausschlusskriterien ebenso zu finden ist wie die verkürzte Beobachtungszeit zur Lebensqualität, die das Haupt-Zielkriterium darstellt. Man beachte: Während der gesamten Studiendauer bis zum Ende der Beobachtungszeit für den letzten Patienten und bis zum Abschluss der Datenerfassung war das Vorliegen einer Schwangerschaft das einzige Ausschlusskriterium und die Beobachtungszeit war generell auf die gesamte Studiendauer festgelegt. Dies alles wurde erst mit dem Hochladen der ersten Protokollversion geändert, was erst zwei Monate nach Studienende erfolgte - also als die Daten sehr wahrscheinlich bekannt waren und erste Analyseergebnisse vorlagen.
Weiterhin wurde jetzt eine neue Protokollversion hochgeladen, die diesmal auf den 6. Februar 2014 datiert ist [4]. Es liegt allerdings auf der Hand, dass diese Version ebenso wie die vorhergehende wesentlich später entstanden ist. Warum sonst, so muss man sich doch fragen, wurde die angeblich vom Januar 2012 stammende "erste Version" des Protokolls im September 2019 zum Studienregister hochgeladen, wenn diese neuere Version zu diesem Zeitpunkt schon verfügbar gewesen wäre?
Im Gegensatz zur früheren Version sind nunmehr alle Hinweise auf eine wesentlich spätere Fertigstellung entfernt worden: Die Verweise auf Softwareversionen, die erst Jahre nach dem angegebenen Erstellungsdatum freigegeben wurden, sind nicht mehr vorhanden. Der merkwürdige Verweis auf ein Zitat "25", der zwar mit dem Quellenverweis in der veröffentlichten Studie übereinstimmt, im Protokoll selbst aber sinnlos ist, da dieses kein Literaturverzeichnis enthält, ist jetzt ebenfalls verschwunden.
Natürlich sind auch in dieser neuen Protokollversion die Ausschlusskriterien vollständig angegeben sowie die stark verkürzte Beobachtungszeit für die Lebensqualität aus der veröffentlichten Studie.
Neu hingegen ist ein Abschnitt "Berücksichtigung der Stimme des Patienten" ("Bringing in the patient's voice"), in dem die Autoren darstellen, wie sie als Bestandteil der Studie die "ethischen, juristischen, sozio-politischen und wissenschaftstheoretischen Dimensionen der Homöopathie am Beispiel des nicht-kleinzelligen Lungenkrebses systematisch erforschen" wollen, wozu sie eine "integrierte sozialwissenschaftliche Studie" ausführen wollen, in der sogenannte "Focus-Gruppen" aus 4 bis 10 Teilnehmern mit ihren Verwandten, Freunden und Betreuern genutzt werden sollen, um "die Interaktionen zwischen den Individuen, deren gemeinsame und unhinterfragte Annahmen und die Emergenz einer kollektiven Bedeutung" zu erfassen. Oder so ähnlich.
Jedoch ist von diesem ganzen mehr oder weniger bedeutungsleeren aber sehr wissenschaftlich klingenden Soziologie-Sprech kein einziges Wort in der veröffentlichten Studie oder im Studienregister zu finden. Gar nichts! Demzufolge ist es auch müßig, zu versuchen, die Bedeutung dieses Vorhabens zu verstehen.
Es bleibt lediglich die Frage: Warum wurde dieses Kapitel im Protokoll ergänzt? Da diese "integrierte sozialwissenschaftliche Studie" erst nach dem dritten oder vierten homöopathischen Behandlungsgespräch beginnen sollte (Warum eigentlich? Warum sollten die Patienten nicht von Anfang an daran teilnehmen?), erscheint es naheliegend, dass es sich hier lediglich um eine implizite Begründung handeln könnte, warum die Erfassung der Lebensqualität schon nach dem dritten Behandlungsgespräch eingestellt werden sollte.
Als Folge der durchgeführten Veränderungen sind jetzt die Angaben, die sich nach Aufruf der Studie im Studienregister bei ClinicalTrials zeigen, perfekt aufeinander abgestimmt. Das Protokoll stimmt jetzt völlig mit den Angaben in der veröffentlichten Studie überein und ist auf einen Zeitpunkt datiert, als die Messungen noch liefen, man deren Ergebnisse also sicher nicht kannte. Alles in bester Ordnung, würde man nach einer einfachen Überprüfung des Eintrags feststellen.
An dieser Stelle möchten wir eine gewisse Kritik an den Betreiber dieses Registers äußern: Der Zweck der Registrierung von Studien ist es, neben dem publication bias auch irreführende Manipulationen zu verhindern. Ohne Zweifel ist es eine gute Sache, dass in diesem Register alle früheren Datenstände und alle dazu hochgeladenen Dokumente konserviert werden und allgemein zugänglich bleiben. Dies ist bei vielen nationalen Registern nicht der Fall. Aber man muss schon ein gewisses Misstrauen aufgebaut haben und auch einige Ausdauer an den Tag legen, um aktiv die Geschichte der Veränderungen der Einträge zu durchforsten und diese gegebenenfalls zu überprüfen. Geht man nicht so ins Detail, kann eine Verschleierung der früheren Einträge, wie sie jetzt offenbar versucht wurde, durchaus erfolgreich sein, und das beileibe nicht nur, wenn man als Laie nur einen oberflächlichen Blick auf den Eintrag wirft. Deshalb schlagen wir eine Änderung an der Darstellung auf der Webseite vor: Wenn wichtige Parameter geändert wurden, die einen entscheidenden Einfluss auf das Ergebnis haben könnten, wie Ausschlusskriterien oder Beobachtungszeiten, dann sollte dies im Eintrag an prominenter Stelle ersichtlich werden und nicht erst ganz am Ende hinter einem Link "history of changes" verborgen sein.
Aber was die Studie betrifft: Es gibt offensichtlich keine Belege dafür, dass die Studienergebnisse aufgrund solider wissenschaftlicher Vorgehensweisen zustande gekommen sind. Auch scheint man für die von uns erhobenen Vorbehalte keine sinnvollen Erklärungen liefern zu können.
Norbert Aust
Viktor Weisshäupl
[1] Frass M, Lechleitner P, Gründling C et al. Homeopathic Treatment as an Add-On Therapy May Improve Quality of Life and Prolong Survival in Patients with Non-Small Cell Lung Cancer: A Prospective, Randomized, Placebo-Controlled, Double-Blind, Three-Arm, Multicenter Study. The Oncologist 2020;25:e1930–e1955 https://academic.oup.com/oncolo/article-pdf/25/12/e1930/41921704/oncolo_25_12_n_a2.pdf
[2] https://netzwerk-homoeopathie.info/studienkritik-zu-lungenkrebsstudie-frass-et-al-2020/
http://www.initiative-wissenschaftliche-medizin.at/index.php?id=202
[3] https://clinicaltrials.gov/ct2/show/NCT01509612
[4] https://clinicaltrials.gov/ProvidedDocs/12/NCT01509612/Prot_SAP_001.pdf
