Lügen der Wissenschaftler

Glaubwürdigkeit von medizinischen Journalen

Statistik im Dienst der Medizin

Ein guter Arzt ist nicht notwendigerweise ein guter Statistiker, und ein Statistiker meist nicht nur kein guter sondern überhaupt kein Arzt. Aber ein Arzt benötigt statistische Kenntnisse dringender, als der Statistiker die medizinischen. Vor allem in der medizinischen Forschung sind profunde Mathematik-Kenntnisse in diesem Gebiet dringend nötig und leider häufig nur unzureichend vorhanden. Immer wieder findet man schwerwiegende Fehler in Veröffentlichungen. Sehr häufig nehmen zu wenig Probanden oder Patienten an einer Studie teil, oder wenn die Anzahl quantitativ in Ordnung ist, repräsentieren die Teilnehmer und Teilnehmerinnen meist nicht die Zielgruppe.

Im Januar 2002 brachte die Zeit ein interessantes Interview mit den Medizinstatistikern Hans-Hermann Dubben und Hans-Peter Beck-Bornholdt zu diesem Thema mit dem Titel "Fehler, Lügen, Schlampereien" Sie führen eine Publikation  in einer führenden Zeitschrift für Radioonkologie an, in der zwei Behandlungen verglichen werden, und die Autoren zu dem Ergebnis gelangen, dass die neue Therapie besser als die alte sei. Dubben wörtlich: "Erstens besser bei der Tumorbekämpfung - tatsächlich aber ist das Ergebnis so gerade eben signifikant." Bei dem krankheitsfreien Überleben sähen die Ergebnisse zwar besser aus, seien aber  statistisch nicht signifikant. Bei der Betrachtung der Nebenwirkungen wurden nach Dubben jedoch ein weiterer großer Schnitzer gemacht: "In dieser Arbeit werden sie nur bis zu zwei Jahre nach der Operation ausgewertet. Die anderen Wirkungen der Therapie werden aber bis zu fünf Jahre dokumentiert." Bornholdt weist noch darauf hin, dass dieses Journal peer-reviewed (also von Fachleuten begutachtet wird) ist und in seinem Fach die Nummer eins sei. Besonders erschreckend ist Bornholdts Antwort auf die Frage, ob diese Therapie denn auch in der Praxis eingeführt wurde: "Allerdings. In einem Editorial stand sogar, dass es unethisch sei, nach dem alten Standardverfahren weiterzubehandeln."

Sie kritisieren auch ein mangelndes Design bei vielen Studien. Meist sei der Endpunkt, - also das was man eigentlich überprüfen will, - der Arbeit nicht richtig definiert. Bornholdt sagt, dass dies vergleichbar mit einem Schützen sei, der erst auf ein großes Scheunentor schießt und dann die Zielscheibe um das Einschussloch herum malt. Aber auch wenn das Ziel der Studie festgelegt ist, wird häufig meist nicht festgelegt, wann die Studie beendet sein wird. Das sei wie bei einem Pferderennen, bei dem offen ist, wann das Rennen zu Ende ist. Man wartet also bis das eigene Pferd vorne ist, schießt ein Foto und publiziert.

Die beiden Wissenschaftler hatten die Jahrgänge 1998 und 1999 der deutschen Fachzeitschrift Strahlentherapie und Onkologie hinsichtlich statistischer Fehler analysiert. Im Hinblick auf die Verwendung von Fehlerbalken und Konfidenzintervallen seiein immerhin 20 Prozent der Arbeiten sauber gewesen. Was das multiple Testen anging waren nur noch 4 Prozent der Arbeiten in Ordnung. Über Nebenwirkungen sei nur relativ selten berichtet worden.

Zu ähnlich dramatischen Ergebnissen kommt auch Douglas G. Altman, Autor vieler Bücher und Fachartikel über medizinsche Statistik und deren Anwendungen, in seinem Artikel "Poor-Quality Medical Research: What can Journals Do?"