Bei der Bewertung der Relevanz von Treatment-Effekten und der Wirkung von Interventionen muss zwischen der klinischen Relevanz und der statistischen Signifikanz empirischer Daten unterschieden werden. Gerade in der Kommunikation kritischer Studienergebnisse ist es von entscheidender Bedeutung zwischen diesen beiden Ebenen zu unterscheiden, damit valide Interpretationen gefunden werden können.
Die klinische Relevanz einer Studie bemisst sich an den Unterschieden unterschiedlicher Therapien oder Interventionen. Dabei gilt, den Grad des konkreten klinisches Mehrwerts einer Intervention festzustellen, indem eine Differenz der ermittelten Mediane verschiedener Interventionen betrachtet wird. Diese Differenz kann als Unterschied der Wirksamkeit verschiedener Maßnahmen betrachtet werden und dient, zusammen mit der fachlichen Einschätzung klinischer Experten, als Richtlinie zur Beurteilung der klinischen Relevanz einer Maßnahme.
Der p-Wert stellt dagegen ein Maß zur Beurteilung der Übertragbarkeit von Ergebnissen einer empirischen Untersuchung auf andere Patienten dar. Forscher legen eine geringe Irrtumswahrscheinlichkeit fest (α-Wert), die darüber bestimmt, wie groß ein gefundener Effekt sein muss, damit eine systematische Wirkung interpretiert werden kann und nicht lediglich zufällig in einer einzelnen Stichprobe vorliegt. Die ermittelte statistische Signifikanz sagt jedoch nichts darüber aus, wie stark der gefundene Effekt ist. Auch ein Vergleich zu bereits bestehenden Methoden und Interventionen kann nicht über signifikante p-Werte erreicht werden.
In der Forschungspraxis kann es leicht zu Verzerrungen hinsichtlich der gefundenen Ergebnisse kommen, da bei der Interpretation von Fachstudien sowohl die klinische Relevanz als auch die statistische Signifikanz bewertet werden müssen. Es lässt sich feststellen, dass fehlerhafte Erhebungen von Stichproben (keine ausreichende Anzahl an Probanden oder nicht-randomisierte Auswahl) zu verzerrten Kennwerten führen und auf diese Weise nicht signifikante Ergebnisse produzieren, obwohl ein bedeutender klinischer Effekt vorliegt. Dies kann zur Folge haben, dass Interventionen in ihrer Wirksamkeit unterschätzt werden und damit wichtige Potentiale zur Behandlung von Patienten verloren gehen. Dagegen kann es aber auch zu einer Überschätzung des klinischen Effekts kommen, wenn in einer überproportional großen Stichprobe stark signifikante Effekte ermittelt werden, welche dazu verleiten können, diese mit starken klinischen Effekten gleichzusetzen. In einem solchen Fall führt eine sehr hohe Zahl untersuchter Personen dazu, dass leicht signifikante Ergebnisse gefunden werden können. An dieser Stelle kann es passieren, dass klinisch wenig wirksame Interventionen durch eine überproportional große Stichprobe überschätzt und mit Blick auf andere Maßnahmen bevorzugt werden.
Zusammenfassung: Es lässt sich festhalten, dass in der klinischen Forschung streng zwischen der klinischen Relevanz und der statistischen Signifikanz unterschieden werden muss. Während die klinischen Relevanz das Ausmaß der Wirkung einer Intervention im direkten Vergleich mit konkurrierenden Maßnahmen betrachtet, misst die statistische Signifikanz, inwieweit gefundene Effekte von einer kleinen Stichprobe auf eine weitaus größere Grundgesamtheit übertragen werden können.