Fehler 2. Art
Was ist ein Fehler 2. Art (Typ II)?
Ein Fehler 2. Art ist ein Begriff aus der Statistik. Er bezieht sich auf einen Testfehler, bei der es keinen endgültigen Gewinner zwischen einem Hauptelement und einer Variante erklärt wird, wenn es aber eigentlich einen geben sollte.
Worin liegen die Unterschiede zwischen Fehlern 1. und 2. Art?
Bei der Durchführung statistischer Hypothesentests gibt es zwei Arten von möglichen Fehlern: Fehler 1. Art und Fehler 2. Art.
Fehler 1. Art sind wie ein "falsches Positiv" und entstehen durch die fälschliche Auffassung, dass eine Variante in einem Test "gewinnt", obwohl das eigentlich nicht ist der Fall ist. Aus wissenschaftlicher Sicht bedeutet das, dass Sie die wahre Nullhypothese fälschlicherweise ablehnen und von einer bestehenden Beziehung ausgehen, die in Wahrheit gar nicht existiert. Die Wahrscheinlichkeit, Fehler 1. Art zu begehen, wird als Fehlerrate 1. Art oder Signifikanzniveau (p-Wert) bezeichnet - diese Zahl wird konventionell und willkürlich auf 0,05 (5 %) gesetzt.
Fehler 2. Art sind wie "falsche Negative", eine fälschliche Annahme, dass eine Variante in einem Test keinen statistisch signifikanten Unterschied gemacht hat. Statistisch gesehen bedeutet dies, dass Sie irrtümlich die falsche Nullhypothese annehmen und von der fehlenden Existenz einer Beziehung ausgehen, obwohl diese tatsächlich existiert. Sie begehen einen Fehler 2. Art, wenn Sie an etwas nicht glauben, das tatsächlich wahr ist.
Warum treten Fehler 2. Art auf?
Statistische Aussagekraft bezeichnet die Wahrscheinlichkeit, dass ein Test einen echten Unterschied in der Conversion Rate zwischen zwei oder mehr Varianten erkennt.
Der wichtigste Faktor, der die Aussagekraft eines gegebenen Tests bestimmt, ist seine Stichprobengröße. Die statistische Aussagekraft hängt auch von der Größe des Unterschieds in der Conversion Rate ab, die Sie testen möchten.
Je kleiner der zu erkennende Unterschied ist, desto größer ist die Stichprobengröße (und desto länger die benötigte Zeit).
Vermarkter können ihre Tests leicht abschwächen, indem sie eine zu kleine Stichprobe verwenden.
Das bedeutet, dass sie eine geringe Chance haben, echte Positive zu erkennen, selbst wenn tatsächlich ein wesentlicher Unterschied in der Conversion Rate besteht.
Im A/B-Testing besteht ein Gleichgewicht zwischen der Schnelligkeit der Testdaten und der Sicherheit der Ergebnisgenauigkeit. Dieses Problem kann umgangen werden, indem ein Test über einen längeren Zeitraum durchgeführt wird, um seine Stichprobengröße zu erhöhen.
Warum ist es wichtig, sich vor Fehlern 2. Art in Acht zu nehmen?
Der Hauptgrund für Vorsicht bei Fehlern 2. Art ist, dass sie Ihre Conversion-Optimierung verhindern und langfristig eine Menge Geld kosten können.
Erkennen Sie die Auswirkungen von Varianten in Ihren alternativen Hypothesen da nicht, wo sie tatsächlich existieren, verschwenden Sie möglicherweise Ihre Zeit und nutzen Gelegenheiten zur Verbesserung Ihrer Conversion Rate nicht.
Beispiel für Fehler 2. Art
Betrachten wir eine hypothetische Situation. Sie sind für eine E-Commerce-Website verantwortlich und testen Varianten für eine Landing Page. Untersuchen wir, wie ein Fehler 2. Art den Umsatz Ihres Unternehmens beeinträchtigen kann.
Ihre Hypothese besagt, dass eine Änderung der CTA-Schaltfläche "Jetzt kaufen" von Grün zu Rot die Conversions im Vergleich zu Ihrer ursprünglichen Landing Page erheblich steigern wird. Sie starten Ihren A/B-Test und warten auf den Eingang der zufälligen Datenstichprobe.
Innerhalb von 48 Stunden stellen Sie fest, dass die Conversion Rate für die grüne Schaltfläche identisch mit der Conversion Rate für die rote Schaltfläche (4,8 %) mit einem Sicherheitsniveau von 95 % ist.
Enttäuscht erklären Sie die grüne Schaltfläche als Fehlschlag und behalten die Zielseite unverändert bei.
In der folgenden Woche lesen Sie einen Artikel darüber, wie grüne Schaltflächen die Conversion Rate erhöhen. Sie beschließen, Ihre Hypothese erneut zu erproben. Dieses Mal warten Sie zwei Wochen, bevor Sie Ihre Ergebnisse überprüfen.
Siehe da! Sie stellen fest, dass die grüne Schaltfläche eine Conversion Rate von 5 % im Vergleich zu den 4,8 % der roten Schaltfläche aufweist. Es stellt sich heraus, dass Sie einen Fehler 2. Art begangen haben, weil Ihre Stichprobengröße zu klein war.
Wie Sie Fehler 2. Art vermeiden
Es ist zwar unmöglich, Fehler 2. Art vollständig zu vermeiden, die Wahrscheinlichkeit deren Auftreten kann jedoch verringert werden, indem Sie Ihre Stichprobengröße erhöhen. Dies bedeutet, dass ein Experiment länger ausgeführt und mehr Daten erfasst werden müssen. So wird zur Vermeidung falscher Schlussfolgerungen beigetragen, dass ein Experiment keine Auswirkungen hat, wenn es das eigentlich doch hat.
Eine weitere Möglichkeit zur Vermeidung von Fehlern 2. Art besteht darin, während der Tests große und grundlegende Änderungen an Ihren Webseiten und Apps vorzunehmen. Je größer die Auswirkung einer Änderung ist, desto kleiner ist die erforderliche Stichprobengröße und desto geringer ist die Wahrscheinlichkeit, dass Sie eine Änderung nicht bemerken. Ein Anstieg der Conversion Rate um 25 % ist viel leichter zu bemerken als ein Anstieg von 0,001 %.