So testen Sie erfolgreich mit aussagekräftigen Reportings

geralt / Pixabay

Vielleicht merken Sie es gar nicht – aber Sie testen täglich. Den meisten von uns ist es gar nicht bewusst: Wenn Sie in einem Kaufhaus vier verschiedene Anzüge anprobieren, bevor Sie sich entscheiden, testen Sie. Wenn Sie einen Wein verkosten, bevor Sie eine Flasche für Ihre Freunde mit nach Hause nehmen, testen Sie. Bei solchen alltäglichen Tests verlassen wir uns häufig auf unser Gefühl. Und das ist auch in Ordnung. Wenn es aber um das Testing der digitalen Inhalte und Designs einer Website geht, reicht das Bauchgefühl alleine nicht aus.

Die gute Nachricht: Ein aussagekräftiges, präzises Reporting ist dafür da, das Bauchgefühl aus Ihren Tests zu verbannen. Diejenigen, die Ihre Berichte lesen, interessieren sich nicht für Ihre intuitiven Einschätzungen (zumindest nicht, wenn es um ihre Geschäftsziele geht).

Nützliche Berichte über durchgeführte Testkampagnen und deren Resultate erhalten Sie jedoch nur, wenn Sie einige elementare Schritte beachten:

Schritt 1: Stellen Sie die richtigen Fragen (vor dem Test)

Häufig macht man bei der Auswahl von Metriken, die den Einfluss eines Tests ermitteln sollen, den Fehler alles messen zu wollen. Schließlich können zu viele Daten nicht schaden, oder? Doch, das können sie.

Bevor Sie entscheiden, wie Sie den Erfolg eines Tests messen, sollten Sie sich daher zunächst die folgenden Fragen stellen:

  1. Was ist das Ziel des Tests?
  2. Welche Inhalte der Website werden dabei verändert?
  3. Über welche Kennwerte lässt sich ermitteln, ob die gesetzten Ziele erreicht wurden?

Daten, die keine Antwort auf die letzte Frage liefern, sollten schlicht nicht erfasst werden. Ein Beispiel: Sie wollen die Anzahl der Website-Besucher steigern, die sich neu registrieren. In diesem Fall wäre es überflüssig und verwirrend, zusätzlich Daten zur Nutzung des Navigationsmenüs zu sammeln.

Wer vor dem Test nicht die richtigen Fragen stellt, startet letztendlich eine Kampagne ohne klare Ausrichtung. Und damit eine Kampagne, die keine umsetzbaren Erkenntnisse liefert.

Schritt 2: Lassen Sie den Test zu Ende laufen

Laufende Testkampagnen sind für Unternehmen oftmals unangenehm, schließlich stellt die digitale Präsenz einer Marke einen großen Wert und häufig den ersten Kontaktpunkt zwischen der Firma und einem potenziellen Kunden dar. Dennoch ist es wichtig, Tests in Ruhe anzugehen und keine voreiligen Entscheidungen zu treffen.

Angenommen Sie möchten ermitteln, ob eine Testvariante die Zahl der Registrierungen im Verhältnis zur Live-Seite steigern kann. Wenn nach einer viertägigen Laufzeit und mäßigem Traffic die Live-Seite stark besser performt als die Testvariante, dann sollten Sie auf keinen Fall den Test abschließen und die Testvariante verwerfen. Natürlich ist die Stichprobengröße relevant, doch es gibt noch viele weitere Faktoren, die das Ergebnis beeinflussen. Es ist daher von wesentlicher Bedeutung, dass der Test weiterläuft. So haben Sie Gelegenheit zu beobachten, ob die Dinge sich wieder einpendeln oder im Laufe der Zeit vielleicht sogar umkehren. Nur wenn Sie am Ball bleiben, können Sie mit Ihrem Test aussagekräftige, statistisch relevante Daten sammeln.

Schritt 3: Berichten Sie über statistisch signifikante Ergebnisse

Dass eine Variante mehr Registrierungen als die Ausgangsseite verzeichnet, ist alleine noch kein ausreichender Grund, um die neue Version zu bevorzugen. Wenn eine Variante allerdings eine höhere Registrierungszahl erzielt, ein 95%iges Konfidenzniveau (1) aufweist und andere Faktoren wie ein niedriger Standardfehler bei der Conversion-Rate hinzukommen, ist dies Anlass genug, um die Standardseite auszurangieren.

Bei Reporting-Metriken ist die statistische Signifikanz eine der wesentlichen Voraussetzungen, um handlungsrelevante Informationen zu erhalten – denn sie steht für die Zuverlässigkeit der gesammelten Daten. Weist ein Test ein niedriges Konfidenzniveau auf, dann bedeutet dies, dass die Daten willkürlich sind. Somit würde ein wiederholter Testlauf mit einer hohen Wahrscheinlichkeit andere Ergebnisse produzieren. Ein Test mit hohem Konfidenzniveau lässt hingegen darauf schließen, dass das Ergebnis endgültig ist. Folglich sollten Sie nur Tests, die ein statistisch signifikantes Konfidenzniveau erreichen, als Ausgangsbasis für konkrete Maßnahmen heranziehen. Tests, die ein statistisch signifikantes Konfidenzniveau erst noch erreichen müssen, sollten dagegen abgeändert und wiederholt werden.

Aussagekräftiges Reporting als Schlüssel zu sinnvollem Testing

Der tatsächliche Wert eines Tests ergibt sich erst durch ein präzises, aussagekräftiges Reporting. Ein mangelnder Abgleich der Metriken mit dem Testziel, ein verfrühter Abbruch des Tests, oder das Heranziehen nicht signifikanter Daten können die Ergebnisse einer eigentlich sinnvollen Testing-Kampagne nachhaltig beeinträchtigen. Wenn Sie sich aber an unsere Ratschläge halten, haben Sie die Möglichkeit, das Potenzial Ihrer Reporting-Daten voll auszuschöpfen.


  1. Gibt Auskunft darüber, mit welcher Wahrscheinlichkeit die Lageschätzung eines statistischen Parameters aus einer Stichprobenerhebung auch für die Grundgesamtheit zutreffend ist.

Kommentieren Sie den Artikel