Manchmal entstehen Produktideen, von denen noch nicht klar ist, ob sie ein Erfolg sein könnten oder nicht. Der Product Owner möchte zunächst nur wenig Aufwand in die Idee investieren und sie verproben. Ein sogenannter AB-Test ist nun sinnvoll.
Ausprobieren, Testen und anschließend Entscheidungen anhand von Zahlen oder Feedback zu treffen, sind wesentliche Bestandteile der Arbeit eines Product Owners. Das ist die Kernidee agilen Arbeitens.
Für einen AB-Test wird die Lösung noch nicht vollständig entwickelt, sondern nur in einer abgespeckten nutzbaren Version bereitgestellt. Für den Test werden zuvor feste Hypothesen mit Kriterien bestimmt, welche den Test erfolgreich machen. Es werden dann einige Nutzer:innen in die bisherige Produktversion geleitet und andere in die Testversion. Es gibt verschiedene Möglichkeiten, die Verteilung vorzunehmen, um eine Signifikanz herzustellen. Der Test läuft anschließend über einen bestimmten Zeitraum.
Am Ende des Testzeitraums werden die erfolgskritischen Zahlen gegenübergestellt und die aufgestellten Thesen überprüft. Sollte sich das Potenzial als groß herausstellen, kann an einer vollständigen Version gearbeitet werden. Sollte sich der Test hingegen als Flop erweisen, so wurde diese Erkenntnis mit verhältnismäßig geringem Aufwand erkauft.