Woher wissen wir, wie zufrieden unsere Kunden mit den Ergebnissen unserer Arbeit sind? Können wir jederzeit einschätzen oder sogar wissen, ob sich eine Investition (z. B. ein neues Feature) lohnen wird? Wie schnell können wir als Unternehmen bzw. unsere Teams aus dem gewonnenen Kundenfeedback lernen und die Arbeit entsprechend anpassen?

Genau damit befassen sich unsere Xperten aus dem Fachteam Projektmanagement im nachfolgenden Blogbeitrag.

Vor allem für uns als Product Owner und Projektleitende sind diese Fragen wichtig, da sie eine tatsächliche Auskunft über den Wert eines Produkts liefern. Um sie zu beantworten, müssen wir über das eigentliche Projekt hinausschauen und die Probleme unserer Kunden ganzheitlich betrachten. Indem wir bspw. die Zufriedenheit der Nutzenden messen und sie in unsere Entscheidungen einbeziehen, sichern wir langfristig den Erfolg unseres Produkts. Durch die regelmäßige Auswertung solcher Kennzahlen erhalten wir schnell Rückmeldung zum Wert unseres Dienstes oder Produkts.

Anschließend können wir in der agilen Softwareentwicklung Verbesserungsmöglichkeiten in die zukünftigen Lieferungen des Produkts einbringen und erreichen eine systematische Verbesserung unserer Leistung. Ein zusätzlicher positiver Effekt dieses Vorgehens ist die Reduzierung von Waste, also vergeudeter Arbeit. Anstatt an Umsetzungen festzuhalten, die keinen Mehrwert bringen, können wir uns schneller auf die nützlichen Maßnahmen fokussieren. Das hat nicht nur einen positiven Einfluss auf die Nutzenden, sondern auch auf den Gewinn, den unser Unternehmen damit erzielen kann.

Hinter diesem Vorgehen steht ein Konzept zur Erfolgsmessung, das wir in diesem Beitrag näher erläutern möchten: Evidence-Based Management.

Egal, ob man bereits als Product Owner Erfahrung hat oder an anderer Stelle für Entscheidungen im Unternehmen verantwortlich ist: Dieser Ansatz unterstützt dabei, um bei der Arbeit nachvollziehbare Entscheidungen zu treffen und deren Erfolg messbar zu machen.

Evidence-Based Management (EBM)

Evidence-Based-Management (EBM) ist eine Denkrichtung, die auf zweierlei Grundlagen basiert: zum einen auf den Erfahrungen mit dem Scrum-Framework und zum anderen auf wissenschaftlichen Methoden aus der Medizin, insbesondere dem Ansatz empirischer Beweise. Schauen wir uns zunächst das Wort Evidence-Based Management in seiner Bedeutung genauer an.

1. Management

   • Management ist Führung und Lenkung.
   • Dies erfolgt durch Entscheidungen.
   • Jede Entscheidung hat einen Einfluss auf den Unternehmenserfolg – das kann ein positiver als auch ein negativer sein.

2. Evidence-Based

   • Die Grundlage für Entscheidungen bildet eine beweisbasierte Arbeitsweise.
   • Je besser die Informationsgrundlage einer Entscheidung ist, desto besser lassen sich Entscheidungen mit negativem Einfluss vermeiden und jene mit positivem Einfluss fördern.
   • Die Messung von Erfolgszahlen hilft, schnellstmöglich zu einer Informationsgrundlage für gute Entscheidungen zu kommen.

Als agile Organisation gründen wir unseren Erfolg auf die Lieferung von Wert (im EBM Guide als „Value“ bezeichnet) sowie die kontinuierliche Steigerung von Kundenzufriedenheit. Typischerweise bewegen wir uns hier in einem Umfeld einer gewissen Unsicherheit bezüglich der Erfolgsbedingungen. Aber wie können wir trotzdem sicherstellen, dass wir auf dem richtigen Weg sind?

Nehmen wir an, wir vertreiben bspw. bereits eine App „Hello World“ über den Play Store, die Simultanübersetzungen in allen Sprachen anbietet. Unser Ziel ist es nun, die App mit den meisten zufriedenen Nutzenden und zudem auch Marktführer zu werden.

Mit EBM verfügen wir über eine Vorgehensweise, die uns hilft, für genau solche Fälle Wissen zu gewinnen und darauf aufbauend fundierte Entscheidungen zu treffen. Das bedeutet, dass wir nicht mehr nur auf die Meinung von Stakeholdern und unser Bauchgefühl angewiesen sind. Stattdessen nutzen wir Metriken, Kennzahlen und Kundenfeedback, um unseren Weg zu bestimmen.

EBM Workflow

Hierbei gehen wir nach dem bekannten agilen Ansatz „Inspect and adapt“ vor. Auch bei einem Konzept wie EBM bewegen wir uns mithilfe von Iterationen auf unser Ziel zu. Dabei nutzen wir sogenannte Experimentschleifen: Zuerst legen wir fest, welche Hypothese wir als Nächstes verfolgen. Dann planen wir ein Experiment von überschaubarer Größe und führen es durch. Ein Experiment kann von simplen Textanpassungen in einem Onlineshop bis hin zu einem A/B-Test alles Mögliche sein. Nach der Umsetzung erfolgt die Messung der Resultate (z. B. Messung der Zugriffszahlen von Variante A und B) und somit die Überprüfung unserer Hypothese. Dabei kann es nach Auswertung der Resultate vorkommen, dass der angenommene Lösungsweg je nach Ergebnis weiterverfolgt, verändert oder womöglich auch verworfen wird. Das gewonnene Wissen fließt wiederum in die nächsten Hypothesen ein. Durch diese wiederkehrenden Feedbackschleifen nähern wir uns stetig unserem Ziel.

Die Experimentschleife kurz zusammengefasst:

• Hypothesenbildung
• Experiment & Messung
• Bewertung
• Anpassung

Um wieder auf unser Beispiel zurückzukommen:

• Womit können wir potenzielle Neukunden für unsere App „Hello World“ begeistern?
• Welchen Mehrwert bietet die App den Bestandskunden und welches Entwicklungspotenzial gibt es hier?

Dafür müssen wir erst einmal den Status quo kennen. In unserem Fall gehen wir davon aus, dass Kundenzufriedenheit, die Anzahl der neuen Registrierungen sowie die Anzahl der aktiv Nutzenden, die wichtigsten Parameter sind, um Aussagen über unsere Zielerreichung treffen zu können. Hierzu müssen die Werte natürlich auch gemessen werden. Bspw. durch die Implementierung eines Tracking Tools oder die Bereitstellung von Schnittstellen zur Auswertung bereits vorhandener Daten.

In einer ersten Experimentschleife möchten wir nun die Neuregistrierungen verbessern. Unserer Auswertung zufolge scheint sich dort das meiste Potenzial zu verbergen. Es soll dabei die Hypothese überprüft werden, dass eine barrierefreie Einstiegsseite zu einem Anstieg der Neuregistrierungen führt. Während der Umsetzungsphase kann diese Annahme bereits mit ersten Tests untermauert werden. Nach dem Release der neuen Seite werden u. a. die Registrierungszahlen und die Absprungrate auf der Einstiegsseite ausgewertet und damit bestätigt oder widerlegt, dass diese Umsetzung zum gewünschten Erfolg führt.

Key Value Areas

Da nun das grundsätzliche Vorgehen erläutert wurde, betrachten wir noch einmal genauer, wie und was Teil der Messungen sein sollte, damit diese unsere Entscheidungen auch wirklich unterstützen. Beim EBM geht es vor allem darum, zu erkennen, welcher Mehrwert geschaffen wurde. Es geht hier also gerade nicht um einen möglichst hohen Durchsatz bei Software Releases (Output), sondern um die Auswirkung, die diese Releases auf die Nutzenden haben (Outcome). Nachfolgende Fragen spielen dabei eine wichtige Rolle:

• Welches Ergebnis wurde bei den Nutzenden erzielt und welchen Mehrwert haben sie davon?
• Welche neuen Produkteigenschaften stehen ihnen jetzt bspw. zur Verfügung?

Outcomes messbar zu machen, ist allerdings deutlich schwieriger als das Messen von Outputs. Ob wir erfolgreich waren mit unseren Aktivitäten und Outputs, lässt sich jedoch nur anhand solcher Messungen beantworten. Der EBM Guide bietet hier verschiedene Perspektiven an, um den Wert zu betrachten. Es handelt sich dabei um die Key Value Areas (Abkürzung KVAs):

• Current Value
• Unrealized Value
• Time to Market
• Ability to Innovate

Current Value

Beim Current Value, kurz CV, wird der Fokus darauf gelegt, welchen Wert ein Produkt oder Service in diesem Moment für die Kunden liefert. Um den aktuellen Wert zu erkennen, sollten u. a. folgende Kennwerte betrachtet werden:

• Wie zufrieden sind aktuell die Kunden des Produktes?
• Wie ist die Nutzung bestimmter Features?
• Wie ist das Verhältnis von Kosten zu Umsatz?
• Aber auch: Wie zufrieden und engagiert sind die Angestellten gerade?

Wenn wir ein gutes Bild vom aktuellen Wert eines Produktes haben, erkennen wir auch schnell, wo es Optimierungsmöglichkeiten gibt.

Für unsere Beispiel-App „Hello World“ ist eines der Ziele, die App mit der höchsten Anzahl zufriedener Kunden zu werden. Die Kundenzufriedenheit fällt in den Bereich des Current Value und sollte daher auf jeden Fall gemessen werden. Es könnte aus diesen Messungen auch hervorgehen, dass weitere Verbesserungen nicht notwendig sind, weil bspw. bereits eine sehr hohe Zufriedenheit vorhanden ist.

Unrealized Value

Der Unrealized Value, kurz UV, befasst sich vor allem mit dem Wert hinter noch nicht realisierten zukünftigen Umsetzungen. Was also das Potenzial wäre, wenn die Bedürfnisse aller noch möglichen Kunden erfüllt werden würden. Hierbei helfen uns folgende Fragestellungen:

• Gibt es zusätzlichen Wert, den wir mit unserem Produkt und in unserem Markt schaffen können?
• Wie ist unser Marktanteil?
• Welche Zufriedenheitslücke gibt es bei den Kunden?
• Wie groß ist der Aufwand, die potenziellen Kunden zu erreichen?

Das zweite Ziel für die Weiterentwicklung unserer App „Hello World“ ist es, Marktführer zu werden. Dafür sind besonders Messungen des Unrealized Values von Bedeutung. Wenn bekannt ist, welche Kundenbedürfnisse erfüllt werden müssten, um den Marktanteil zu erhöhen, kann die App in diesen Bereichen weiterentwickelt und der Erfolg der Umsetzungen anschließend gemessen werden. Es ist aber genauso denkbar, dass eine weitere Investition zur Vergrößerung des Marktanteils nicht mehr lohnenswert ist, da die Kosten dafür zu hoch wären.

Time To Market

Time To Market, kurz T2M, betrachtet, wie schnell ein Unternehmen neue Fähigkeiten, Dienstleistungen oder Produkte bereitstellen kann. Das geschieht vor allem deshalb, weil dieser Key Value Einfluss auf die Zeit hat, die wir brauchen, um Wert zu generieren.

• Wie schnell können wir aus neuen Informationen lernen und uns bzw. unser Produkt anpassen?
• Wie schnell können wir neue Ideen testen?

Wenn wir die Zeit bis zum Kunden verringern, dann können wir so auch schneller den aktuellen Wert (CV) unserer Produkte beeinflussen. Mögliche Messungen dabei sind die Release-Häufigkeit, die Durchlaufzeit vom Aufstellen einer Hypothese bis zum tatsächlichen Nutzen für den Kunden oder auch die Zeit, bis ein Defekt behoben wird.

Um für unsere App die Kundenzufriedenheit zu steigern, kann es hilfreich sein, auch die Durchlaufzeit oder Release-Häufigkeit zu verbessern. Konkret würde das z. B. bedeuten, dass die Anzahl von Features in Produktreleases reduziert wird, um schneller einen Mehrwert an einen Teil unserer Kunden zu liefern.

Ability To Innovate

Nicht zuletzt ist es auch empfehlenswert, die Fähigkeit einer Organisation zu betrachten, wie gut sie innovative Lösungen bereitstellen kann. EBM nennt das die Ability To Innovate, kurz A2I. Priorität sollte es sein, diese Fähigkeit zu steigern, um dadurch die Arbeit am Wert von Produkten effektiv zu verbessern.

Ein Beispiel zur Verdeutlichung:

• Wenn innerhalb eines Unternehmens mangelhafte Prozesse zur Entscheidungsfindung existieren, nur schwerfällig die Produktqualität verbessert werden kann oder auch die Kunden die Produkte nur mit großem Aufwand installieren können, werden dadurch die Kapazitäten für Innovation reduziert.
• Der Fokus liegt dann auf der Wartung unserer Produkte oder der Beseitigung von Hindernissen. Budget und Zeit für Neues fehlt.
• Ziel sollte es daher sein, Prozesse und Fähigkeiten zugunsten von Innovationen aufzustellen und Hürden für die Nutzung durch Kunden zu reduzieren.
• Mögliche Metriken sind hier die Technische Schuld, die Innovationsrate oder auch der Index der installierten Versionen.

Für die „Hello World“-App kann es daher auch von Nutzen sein, auf diesen Wertebereich zu schauen. Die Reduzierung systemischer Hindernisse oder der Abbau von wenig wertbringenden Features steigert die Fähigkeit, auf Kundenbedürfnisse hinsichtlich CV oder UV schneller zu reagieren und vor allem mehr Kapazitäten dafür zu schaffen.

Warum ist EBM für uns wichtig?

Als Product Owner und Projektleitende ist in unserer Arbeit der evidenzbasierte Ansatz das Mittel der Wahl. Durch kontinuierliche Messungen gewinnen wir Erkenntnisse, die den Wert jeder Weiterentwicklung erhöhen. Wir wissen also, dass wir an den richtigen Dingen arbeiten oder bekommen schnell eine Rückmeldung, wenn das einmal nicht der Fall ist. Wir verlassen uns nicht auf Annahmen, sondern überprüfen diese durch Messungen und Auswertung der Daten. Gerade beim Start in neuen Projekten hilft uns dieses Vorgehen, um die Kundenbedürfnisse schnell zu verstehen und auch mögliche Potenziale zu ermitteln. In Projekten, an denen wir schon länger mitwirken, ist der Einsatz von EBM und die damit verbundene Messung von Erfolg ein ebenso großer Motivator für uns als auch das Team. Gleichzeitig profitieren auch unsere Kunden von diesem Fokus auf die Wertgenerierung.