Tag 8: KI-Use-Cases richtig priorisieren

Stefan

Um, du Marc... hast du dir eigentlich mal diese Zahlen aus der NANDA Studie vom MIT angeschaut, also die ganz frische von 2025?

Marc

Fünfundneunzig Prozent, oder? Fünfundneunzig Prozent aller generativen KI Pilotprojekte in Unternehmen bewegen am Ende genau null beim EBIT. Gar nichts.

Stefan

Und das Faszinierende ist ja, es liegt eben meistens nicht an der Technologie selbst. Die Modelle funktionieren ja. Es scheitert fast immer an der Auswahl am Anfang. Und genau da stehen wir ja heute an Tag 8 von unserer Serie.

Marc

Ja, absolut. Ich sehe das in Schweizer Firmen dauernd. Da setzt man sich in einen dreistündigen Workshop, sammelt mühelos 30 bis 50 Use Cases auf einer Longlist. Aber das echte Verhältnis von Ideen zu Umsetzungskapazität liegt in der Praxis bei 20 zu 1. Mindestens.

Marc

Nimm zum Beispiel einen grossen Schweizer Logistikdienstleister. Die hatten auf ihrer Longlist vierzig Ideen, vom KI Kundenservice Chatbot über die automatische Schadensmeldung bei Frachtstücken bis hin zur automatischen Dienstplanoptimierung in der Lagerhaltung. Technisch waren alle spannend, aber Ressourcen gab es realistisch nur für zwei Projekte im laufenden Jahr.

Stefan

Genau das ist das Nadelöhr! Und betriebswirtschaftlich passiert dann meistens das Schlimmste: die Falle der Gleichverteilung. Man gibt jedem Fachbereich ein kleines bisschen Budget. Am Ende hat man dann zwanzig süsse kleine Demonstratoren, aber keinen einzigen Prozess, der wirklich produktiv fliegt.

Stefan

Das sieht man ja auch im Bankensektor. Da entwickelt die Kreditabteilung einen internen KI Assistenzbot für Dokumentenanalyse, die Rechtsabteilung baut parallel ein LLM für Vertragsprüfung, und das Marketing testet Bildgenerierung. Drei Teams, drei Insellösungen, dreifache Lizenzkosten und am Ende hat keine Abteilung genügend Datenreife, um das System produktiv abzusichern.

Marc

Und genau hier kommt die erste brutale Frage, die ein erfahrener CEO oder Unternehmer stellt: Herr KI Manager, warum bauen wir hier eigentlich fünf parallele Inseln, statt einen einzigen Kernprozess so zu automatisieren, dass wir im nächsten Quartal echte Personalkosten sparen oder doppelten Durchsatz fahren?

Stefan

Eine absolut berechtigte Frage! Und wenn der KI Spezialist dann stottert und sagt, ja, wir wollten allen Abteilungen mal die Möglichkeit geben, Erfahrungen mit Generativer KI zu sammeln... dann weiss der Unternehmer sofort: Hier wird Spielwiese finanziert, keine Wertschöpfung.

Marc

Weil am Ende nicht Methode entscheidet, sondern HiPPO. Die Highest Paid Person's Opinion. Oder wer im Meeting am lautesten schreit. Im verdeckten Arbeitsmarkt ist das übrigens genau dasselbe Muster. Zahlen werden oft nur als Deko benutzt, um das Lieblingsprojekt des Chefs abzusegnen.

Marc

Schau dir mal ein klassisches Industrieunternehmen an. Der Head of Sales will unbedingt eine automatisierte KI Offertenerstellung, weil er das auf einer Messe gesehen hat. Aber wenn man in die Daten schaut, liegen die historischen Offerten in eingescannten PDFs auf Netzlaufwerken ohne jede Struktur. Der Use Case ist eigentlich auf Band C der Datenreife, scheidet also sofort aus. Aber weil der Vertriebsleiter Druck macht, wird der Case schönrechnet.

Stefan

Wenn da ein kritischer CFO im Raum sitzt, stellt er sofort die Bohrer-Frage: Haben wir die Daten heute Morgen in einer sauberen Datenbank abrufbar, ja oder nein? Und wer garantiert mir, dass wir nicht sechs Monate Entwicklungszeit nur damit verbringen, unstrukturierte PDFs zu bereinigen, bevor die KI auch nur eine einzige Zeile Angebot schreibt?

Marc

Boom! Das ist die Kernfrage. Und genau deshalb braucht es die stramme Trennung. Ein K.o. Filter ist die Antwort auf genau diese CFO Fragen. Wenn die Daten auf Band C liegen, heisst die Antwort: Nein, Herr CFO, das Projekt startet heute nicht, sondern geht zurück in die Datenkonsolidierung.

Stefan

Und um genau das zu verhindern, müssen wir über die Reihenfolge sprechen. Der verhängnisvollste Fehler überhaupt ist es nämlich, Kriterien erst nach der Bewertung festzulegen. Oder Gewichte nachträglich so hinzuschieben, bis der Favorit gewinnt.

Marc

Wer das in der Berufsprüfung für den AI Business Specialist beim Fachgespräch macht, fliegt sofort auf. Das gibt direkten Punktabzug. Erst das Regelwerk fixieren, datiert und begründet protokollieren, und erst dann die erste Zahl eintragen.

Stefan

Gekoppelt an die fünf Pflichtdimensionen der Handlungskompetenz B3, oder? Also Realisierbarkeit, Datenverfügbarkeit, Wirtschaftlichkeit, Auswirkungen und strategische Passung.

Marc

Richtig. Und für jedes Kriterium braucht es eine Skala mit verbalen Ankerbeschreibungen. Weil eine Vier auf einer Fünferskala ohne Anker für jede Führungskraft etwas völlig anderes bedeutet. Für den einen ist das nett, für den anderen exzellent.

Marc

Beim Kriterium Datenverfügbarkeit reicht es zum Beispiel nicht zu sagen, 4 bedeutet gute Daten. Ein klarer Anker für eine 4 wäre: Die Daten liegen strukturiert in einer SQL Datenbank vor, sind rechtlich abgeklärt und umfassen mindestens 24 Monate historische Daten ohne systematische Lücken. Erst mit dieser Formulierung bewerten zwei IT Architekten ein Projekt genau gleich.

Stefan

Weisst du, was ein Verwaltungsrat an dieser Stelle fragt? Der fragt: Wer haftet eigentlich für das Rating? Haben die Fachspezialisten diese Vier mit ihrem Namen unterschrieben, oder ist das eine aggregierte Schätzung aus einer anonymen Umfrage?

Marc

Exakt! Ein Entscheider verlangt Namensnennung. Wer hat die Datenqualität bewertet? Welcher Datenschutzbeauftragte hat die Freigabe erteilt? Das Qualifikationsprofil verlangt genau das: Benannte Auskunftsquellen für jede einzelne Bewertung.

Stefan

Und ganz wichtig, Marc: K.o. Filter gehören strikt vor das Scoring. Sie sind Bedingungen, keine Punkteabzüge. Fehlt der Sponsor, ist die Rechtslage unklar oder scheitert ein Case an Band C der Data Readiness Levels nach Neil Lawrence von 2017...

Marc

...dann fliegt er raus! Direkt. Ein Case ohne Datenbasis darf nicht durch eine tolle strategische Passung gerettet werden. Filter trennen die harten Bedingungen von den Vorzügen.

Marc

Wir hatten neulich den Fall bei einem Krankenversicherer: Da sollte eine KI medizinische Berichte automatisch zusammenfassen, um die Leistungsprüfung zu beschleunigen. Hoher Nutzen, tolle Passung. Aber rechtlich fehlte die eindeutige Einwilligung der Patienten zur Weiterverarbeitung durch externe Sprachmodelle. Das ist ein absolutes K.o. Kriterium. Statt den Case mit Punkteabzug durchzuschleppen, muss er sofort gestoppt und in die Rechtsabteilung umgeleitet werden.

Stefan

Da fragt der Chief Risk Officer im Gremium sofort: Was passiert, wenn der Eidgenössische Datenschutzbeauftragte EDÖB bei uns anklopft? Haben wir eine Exit Strategie, falls das Modell halluziniert oder vertrauliche Patientendaten im Prompt Log landen? Das sind die Fragen, die Projekte killen, wenn sie nicht im K.o. Filter vorgeprüft wurden.

Stefan

Lass uns mal auf die Verfahren schauen. Das verwechseln nämlich auch viele. MoSCoW zum Beispiel, das Dai Clegg 1994 entwickelt hat. Das ist super für Einigkeit über den Umfang, aber es liefert keine Reihenfolge innerhalb einer Klasse.

Marc

Stimmt. Must, Should, Could und Won't have. Wobei Won't have this time ja der beste Schutz fürs Zeitfenster ist. Nach der DSDM 60 20 20 Regel dürfen maximal 60 Prozent des Aufwands in Must Haves fliessen, damit man Puffer behält.

Stefan

Wenn wir aber wirklich sequenzieren wollen, brauchen wir Formeln aus der Produktwelt. RICE von Intercom aus 2018 rechnet zum Beispiel die eigene Unsicherheit als Konfidenzfaktor direkt in die Zahl ein. Reach mal Impact mal Confidence geteilt durch Effort.

Stefan

Ein schönes Beispiel für RICE aus dem E Commerce: Eine KI basierte Produktempfehlung im Checkout hat einen gigantischen Reach, sagen wir 500'000 Nutzer pro Monat. Der Impact pro Nutzer ist vielleicht klein, aber die Confidence ist hoch bei 80 Prozent, weil es erprobte Standardsoftware gibt. Ein KI Generierungstool für individuelle Werbevideos hat vielleicht einen höheren Impact, aber der Confidence Wert liegt bei nur 50 Prozent, weil die Technologie noch neu ist. RICE zeigt dann sofort, warum die Checkout Empfehlung betriebswirtschaftlich gewinnt.

Marc

Da würde ein Unternehmer sofort einhaken: Hören Sie mal, Sie rechnen hier mit 80 Prozent Confidence bei der Checkout Empfehlung. Worauf stützen Sie diese 80 Prozent? Haben wir da Referenzdaten von Konkurrenten oder testen Sie das bereits in einem echten A/B Experiment an fünf Prozent unseres Live Traffics?

Stefan

Genial gekontert! Genau das unterscheidet nämlich den Junior Produktmanager vom AI Business Specialist. Der Spezialist antwortet: Die 80 Prozent basieren auf dem Daten-Audit von Tag 6 und den Referenzwerten der Software-Hersteller im Schweizer Markt, abgesichert durch eine zweiwöchige Testphase.

Marc

Und WSJF aus dem SAFe Framework rechnet Cost of Delay geteilt durch Job Size. Das schiebt vor allem fristgetriebene Vorhaben nach vorne. Wenn etwa der EU AI Act eine harte Umsetzungsfrist setzt, kostet jeder Tag Verzögerung echtes Geld.

Marc

Denk an ein Medizintechnik Unternehmen, das KI in Diagnosegeräten nutzt. Unter dem EU AI Act gilt das als Hochrisikobereich mit harten Zertifizierungsfristen. Wenn die Anpassung der Dokumentation nicht rechtzeitig steht, darf das Gerät auf dem EU Markt nicht mehr verkauft werden. Der Cost of Delay ist hier enorm hoch, Millionen pro Monat. Da zieht WSJF das Vorhaben sofort ganz nach oben, selbst wenn die interne Effizienzsteigerung geringer ist als bei anderen Ideen.

Stefan

Ein operativer Leiter stellt hier sofort die Frage: Wenn wir dieses regulatorische Projekt jetzt vorziehen, welches Kundenprojekt mit direktem Umsatzpotenzial lassen wir dafür hinten runterfallen? Was ist der reale Opportunitätsverlust? WSJF macht genau diesen Trade-Off transparent.

Stefan

Und wenn es politisch richtig heikel wird, hilft der Analytic Hierarchy Process von Thomas Saaty aus den 80er Jahren. Durch paarweise Vergleiche aller Kriterien leitet AHP das Gewicht mathematisch ab. Und das Beste: Über das Konsistenzverhältnis, das unter 0.1 liegen muss, sieht man sofort, ob die Gruppe widersprüchlich geurteilt hat.

Stefan

Aber selbst mit den besten Formeln sitzen im Bewertungsworkshop immer noch Menschen mit psychologischen Verzerrungen. Die Planning Fallacy von Kahneman und Tversky von 1979 lässt uns Aufwände systematisch unterschätzen und Nutzen überschätzen.

Marc

Deshalb fordert Bent Flyvbjerg seit 2005 auch Reference Class Forecasting. Wir ersetzen das reine Bauchgefühl der Innensicht durch historische Verteilungsdaten von bereits abgeschlossenen Projekten der Organisation.

Marc

Im HR Bereich wird oft geschätzt: KI Vorfiltersystem für Bewerbungen in drei Monaten betriebsbereit. Wenn man aber die Referenzklasse ähnlicher IT Schnittstellenprojekte im selben Konzern anschaut, sieht man: Kein einziges Projekt war in unter acht Monaten produktiv. Reference Class Forecasting holt das Team aus der Wunschextrapolation zurück in die Realität des Schweizer Arbeitsmarktes.

Stefan

Der CFO fragt da sofort: Warum sollte ausgerechnet dieses KI Projekt pünktlich sein, wenn die letzten fünf IT Einführungsprojekte im Haus im Schnitt vierzig Prozent über Budget und sechs Monate zu spät waren? Wer Reference Class Forecasting nutzt, antwortet gelassen: Genau deshalb haben wir diese 40 Prozent Puffer im Business Case bereits eingerechnet.

Stefan

Und im Meeting selbst helfen zwei einfache Kniffe. Erstens: stumm und unabhängig erstbewerten! Jeder schreibt seine Zahlen auf, bevor gesprochen wird. Das nimmt dem Ankereffekt der Chefs den Boden.

Marc

Und zweitens: das Pre Mortem Format. Man tut so, als sei das KI Projekt in einem Jahr krachend gescheitert, und fragt das Team warum. Das legalisiert Bedenken der Mitarbeitenden, die sich sonst niemand zu sagen traut.

Marc

In einem Pre Mortem Workshop bei einer Kantonalbank kam so heraus, dass die Berater das geplante KI Assistentensystem gar nicht nutzen würden, weil die Vorschläge im Beratungsgespräch viel zu ungenau wären und Kunden verunsichern könnten. Diese Einsicht sparte der Bank sechs Monate Fehlentwicklung.

Stefan

Wenn dann die Rangliste steht, machen wir den Sensitivitätscheck. Wir variieren jedes Gewicht um plus und minus 20 Prozent. Nur wenn der Gewinner Case auch bei verschobenen Gewichten stabil bleibt, ist die Empfehlung vor dem CFO wirklich pitchfähig.

Marc

Ein gewiefter Investor oder Verwaltungsrat fragt im Pitch nämlich sofort: Herr Spezialist, was passiert mit Ihrer Rangliste, wenn die Strom- und Lizenzkosten für LLMs im nächsten Jahr um dreissig Prozent steigen oder der Gesetzgeber die Auflagen verschärft? Bleibt Projekt A dann immer noch auf Platz eins?

Stefan

Und der vorbereitete Spezialist zeigt die Sensitivitätskurve und sagt: Ja! Erst wenn das Gewicht für Wirtschaftlichkeit um mehr als 24 Prozent fällt, übernimmt Projekt B. Unser Tipp ist absolut robust gegen Kursschwankungen. Das nimmt jedem Skeptiker im Verwaltungsrat den Wind aus den Segeln.

Stefan

Am Ende reicht dem C Level aber keine Excel Tabelle. Eine Rangliste ist noch keine Entscheidungsgrundlage. Es braucht die einseitige Entscheidungsvorlage mit den sieben Pflichtbestandteilen.

Marc

Ausgangslage, Vorgehen, Kriterien mit Gewichten, Ergebnis, Empfehlung, offene Punkte und der konkrete Antrag. Und erfahrungsgemäss überzeugt die Geschäftsleitung am meiste, wenn man explizit begründet, warum Rang 2 nicht gewählt wurde!

Marc

Ein konkretes Beispiel aus der Praxis: Wenn Rang 1 ein automatisches Rechnungsverarbeitungssystem ist und Rang 2 ein KI Copilot für den Einkauf, fragt der CFO garantiert: Warum machen wir nicht den Einkaufs Copiloten? Wenn in der Vorlage dann genau steht: Rang 2 hat zwar 15 Prozent mehr Einsparpotenzial, scheitert aktuell aber an Band B der Datenqualität im ERP und würde 9 Monate Aufbereitung erfordern, dann ist die Entscheidung in zwei Minuten gefällt.

Stefan

Ein CEO fragt am Ende der Präsentation immer nur eine Sache: Welcher Antrag liegt konkret auf dem Tisch, welches Budget wollen Sie, wer trägt die persönliche Verantwortung und wann sehe ich die ersten Meilensteine im Dashboard? Ein Antrag ohne konkrete Zahl und klaren Namen ist kein Antrag.

Stefan

Absolut. Und ganz wichtig für die Prüftiefe an Tag 8: Wir bewerten hier grob und breit. T-Shirt-Sizing, Ein Satz Nutzenhypothese. Wer jetzt schon tiefe Kapitalwertrechnungen macht, zerstört die Vergleichbarkeit über die ganze Longlist.

Marc

Genau. Schmal und tief rechnen wir erst ab Tag 13 für den einen ausgewählten Leit-Case. Dieser Leit-Case zieht sich ab jetzt als rote Linie durch alle weiteren Module der Projektarbeit bis zum eidgenössischen Fachausweis.

Stefan

Mutiges Verwerfen schlechter Cases ist eben der wahre Erfolgsfaktor im KI Management. Damit steht der Entscheid für Tag 8.