Tag 19: Wie sieht ein erfolgreicher Rollout aus?

Stefan

Herzlich willkommen zu Tag 19. Heute Abend, Freitag, 9. Oktober, geht Bereich D zu Ende. Mit der Handlungskompetenz D4, Einführungsprozess steuern, sind dann 18 von 28 Kompetenzen unterrichtet. Das ist eine Menge, und ihr dürft ruhig kurz stolz darauf sein.

Marc

Ja, und für heute kommt ein Wechsel dazu. Thomas Wengi übernimmt von Alfonso Papa und bleibt drei Tage am Stück bei euch. Und weil das noch nicht genug Bewegung ist, gibt es einen Zeitsprung. Am Dienstag habt ihr bei ISA Desk den Sprint 0 Befund gesehen, 47 Prozent, und ihr habt eure Empfehlungen abgegeben. Andrea Bühler hat entschieden: anders herangehen. Heute springen wir acht Wochen weiter, auf Freitag, den 27. November.

Stefan

In diesen acht Wochen ist einiges passiert. Der nächtliche Abgleich der Mitgliederdatenbank wurde gebaut, die Sperre für alte Dokumente wurde angepasst, und der Prompt wird versioniert. Dann kam der Schattenbetrieb, vom 2. bis 27. November, vier Wochen lang. Der Assistent hat zu jeder echten Auskunftsanfrage einen Vorschlag formuliert, der aber niemanden erreicht hat. Verglichen wurde mit der Antwort, die tatsächlich hinausging.

Marc

Und das Ergebnis ist gut. 196 Anfragen, davon 112 ohne Rückfrage, das sind 57 Prozent. Die Schwelle lag bei 52. Bei Fragen ohne Mitgliederdaten waren es 59 Prozent, bei Fragen mit Mitgliederdaten 52 Prozent. Genau dort lag ja die Lücke, und genau dort wurde nachgebessert. Null Antworten aus gesperrten Quellen. Das Austrittskriterium der ersten Phase ist erfüllt. Am Montag, 30. November, soll Phase 2 live gehen: Anfragen per E Mail und Webformular, am Hauptsitz, auf Deutsch.

Stefan

Wir stehen also drei Tage vor dem Produktivstart. Und jetzt kommt der Gedanke, den ich euch mitgeben möchte, bevor wir in die Werkzeuge einsteigen. Das, was heute dran ist, ist Handwerk. Solides Handwerk. Wer in seinem eigenen Bereich schon einmal eine neue Software, einen neuen Prozess oder eine neue Maschine eingeführt hat, kennt den Kern: Wer macht wann was, woran merke ich, dass es geklappt hat, und was tue ich, wenn nicht. Das ist kein Hexenwerk, das ist ordentliche Projektarbeit.

Marc

Genau, und deshalb dürft ihr mit Selbstvertrauen in den Abend gehen. Es gibt bei KI nur ein paar Spezialitäten, die man zusätzlich im Kopf haben muss. Eine Spezialität ist: KI Systeme fallen oft nicht sauber aus. Ein klassisches System stürzt ab, und alle sehen es. Ein KI Assistent kann still mit veralteten Daten weiterarbeiten und freundlich falsche Antworten liefern. Die zweite Spezialität: Zwischen dem Modell und den Menschen, die freigeben, gibt es eine Nahtstelle, und die kann zum Engpass werden.

Stefan

Darum der Satz des Abends, den Thomas an die Wand stellen wird: Der Go Live ist nicht das Ende des Projekts. Er ist der Moment, in dem das Projekt dem Betrieb gehört. Und gleich dahinter: Wer am Montag um 07:30 nachschaut, ist wichtiger als wer am Freitag umschaltet. Schauen wir uns an, welche Werkzeuge ihr dafür bekommt.

Marc

Das erste Werkzeug ist der Cutover Plan. Cutover heisst: die Umstellung vom alten auf den neuen Betrieb, in einem festgelegten Zeitfenster. Und der Plan dazu beantwortet eine einzige Frage, nämlich: Wie geht das genau vorwärts? Nicht ungefähr, nicht am Wochenende irgendwann, sondern Schritt für Schritt.

Stefan

Der Cutover Plan hat fünf Spalten. Erstens die Zeit. Eine konkrete Uhrzeit, nicht «am Wochenende». Zweitens der Schritt, und zwar in der Reihenfolge der Abhängigkeiten: Was etwas voraussetzt, kommt danach. Drittens das Wer. Ein Name, der zu dieser Zeit wirklich verfügbar ist. Die Quelle sagt es sehr klar: Eine Abteilung ist keine Verantwortung. Viertens die Prüfung danach. Und fünftens: Wenn nicht ok, also der Rückweg, mit Zeitbedarf.

Marc

Mir gefällt dabei die Spalte Wer, weil sie strenger ist, als sie aussieht. Nehmen wir ISA Desk. Es gibt sechs Dinge, die umgestellt werden müssen. Das Postfach der Auskunft muss die eingehenden E Mails automatisch ins Ticketsystem leiten. Die Freigabemaske für Sandra Keller und Reto Iten wird aktiv geschaltet. Der Schalter «Vorschlag sichtbar» wird eingeschaltet. Der nächtliche Abgleich läuft zum ersten Mal produktiv, in der Nacht auf Montag. Eine Ansicht für die laufende Überwachung muss eingerichtet werden. Und die Mitarbeitenden müssen informiert werden.

Stefan

Die naheliegende Lösung wäre, das alles über das Wochenende zu verteilen. Das Fenster geht ja von Freitag, 27. November, 17:00 bis Montag, 30. November, 07:30. Aber dann schaut man in die Personentabelle. Tobias Kern, der externe IT Partner, ist nur werktags von 08:00 bis 17:00 telefonisch erreichbar und vor Ort am Montag und Donnerstag. Am Wochenende ist also niemand da, der einen misslungenen Schritt zurücknehmen könnte.

Marc

Das ist der Moment, in dem der Plan seinen Wert zeigt. Man trägt einen Namen in die Spalte ein und merkt: Der ist am Samstag gar nicht erreichbar. Die technischen Schritte gehören also auf Montagfrüh, wenn Kern im Haus ist, und das lange Fenster wird zum Puffer. Und ein Punkt auf der Liste ist eigentlich gar kein Cutover Schritt: Die Überwachungsansicht muss vor dem Fenster stehen. Sonst geht man ohne Monitoring live.

Stefan

Jetzt zur vierten Spalte, den Smoke Tests. Das sind kleine Tests, die man on the go macht, direkt nach jedem einzelnen Schritt. Der Name kommt aus der Elektronik: Man schaltet ein Gerät ein und schaut, ob es raucht. In der Informatik heisst das: ein kurzer Test, ob etwas grundsätzlich läuft, bevor man genauer hinschaut. Wichtig ist, dass er in wenigen Minuten ein klares Ja oder Nein ergibt.

Marc

Die Regel dazu ist einfach: Erst wenn die Prüfung ok ist, kommt der nächste Schritt. Ohne Prüfung ist der nächste Schritt eine Wette. Und das kennt ihr aus eurem eigenen Bereich. Wer eine neue Maschine oder einen neuen Ablauf einführt, macht nach jedem Handgriff eine kurze Kontrolle, bevor er weitergeht. Bei ISA Desk könnte das heissen: Nach der Postfachregel schickt jemand eine Testmail und schaut, ob sie als Ticket ankommt. Fertig, Ja oder Nein.

Stefan

Und die KI Spezialität an dieser Stelle: Ein Smoke Test für einen KI Assistenten prüft nicht nur, ob das System antwortet. Er sollte auch prüfen, ob der Stand stimmt. Beim nächtlichen Abgleich heisst das zum Beispiel: Stimmt ein am Freitag geänderter Datensatz im Assistenten? Denn ein Assistent mit altem Stand antwortet trotzdem, nur eben falsch.

Marc

Kommen wir zum Fenster. Dafür gibt es drei Regeln. Regel eins: ruhige Zeit wählen. Wenig Verkehr, damit ein Fehler wenige trifft, aber die Fachleute müssen erreichbar sein. Ein Fenster, in dem niemand da ist, ist kein Fenster, sondern ein Risiko. Viele wählen das Wochenende, weil dann wenig läuft, und vergessen, dass dann auch wenig Menschen da sind.

Stefan

Regel zwei haben wir schon: nach jedem Schritt prüfen. Regel drei: genau ein Go oder No Go Punkt im Fenster. Das ist der Moment, bis zu dem man bei einem Problem zurückstellt. Danach wird nicht mehr zurückgestellt, sondern im Betrieb korrigiert, und dann gelten die Rollbackkriterien als Grenze. Davor ist alles umkehrbar.

Marc

Wozu braucht man den festen Punkt? Wegen des schleichenden Weitermachens. Ohne festen Punkt diskutiert man nach jedem kleinen Fehler, ob man trotzdem weitermacht, und irgendwann ist der Rückweg teurer als das Weitermachen. Mit festem Punkt ist die Frage vorher beantwortet. Der Begriff stammt übrigens aus der Raumfahrt, wo vor dem Start jede verantwortliche Stelle mit Go oder No Go antwortet.

Stefan

Beim ISA Desk müssen die Räume heute Abend selbst herausfinden, wo dieser Punkt liegen könnte. Ich verrate nur so viel: Es lohnt sich, bei jedem Schritt zu fragen, was am schwersten umkehrbar ist und was am meisten Unsicherheit hat. Der erste produktive Abgleich läuft nachts, wenn alle schlafen. Ob er gelungen ist, sieht man erst am Morgen. Das ist eine Hilfe für die Überlegung.

Marc

Dazu gehört das gestaffelte Ausrollen. Eine Änderung geht zuerst an einen kleinen Teil, dann schrittweise an mehr. Der erste Teil heisst Canary, nach den Kanarienvögeln, die Bergleute früher als Gaswarnung mitnahmen. Das kennt ihr vom Dienstag. Und die Leitidee: Man findet nicht alle Fehler vorher. Also sorgt man dafür, dass ein unentdeckter Fehler zuerst wenige trifft.

Stefan

Das gilt auch für Dinge, die nicht wie Software aussehen. Konfigurationen, Regeln, Prompts. Gerade bei KI Projekten wird ein Prompt oft mal eben geändert, ohne die Vorsicht, die man einem neuen Programm zubilligen würde. Bei ISA Desk wird der Prompt deshalb versioniert, jede Änderung mit Datum, Grund und Prüfset Ergebnis. Und eine Änderung im Betrieb gehört in denselben Ablauf wie jeder andere Schritt.

Marc

Ein Fall, der das sehr nüchtern zeigt, ist CrowdStrike. Am 19. Juli 2024 ging um 04:09 Uhr UTC ein Konfigurationsupdate an den Sicherheitssensor auf Windows Rechnern. Die Rechner stürzten ab. Um 05:27 Uhr UTC war das Update zurückgenommen, also nach 78 Minuten. Microsoft schätzte trotzdem rund 8,5 Millionen betroffene Geräte, bei Fluggesellschaften, Spitälern und Banken. Vielerorts mussten die abgestürzten Rechner einzeln wiederhergestellt werden.

Stefan

Daraus ziehen wir zwei Lehren. Erstens: Ein Rollback nimmt zurück, was ausgerollt wurde, nicht das, was es angerichtet hat. Zweitens: Ohne Staffelung trifft ein Fehler alle gleichzeitig. CrowdStrike hat danach angekündigt, solche Updates künftig gestaffelt auszurollen, beginnend mit einem Canary. Das ist übrigens kein KI Fall, und gerade deshalb so hilfreich. Es zeigt, dass es um Handwerk geht und nicht um Magie.

Stefan

Jetzt der Teil, der mir am wichtigsten ist. Sobald man in den Einführungsprozess einsteigt, lautet die zentrale Frage: Wie komme ich zurück, wenn es schiefgeht? Viele Projekte haben genau das nicht gehabt. Der Go Live war geplant, der Rückweg nicht. Das ist einer der gröbsten Fehler, und er lässt sich vermeiden.

Marc

Und er lässt sich mit einem einfachen Raster vermeiden: dem Rollbackkriterium mit fünf Angaben. Erstens das Signal: Was wird beobachtet? Zweitens die Schwelle: ab welchem Wert, eine Zahl, kein «zu viele». Drittens der Zeitraum: pro Tag, pro Woche, zweimal in Folge. Viertens, wer auslöst: ein Name, der auslösen darf, ohne zu fragen. Und fünftens, was dann passiert: welche Schalter, welche Regeln zurück, wer wen informiert.

Stefan

Fehlt eine dieser fünf Angaben, ist es kein Kriterium, sondern eine Absicht. Und ganz wichtig: Rollbackkriterien formuliert man vorab, nicht in der Nacht des Go Live. In dieser Nacht sind alle müde, es herrscht Druck, und wer zurückgeht, muss es erklären. Wer weitermacht, hofft. Also wird fast immer fürs Weitermachen entschieden. Ein vorab festgelegtes Kriterium nimmt diesen Druck heraus. Der Rückweg wird vom Eingeständnis zur Ausführung.

Marc

Beim ISA Desk zeigt sich das konkret. Es ist ein Schalter in der Zwischenschicht, «Vorschlag sichtbar», und der Rückweg ist in Minuten möglich. Aber im offenen Punkt Nummer eins steht: Niemand hat festgelegt, bei welchem Wert der Schalter wieder ausgeschaltet wird und wer das entscheidet. Das Material schlägt für die Werkstatt naheliegende Kandidaten vor. Zum Beispiel eine einzige Antwort aus einer gesperrten Quelle, jederzeit. Bei Dingen, die nie passieren dürfen, ist die Schwelle eins.

Stefan

Ein weiterer Kandidat wäre eine Rechtsfrage, die nicht eskaliert wurde. Im Schattenbetrieb waren es 8 von 9 erkannt, eine nicht. Das sind 11 Prozent, die Charta erlaubt maximal 15. Das ist im Schattenbetrieb in Ordnung, aber Philipp Zemp von der Rechtsberatung hat ein Veto und wird fragen: Wer stoppt bei der nächsten? Dann braucht es eine Person mit Namen, einen Zeitraum und einen Schalter.

Marc

Wie wichtig der Mut dahinter ist, zeigen zwei Chatbots. Microsoft startete 2016 den Chatbot Tay. Innerhalb von 24 Stunden gab er in der Öffentlichkeit untragbare Antworten, und Microsoft nahm ihn offline. Microsoft schrieb, ein koordinierter Angriff habe eine Schwachstelle ausgenutzt. Hart, sichtbar, aber entschieden.

Stefan

Der zweite Fall ist MyCity der Stadt New York, 2024. Laut The Markup riet der Chatbot Unternehmen zu rechtswidrigem Verhalten, etwa zum Einbehalten von Trinkgeldern. Die Probleme wurden eingeräumt, aber der Bürgermeister liess den Chatbot online. Beide Male ähnliche Lage, gegensätzlicher Entscheid. Der Unterschied liegt nicht in der Technik. Er liegt darin, ob jemand ein Kriterium hatte und den Mut, zurückzugehen.

Marc

Und noch eine kleine Beruhigung: Zurückgehen ist kein Abbruch des Projekts. Ein Rollback ist ein Schritt im Plan. Wer ihn vorher festlegt, wirkt nicht pessimistisch, sondern professionell.

Stefan

Nach dem Go Live beginnt die Hypercare. Das ist eine befristete Phase verstärkter Betreuung. Im ITIL Vokabular heisst sie Early Life Support. Die Leute, die die Lösung kennen, sind besonders erreichbar, Probleme werden schneller behandelt, die Signale enger beobachtet. Und sie beantwortet vier Fragen.

Marc

Wer ist wann da, mit Uhrzeit, nicht «das Team». Wer vertritt, für jede Person eine zweite, denn Ferien stehen vorher fest. Wohin wird eskaliert: Bei einem Vorfall führt eine Person und hält ein laufendes Dokument, die anderen arbeiten an der Lösung. Und viertens: Wann ist es vorbei? Und zwar an einem Kriterium als Zahl, nicht an einem Datum. Eine Hypercare, die an einem Datum endet, endet auch dann, wenn die Lösung noch nicht trägt.

Stefan

Und jetzt die Weihnachtsfalle beim ISA Desk, die Frage aus dem Kurs: Wer schläft wo? Die Geschäftsstelle ist vom 24. Dezember bis 4. Januar geschlossen. Erfahrungswert der letzten Jahre: Am Montag, 4. Januar, liegen rund 60 Anfragen gleichzeitig im Ticketsystem. Sandra Keller und Beat Hofstetter sind noch in den Ferien. Freigeben könnte nur Reto Iten, und der arbeitet montags nicht.

Marc

Dazu kommt: Die ersten fünf Wochen enthalten die Schliessung und die Ferien von vier Beteiligten. Ein Hypercare Plan, der das nicht vorher regelt, regelt es am 4. Januar um 08:00, also genau in dem Moment, in dem es am teuersten ist. Zwei Lösungen liegen nahe, etwa dass Iten einmalig seinen Arbeitstag tauscht, oder der Assistent bleibt ausgeschaltet und die Anfragen werden wie früher bearbeitet. Was die Räume heute Abend wählen, ist offen, aber es muss vorher entschieden sein.

Stefan

Zum Thema Betreuung gibt es noch einen Grundsatz, der aus dem Change Management kommt und den ich sehr schätze. Man darf sich nicht auf die 10 Prozent konzentrieren, die nicht mitmachen. Bei jeder Einführung gibt es einige Skeptiker und Bedenkenträger. Die sind laut. Aber sie sind nicht matchentscheidend. Matchentscheidend ist die Masse. Die Hypercare muss dafür sorgen, dass die breite Masse schnell handlungsfähig wird und Vertrauen fasst. Der Rest zieht nach, sobald der Standard etabliert ist.

Marc

Das ist eine Frage der Energie. Wer seine Hypercare Zeit damit verbringt, die letzten zehn Prozent zu überzeugen, hat für die neunzig Prozent keine Hand frei, die bei ihm ihre ersten Fragen stellen. Und wenn diese Masse zufrieden ist, wird der Standard sichtbar, und der Rest kommt mit.

Stefan

Dann die ersten 72 Stunden. Google empfiehlt vier Signale, wenn man nur vier messen kann: Latenz, Verkehr, Fehler und Auslastung. Beim ISA Desk heisst das: Antwortzeit, im Schattenbetrieb Median 34 Sekunden. Anfragen pro Tag, rund zehn, am 4. Januar rund 60. Fehler: Abbrüche, abgelehnte Vorschläge, nicht eskalierte Rechtsfragen, Abgleichfehler. Und Auslastung, und das ist die KI Spezialität, der Rückstau in der Freigabe.

Marc

Gerade das vierte Signal wurde im Schattenbetrieb nicht gemessen, weil dort niemand Vorschläge freigab. Das Kostenblatt rechnet mit vier Minuten Lesezeit je Antwort. Bei rund zehn Anfragen am Tag sind das 40 Minuten. Sind es acht Minuten, sind es 80, und das ist die Sollbruchstelle aus Tag 11: steigendes Volumen ohne Prüfkapazität. Ab dem 30. November ist das keine Messfrage mehr, sondern eine Betriebsfrage.

Stefan

Und dann der Satz, der alles zusammenfasst: Ein Signal, das niemand liest, ist kein Monitoring, sondern ein Archiv. Knight Capital erhielt 2012 vor Börsenbeginn 97 automatische Warnmails. Niemand handelte. Der Verlust betrug mehr als 460 Millionen Dollar. Und beim ISA Desk brach der nächtliche Abgleich in der Nacht auf den 17. November um 02:10 ab. Bemerkt hat es Sandra Keller um 10:40, durch Zufall, weil eine Beitragskategorie nicht stimmte. Achteinhalb Stunden mit dem Stand vom Sonntag.

Marc

Die Lösung ist unspektakulär: ein Morgencheck um 07:30, mit Namen und Vertretung. Zwei Fragen genügen. Ist der Abgleich gelaufen? Stimmt ein gestern geänderter Datensatz? Und dann gleich die Bereitschaft nicht auf eine Person abladen. Google empfiehlt, dass niemand mehr als 25 Prozent der Zeit in Bereitschaft verbringt.

Stefan

Zum Schluss gehört alles in die Go oder No Go Sitzung am Donnerstag, 26. November, um 16:00. Andrea Bühler will das Go, Nadia Frei vom Datenschutz und Philipp Zemp haben ein Veto, und beide wollen sehen, nicht hören. Zeigt also die Lösung, den Cutover Plan, die Rollbackkriterien, die Hypercare. Und wenn das Ergebnis «Go mit Auflagen» lautet, ist das ein vollwertiger Entscheid, sofern jede Auflage eine Person und einen Termin hat.

Marc

Ich fasse zusammen. Cutover Plan mit fünf Spalten, Smoke Tests nach jedem Schritt, ein Fenster mit Fachleuten, genau ein Go oder No Go Punkt. Rollbackkriterien mit fünf Angaben, vorab. Hypercare mit Austritt als Zahl, und jemand, der um 07:30 nachschaut. Das ist das Handwerk, das ihr kennt, mit ein paar KI Spezialitäten obendrauf.

Stefan

Und ihr bringt dafür ein starkes Fundament mit. Heute wird daraus ein Vorsprung. Viel Freude und viel Erfolg bei Tag 19. Thomas übernimmt jetzt.