Lessons Learned - Aus gescheiterten KI-Projekten lernen
Künstliche Intelligenz wird die Zukunft der Arbeit ändern, da sind wir uns sicher. Dieser Blogartikel soll Schwachstellen gescheiteter Projekte aufdecken und so ein Bewusstsein schaffen, um …
In unserer Blogreihe Lessons Learned haben wir bereits über die Learnings aus zahlreichen Projekten im Umfeld von Künstlicher Intelligenz berichtet. Um die erlebten Erfahrungen zu dokumentieren und in zukünftigen Projekten einfließen zu lassen, wurden diese in einer Prozessmatrix in unserer Software WissIntra abgebildet. Was WissIntra ist und wie diese Prozessmatrix aussieht, wird in diesem Blogartikel beschrieben.
Bevor wir in die Prozessmatrix einsteigen, eine Kurzeinführung, was WissIntra ist und kann. WissIntra ist die Software für Dein Integriertes Management. Mit seiner benutzerfreundlichen Oberfläche strukturiert es Deine dokumentierten Informationen. Komplexe Abläufe können so verständlich abgebildet werden. Damit steht Dir das Unternehmenswissen zur richtigen Zeit am richtigen Ort zur Verfügung. WissIntra ist modular aufgebaut und lässt sich flexibel an Deine Bedürfnisse anpassen. Der Prozessmanager ermöglicht es Dir Mitarbeiter aktiv einzubinden, Prozesse effizient zu modellieren und transparent zu kommunizieren. Nahtlos ineinandergreifende Schnittstellen zwischen den Modulen helfen Dir Risiken und Verbesserungspotenziale direkt aus dem Prozess heraus zu erstellen.
Wir sind nach der ISO 9001 zertifiziert, deshalb bilden wir unsere internen Prozesse auch selbst über die Software ab. Da wir WissIntra auch als Tool zur Abbildung unseres Wissensmanagements nutzen, war es für uns selbstverständlich, die gesammelten Lessons Learned für alle zugänglich zu machen. WissIntra hat uns bei der Aufgabe die einzelnen Schritte eines KI-Einführungsprojekts abzubilden unterstützt.
Die Prozesslandschaft ist dem Prozessablauf entsprechend aufgebaut und liest sich von links nach rechts, wobei die oberste Prozesskarte die Überschrift der Unterprozesse darstellt. Oben links beginnend bedeutet das, dass der erste Schritt bei der Durchführung eines KI-Projekts die Definition der Größe und Art des Projekts ist. Dazu gehören die darunterliegenden Prozesskarten, das heißt wir definieren in diesem Schritt das Projektziel und bestimmen die Ressourcen. Nachfolgend wird die Investitionsbereitschaft des Kunden überprüft und die Datensätze ausgewählt. Sind die Prozessschritte abgeschlossen geht es zur nächsten Spalte, der Klärung der Erwartungshaltung unseres Kunden. Dabei werden alle Stakeholder, sowie die Unternehmenskultur, berücksichtigt. Anhand dieser Erkenntnisse werden die notwendigen Mittel und der geschäftliche Mehrwert mit dem Kunden festgelegt.
Aus den gescheiterten KI-Projekten und eigenen Erfahrungen konnte abgeleitet werden, dass es sinnvoll ist schon zu Beginn des Projekts einen zeitlichen Rahmen abzustecken. Aus diesem Grund ist dieser Punkt auch sehr früh im Prozess angesiedelt. Hierfür wird eine explorative Analyse durchgeführt, wobei zum ersten Mal der Datensatz bzw. die Datensätze analysiert werden.
Einem weiteren Learning entsprechend ist es wichtig, bereits bei der Bestimmung des Zeitfensters das Entwicklungsteam mit den späteren Anwendern an einen Tisch zu bekommen. Dadurch wird bereits zu Beginn ein gemeinsames Verständnis und Einigkeit über das Zeitfenster des KI-Projekts erzielt.
Damit auch alle rechtlichen Anforderungen berücksichtigt werden, wird im nächsten Schritt die Compliance, auch im Hinblick auf die DSGVO, überprüft. Hier zeigen gescheiterte Projekte, dass es wichtig ist den Kunden darauf hinzuweisen, dass Dateneigentum, nicht nur für personenbezogene Daten, sondern auch bei Maschinendaten zu belegen ist. Deshalb muss sichergestellt werden, dass die Daten verwendet werden dürfen. Wenn diese Voraussetzungen soweit geschaffen sind, wird detaillierter auf den Ausschnitt der verwendbaren Daten eingegangen. Hierbei ist es sehr wichtig, dass keine Silo-Speicherung vorliegt. Das heißt, dass die Daten zwar gesammelt werden, aber von außen nicht erreichbar oder nur schwer zugänglich sind. Es muss eine sogenannte Daten-Pipeline etabliert werden. Des Weiteren wird die Qualität der Daten unter anderem auf unterwartete Formate oder auch Beschädigungen geprüft. Damit die Datenstrategie zur Not überarbeitet werden kann.
Danach sollte eine Zielpräzision der KI-Lösung definiert werden. Berechnet werden dabei die Risiken und vor allem die Kosten für eine fehlerhafte Vorhersage. Das ist wichtig, um das Vertrauen in die KI-Lösung zu stärken. Des Weiteren wird durch eine realistische Zielpräzision Overfitting vermieden. Um die Skalierbarkeit der eingesetzten KI-Lösung zu gewährleisten, prüfen wir den technologischen Reifegrad und die Datenmenge in Hinblick auf den Produktivbetrieb. Der Stresstest gibt uns Sicherheit, dass die entsprechende Skalierung erreicht werden kann, wenn das Projekt vom Prototypen- in den Produktivstatus wechselt. Somit können viele Schwierigkeiten vermieden werden, die zum Scheitern des Projekts führen können.
Anschließen beginnt die Phase der Implementation. Hierbei wird gecheckt in wie weit die verwendeten Modelle die Implementation beeinflussen könnten. Zum Schluss erfolgt die Evaluation der KI. Dieser wichtige Punkt umfasst viele Schritte: Definieren eines Lebenszyklus, Prüfung auf Eignung des Modells, Definieren des Zeitrahmen für Verbesserungen, Prüfung der eingesetzten Personal- und Computerressourcen, Gegencheck der festgelegten Richtlinien, Festhalten der Erfolgskriterien und der Abschluss der Testphase. Die hier gewonnen Learnings können dann für weitere KI-Projekte genutzt und im Prozess angepasst werden. Somit ist eine fortlaufende Verbesserung als Aspekt der Qualitätssicherung vorhanden.
Die Prozesslandschaft bietet also einen Überblick über den gesamten Prozess „KI-Projekte durchführen“, doch in den Prozesskarten selbst befindet sich das eigentliche Wissen. Hier liegt die Beschreibung des Prozesses, Anweisungen und Auditkriterien können hinterlegt werden, Schnittstellen verknüpft sowie eine Turtleanalyse erstellt werden. Außerdem kann ein Ergebnisdokument an den Prozessschritt angehangen werden und Risiken verknüpft werden. Für die Prozesskarte Compliance prüfen sieht das wie folgt aus:
Hier sehen wir, dass diese Prozesskarte die Prozessbeschreibung, Anweisungen, Auditkriterien, die Turtleanalyse sowie verknüpfte Risiken enthält. Als Beispiel zeigen wir Dir aus dieser Prozesskarte, wie die Turtleanalyse aussehen könnte, aus der dann die Risiken ausgelöst und im Risikomanager weiter behandelt werden können:
Bei der Turtleanalyse handelt es sich um eine vereinfachte Darstellung einer Prozessanalyse. Sie erfasst schnell und übersichtlich die Fakten und bildet die Grundlage für ein systematisches Risikomanagement. Ebenfalls schärft die Turtle den Sinn für Schnittstellen, Abhängigkeiten und sorgt für Transparenz.
Wie wir nun im Beispiel bildlich dargestellt haben, bietet unsere Software WissIntra die exakte und agile Abbildung unserer Dienstleistung der KI-Projektberatung. Somit vereinen wir die internen Anforderungen mit den Kunden- und Normanforderungen und haben gleichzeitig unser Wissensmanagement perfekt im Griff.
Autoren:
Karin Hänsch, k+k Prozessberaterin für Managementsysteme, Training & Consulting
&
Benedikt Krauß, k+k Consulting
Titelbild: © Tierney, stock.adobe.com
Im Fließtext: © k+k information services
Wurde Dein Interesse an WissIntra und Prozessmanagement geweckt? Wir beraten Dich gern unverbindlich über Deine Möglichkeiten:
Kontakt aufnehmen
Kommentare
Kommentar von Jenny |
Guter Beitrag zum Qualitätsmanagement und welche Rolle Prozesslandkarten dabei spielen. Danke!
Einen Kommentar schreiben