Künstliche Intelligenz (KI) ist aus den meisten Unternehmen kaum noch wegzudenken. Mit ihrem Einsatz steigt für Unternehmen jedoch das Risiko, technische Schulden anzuhäufen. Insbesondere Controller spielen eine wichtige Rolle, wenn es darum geht, diese häufig enormen Kosten zu vermeiden.
Künstliche Intelligenz (KI) einzusetzen wird für Unternehmen immer einfacher. Während vor zehn Jahren noch Teams aus Programmierern und Wissenschaftlern auf die Entwicklung von KI-Anwendungen spezialisiert waren und spezielle Hardware dafür nötig war, stehen mittlerweile geeignete Algorithmen auf dem Markt zur Verfügung. Die meisten Unternehmen müssen sich nur noch zwischen "Make or Buy" entscheiden - und haben dies bereits für "Buy" getan. Vielfach ist mittlerweile selbst ein Kauf nicht mehr notwendig. IBM, Google oder Nvidia bieten zwar die entsprechende Hardware, auf KI spezialisierte Prozessoren, zum Kauf an. Mit Plattformen wie zum Beispiel Amazon Sage Maker, Google Cloud AI, Microsoft Azure oder IBM Watson stehen jedoch längst Alternativen als "AI as a Service" in der Cloud zur Verfügung. Auf der Software-Seite haben die Unternehmen die Wahl zwischen einigen weitverbreiteten Tools. Machine Learning Frameworks wie PyTorch und Tensorflow stehen als Open Source auch Unternehmen frei zur Verfügung. Controller und Manager sollten deshalb mögliche Probleme kennen, um von den Stärken der KI profitieren zu können, statt potenziell kostspielige Fehlentscheidungen zu treffen. Eines dieser Probleme sind die sogenannten technische Schulden.
Auslöser für technische Schulden
"Technische Schulden" ist eine in der IT gebräuchliche Metapher, die auf ein Konzept des US-amerikanischen Programmierers Ward Cunningham (1992) zurückgeht. Sie beschreibt die zusätzlichen ökonomischen Kosten, die durch suboptimal implementierte Software entstehen. Technische Schulden ergeben sich meist durch äußere Zwänge, wie zum Beispiel Termindruck, und sind grundsätzlich vermeidbar.
"Technische Schulden ergeben sich meist durch äußere Zwänge, wie zum Beispiel Termindruck."
Das wohl bekannteste Beispiel für technische Schulden ist das sogenannte "Jahr-2000-Problem", auch als "Millennium Bug" oder "Y2K-Bug" bezeichnet. Als Jahreszahlen in Computer-Programmen Mitte des 20. Jahrhunderts erstmals verwendet wurden, stellte man sie aus Kostengründen und Mangel an Speicherplatz nur durch zwei Ziffern dar: Das Jahr 1998 entsprach folglich 98, das Jahr 2000 den Ziffern 00. Da das Jahr 1900 durch dieselben Zahlen, also 00, repräsentiert wurde, erwartete die Welt zum 1. Januar 2000 einen Zusammenbruch der digitalen Systeme. Dieser blieb nur aus, weil Unternehmen im Vorfeld weltweit Milliarden investiert hatten, um diese technische Schuld zu begleichen (vergleiche Uenuma 2019).
Die meisten technischen Schulden entstehen jedoch aus profaneren Gründen: Termindruck kann zum Beispiel dazu führen, dass der Code, auf dem eine Anwendung basiert, nicht sauber dokumentiert wird. Durch fehlende Dokumentation ist dieser schwerer nachvollziehbar, bei jeder Änderung oder Weiterentwicklung entstehen Kosten, weil Programmierer Zeit investieren müssen, um den Code zu verstehen, oder nötige Änderungen erst verzögert für den internen Kunden zur Verfügung stehen. Technische Schulden können auch aufgebaut werden, wenn notwendige Weiterentwicklungen, wie etwa die Skalierung einer Anwendung von einem auf alle Unternehmensbereiche, nicht bereits in der Planungsphase berücksichtigt werden. In einem solchen Fall muss oftmals die Anwendung komplett neu programmiert werden, zum Beispiel wenn sich Unternehmensbereiche stark voneinander unterscheiden oder die programmatische Infrastruktur nicht auf ein Vielfaches der Nutzer ausgelegt ist. Die Kosten einer solchen schlecht implementierten Anwendung fallen damit ein zweites Mal an. Technische Schulden können auch entstehen, wenn ein System lange nicht aktualisiert wird, sodass es nicht mehr mit anderen Systemen kompatibel ist. Komplexe Systeme, die in der Arbeitswelt täglich verwendet werden, wie etwa ERP-Systeme, sind für technische Schulden generell anfällig (vergleiche Ramasubbu/Kemerer 2016), da sie nach Implementierung meist selten aktualisiert werden. Die Tilgung technischer Schulden kann auch technische Schulden an anderen Stellen verursachen, zum Beispiel wenn dadurch Programmierer bei anderen Projekten unter Termindruck geraten.
Controller und Manager brauchen kein tiefes, aber ein Grundverständnis von KI.
Herausforderung KI-Pipeline
Für KI-Anwendungen sind technische Schulden und deren Konsequenzen besonders relevant. Sie können die Ergebnisse, die eine KI liefert, wie zum Beispiel Absatzprognosen oder darauf basierende Entscheidungen verzerren und negative Konsequenzen für das Unternehmen haben. Im Kontext KI entstehen technische Schulden durch unerwartete Daten, versteckte Konsumenten und verkettete Modelle. Diese werden durch die Blackbox-Natur vieler KIs verstärkt, also dadurch, dass Menschen oft keinen Einblick haben, wie und warum eine KI zu einem bestimmten Ergebnis kommt. Scully et al. (2015) vergleichen sie mit sehr hohen Sollzinsen einer Kreditkarte. Anhand eines hypothetischen, stark abstrahierten Datenverarbeitungsprozesses, der sogenannten "KI-Pipeline", wird im Folgenden beispielhaft erklärt, wie technische Schulden bei KIs auftreten können und was deren Sollzinsen beziehungsweise Folgekosten sind (vergleiche Abbildung 1). Solch ein Prozess ist repräsentativ für sehr viele KI-Anwendungsfälle, die auf Maschinellem Lernen basieren.
Die KI-Pipeline besteht vereinfacht dargestellt aus drei Teilen: Daten werden als Input in ein Modell gegeben, das Modell produziert Output und dieser wird von Output-Konsumenten weiterverwendet. Dies gilt auch für KI-Anwendungen. Hierbei können Probleme auftreten, die durch technische Schulden verursacht werden. Diese Probleme werden durch die Intransparenz der meisten KIs verschärft, sie lassen sich aber vermeiden. Für die folgenden Ausführungen mit Bezug auf das Controlling bemühen wir eine Beispiel-KI und nennen sie Kim. Kim kann auf Basis von Daten, auf die sie trainiert wurde, Online-Verkäufe auf Basis von gewissen Variablen (Marketing-Ausgaben, Tageszeit, Rabatte et cetera) vorhersagen. Die Arbeit mit KIs bringt drei für das Controlling besonders relevante Fallstricke mit sich: unerwartete Daten, das sind Daten, die nicht dem entsprechen, worauf die KI trainiert ist; versteckte Konsumenten, also Output-Konsumenten, die den Entwicklern nicht bekannt sind, und verkettete Modelle, bei denen der Output eines KI-Modells von anderen KI-Modellen weiterverwendet wird.
Unerwartete Daten
KI ist auf Daten angewiesen. Sie lernt durch Daten. Von diesen Daten hängt es ab, ob sie für den Benutzer nützliche Inhalte produziert oder eher hinderlich ist. Wenn es um die Modellierung mit Daten geht, auf die die KI nicht angemessen trainiert ist, ist KI weitgehend nutzlos oder kann gar schaden. Die Daten, auf die eine KI trainiert ist, können sich ändern oder nur einen Teil der Realität abbilden. Da nur bedingt vorhersehbar ist, wie sich die Daten entwickeln, sollten KIs so implementiert werden, dass daraus resultierende negative Konsequenzen vermieden oder abgeschwächt werden. Eine voraussagbare KI-Fehlimplementierung wäre zum Beispiel, Kim auf nur einen Teil der saisonalen Verkaufsdaten zu trainieren: Beinhalten die Daten beispielsweise die Zahlen des Weihnachtsgeschäfts nicht, kann Kim die Verkäufe im Dezember nicht mit gewünschter Genauigkeit prognostizieren, was wahrscheinlich zu einer Unterschätzung der Verkaufszahlen führt. Bei blindem Glauben der Entscheidungsträger an die Prognose der KI führt dies zu realen Problemen, wie etwa Unterproduktion und Lieferschwierigkeiten. Umfassen die Daten hingegen nur die Zahlen des Weihnachtsgeschäfts, liegt Kim mit ihren Vorhersagen für das Frühjahr sehr wahrscheinlich zu hoch und sollte ebenfalls nicht als Entscheidungshilfe genutzt werden. In diesem Fall resultieren die technischen Schulden aus einem suboptimalen Training der KI.
Kim sollte demnach nur als Entscheidungshilfe für Fälle verwendet werden, auf die sie trainiert ist. Hierbei gilt es, die Daten zu verstehen, auf die sie ausgerichtet ist, und bei den ersten unerwarteten Abweichungen zu prüfen, ob das jeweilige KI-Modell angepasst werden muss. Hilfreich kann zudem sein, Kim auf Basis umfassenderer Daten neu zu trainieren. Eine weitere, vermeidbare Fehlimplementierung ergibt sich, wenn sich die Variablen für die Vorhersage während der Nutzungszeit ändern, wenn zum Beispiel Prozentzahlen in den Daten, die für Vorhersagen verwendet werden, plötzlich als Dezimalzahlen an Kim weitergegeben werden. Dienen solche Forecasts als Basis für Entscheidungen, sind Letztere mit hoher Wahrscheinlichkeit falsch. Die Einheitlichkeit der Daten muss in solchen Fällen entweder durch automatische Konvertierung oder regelmäßige händische Kontrolle sichergestellt werden. Idealerweise meldet Kim, wenn neue Daten außerhalb des erwarteten Rahmens liegen. Allerdings muss die technische Möglichkeit für eine solche Meldung zunächst in das System integriert werden und verursacht anfangs Aufwand und Kosten. Ein solches Warnsystem kann jedoch auch helfen, den Effekt unvorhersehbarer Realitätsänderungen abzuschwächen, wie etwa in der ersten Jahreshälfte 2020 während der Corona-Pandemie: Im Bereich E-Commerce begannen Verbraucher zu dieser Zeit, große Teile ihres Offline-Konsums durch Online-Käufe zu ersetzen.
"Die Tilgung technischer Schulden sollte nicht einfach nur als eine Aufgabe der IT-Abteilung verstanden werden."
Versteckte Konsumenten
Ist Kim im Unternehmen implementiert, muss genau geregelt werden, wer sie in welcher Form nutzt. Nehmen wir an, Kim ist sauber implementiert, also auf die für ihren Nutzungsfall relevanten Daten trainiert und mit einem Warnsystem ausgestattet, aber - wie aktuell noch jede KI - in ihrem Umfang limitiert. Wenn Kim verwendet wird, ohne dass diese Limitationen berücksichtigt werden, kann dies zu Fehlentscheidungen führen. Dieser Fall kann vorkommen, wenn Nutzer, die mit Kim nicht vertraut sind, dennoch Zugriff auf Kim oder ihren Output haben, wenn zum Beispiel zu den intendierten Konsumenten noch weitere, versteckte Konsumenten kommen, wie es etwa bei Netzwerkfestplatten oder deren Äquivalenten in der Cloud (Dropbox, Sharepoint, Excel 365 et cetera) der Fall sein kann.
Controller müssen aufpassen, dass bei ihren KIs keine technischen Schulden entstehen.
Vor allem unter Zeitdruck mag es für Controller verlockend sein, auf existierende Modelle zuzugreifen. Ist Kim beispielsweise nur für den Anwendungsfall "Forecast des Weihnachtsgeschäfts" gedacht, ist sie nutzlos für Prognosen des Frühlingsgeschäfts. Ist sich der Nutzer dessen nicht bewusst und wird Kim für eine solche Prognose verwendet, können daraus Entscheidungen abgeleitet werden. Diese können zusätzlich an Glaubhaftigkeit gewinnen, wenn die Vorhersagen von einer KI kommen. Werden Kims Limitationen nicht vollständig berücksichtigt, kann eine Prognose vom angestrebten Konsumenten auch falsch interpretiert werden. So können aus Unwissen Fehlentscheidungen getroffen werden. Dies kann für das Unternehmen teuer werden und die Akzeptanz für Kim und Nachfolge-KIs im Unternehmen senken. Aus technischen Schulden werden auf diese Weise schnell reale Kosten. Abbauen lassen sich diese nur, indem Fehlentscheidungen rückgängig gemacht werden. Der Aufbau solcher Schulden kann jedoch vermieden werden, wenn Unternehmen Zugangskontrollen zur KI sinnvoll etablieren.
Technische Schulden können mit Best Practices vermieden oder minimiert werden.
Verkettete Modelle
Treten bei der Anwendung von Kim sowohl unerwartete Daten als auch versteckte Konsumenten zusammen auf, ergibt sich ein sogenanntes hybrides Problem: Wird Kims Output von einer anderen KI weiterverwendet, sind also mehrere Modelle miteinander verkettet, ergeben sich Abhängigkeiten zwischen den Modellen. Wird Kim neu trainiert und daraus ergeben sich Änderungen im Output, die Folge-KI wird jedoch nicht angepasst beziehungsweise neu trainiert, resultieren daraus ebenfalls unerwartete Daten - unabhängig davon, ob die Folge-KI ein versteckter Konsument ist oder nicht. Vermeiden lässt sich dieses Problem durch die Implementierung weiterer Warnsysteme, die ausgelöst werden, wenn neue Input-Daten außerhalb des erwarteten Rahmens liegen. Ebenfalls lassen sich eventuelle negative Konsequenzen von verketteten Modellen durch verkettete Trainingszyklen beheben, was einem automatisierten Neu-Training der Folge-KI gleichkommt, nachdem Kim neu programmiert wurde.
"Durch Explainable Artificial Intelligence ist es möglich, Entscheidungsprozesse der Künstlichen Intelligenz eindeutig nachzuvollziehen."
Blackbox-Natur als besondere Herausforderung
Die drei beschriebenen Probleme unerwartete Daten, versteckte Konsumenten und verkettete Modelle können nahezu beliebig miteinander kombiniert auftreten. Die Wahrscheinlichkeit, dass dadurch Controller, Manager oder andere Mitarbeiter Fehlentscheidungen treffen, steigt in solchen Fällen. Allerdings sind solche Probleme nicht neu: Dass falsche Daten in einem Forecast-Modell verwendet werden, kann auch ohne die Anwendung von KI passieren. Ebenso kann jemand außerhalb des intendierten Adressatenkreises Output, der nicht auf KI basiert, falsch verwenden, oder der Output eines Excel-Modells kann in ein anderes einfließen. Die für solche "altmodischen" Manifestationen geltenden Best Practices lassen sich auch auf KIs übertragen: Input auf Korrektheit überprüfen und Modelle nur für solche Fragestellungen verwenden, für die sie gebaut sind; Zugangskontrollen etablieren; wenn ein Input aus einem Modell besteht, auch dieses daraufhin überprüfen, ob es den Erwartungen entspricht.
Im KI-Kontext haben die drei genannten Probleme jedoch eine besondere Relevanz, da die meisten Modelle einer Blackbox entsprechen. Sie werden dadurch noch weiter verschärft. Für den Menschen ist nicht nachvollziehbar, warum die KI zu ihren Ergebnissen kommt. Dies erschwert, unerwartete Daten oder Probleme, die durch verkettete Modelle entstehen, zu identifizieren und potenzielle versteckte Konsumenten für die korrekte Nutzung von KI-Output zu sensibilisieren.
Die beschriebenen Probleme lassen sich aber ebenfalls durch Best Practices lösen. Das Blackbox-Problem kann zum Beispiel mit sogenannten Explainable Artificial Intelligence (AI)-Ansätzen vermieden werden (vergleiche Molnar 2020). Dadurch lässt sich die Blackbox beispielsweise durch Visualisierungstechniken, wie zum Beispiel Entscheidungsbäumen, Verteilungs- oder Interaktions-Plots, etwas öffnen. Durch Explainable AI ist es möglich, Entscheidungsprozesse der KI eindeutig nachzuvollziehen, damit Controller und Manager bessere Entscheidungen treffen und Handlungsempfehlungen ableiten können (vergleiche Tabelle 1).
| Herausforderung | Lösungsansatz |
|---|---|
| unerwartete Daten | regelmäßige Datenüberprüfung (automatisiert oder händisch) |
| Neu-Training der Künstlichen Intelligenz | |
| Warnsystem für unerwartete Daten | |
| versteckte Konsumenten | Zugangskontrollen |
| verkettete Modelle | Warnsystem für unerwartete Daten |
| verkettete Trainings-Zyklen | |
| Interpretierbarkeit von Blackbox-Modellen | Explainable Artificial Intelligence |
| Quelle: eigene Darstellung | |
Technische Schulden sind im Kontext KI für Controller und Manager eine vergleichsweise leicht zu nehmende Hürde.
Schlussbetrachtung
Technische Schulden führen zu realen Kosten. Sie haben damit reale, negative Konsequenzen für Unternehmen. Banker/Liang/Ramasubbu (2020) haben technische Schulden in CRM-Systemen (Customer-Relationship-Management-Systeme wie etwa Salesforce, Oracle CRM und HubSpot) untersucht. Sie fanden eine 16-prozentige Reduktion in Bruttorendite für einen zehnprozentigen Anstieg in technischen Schulden. Dabei befassen sich CRM-Systeme ausschließlich mit dem Vertrieb, lediglich einem von vielen Geschäftsbereichen. Die durch technische Schulden im gesamten Unternehmen entstehenden Kosten können enorm sein. Controller und Manager brauchen in vielen Fällen kein tiefes technisches Verständnis für KI. Wenn jedoch vermeidbare Probleme ihre Arbeits- und Unternehmensergebnisse negativ beeinflussen können, wie es bei technischen Schulden in der KI-Pipeline durchaus der Fall sein kann, müssen sie wissen, wie sich diese Probleme lösen lassen. Die Tilgung technischer Schulden sollte daher nicht einfach nur als eine Aufgabe der IT-Abteilung verstanden werden. Controller und Manager sollten sich der Fallstricke technischer Schulden bewusst sein, um das Potenzial von KI für sich und ihr Unternehmen nutzen zu können.
Literatur
Banker, R./Liang, Y./Ramasubbu, N. (2020): Technical debt and firm performance, in: Management Science, Articles in advance, S. 1-21, https://doi.org/10.1287/mnsc.2019.3542 (letzter Abruf: 16.10.2020).
Cunningham, W. (1992): The WyCash portfolio management system, in: ACM Sigplan OOPS Messenger, 4 (2), S. 29-30.
Molnar, C. (2020): Interpretable machine learning - a guide for making black box models explainable, o. O.
Ramasubbu, N./Kemerer C. F. (2016): Technical debt and the reliability of enterprise software systems: a competing risks analysis, in: Management Science, 62 (5), S. 1487-1510.
Sculley, D. et al. (2015): Hidden technical debt in machine learning systems, in: Advances in Neural Information Processing Systems, S. 2503-2511.
Uenuma, F. (2019): 20 years later, the Y2K bug seems like a joke - because those behind the scenes took it seriously, in: Time Magazine, https://tinyurl.com/y2k-bug-history (letzter Abruf: 30.8.2020).
Zusammenfassung.
Technische Schulden bezeichnen die ökonomischen Kosten, die durch schlecht implementierte Software entstehen.
Im Kontext KI entstehen technische Schulden durch unerwartete Daten, versteckte Konsumenten und verkettete Modelle, die durch die Blackbox- Natur vieler KIs noch verstärkt werden.
Controller und Manager sollten den Herausforderungen rund um die technischen Schulden gewachsen sein, um das Potenzial von KIs voll ausschöpfen zu können.
Handlungsempfehlungen.
Seien Sie sich der Herausforderungen, die KIs mit sich bringen, bewusst.
Entwickeln Sie ein Grundverständnis darüber, wie KIs funktionieren.
Beachten Sie mögliche Fallstricke bei der Implementierung!
Nutzen Sie, wenn möglich, Explainable Artificial Intelligence.
Ergänzender Studientipp.
Molnar, C. (2020): Interpretable machine learning - a guide for making black box models explainable, https://christophm.github.io/interpretable-ml-book/index.html.
Springer Professional.
technical debt
Alahdab, M./Çalıklı, G. (2019): Empirical analysis of hidden technical debt patterns in machine learning software, in: Franch, X./Männistö, T./Martínez-Fernández, S. (Hrsg.): Product-focused software process improvement, Vol. 11915, Cham, S. 195-202. www.springerprofessional.de/link/17398484
Pacheco, A./Marín-Raventós, G./Lópes, G. (2018): Designing a technical debt visualization tool to improve stakeholder communication in the decision-making process: a case study, in: Tjoa, A./Raffai, M./Doucek, P./Novak, N. (Hrsg.): Research and practical issues of enterprise information systems, Vol. 327, Cham. www.springerprofessional.de/link/16111658
Jan Lampe
ist Doktorand am Institut für Management und Controlling an der WHU - Otto Beisheim School of Management in Vallendar und nutzt unter anderem neuronale Netze und Maschinelles Lernen für seine Forschungsprojekte.
E-Mail: jan.lampe@whu.edu