Was Nutzer immer wieder erstaunt: Einerseits erzeugt ChatGPT fabelhafte Resultate, bis zum bestandenen Anwaltsexamen; andererseits erzählt sie manchmal abstruse Märchen, in Fachkreisen „Halluzinationen“ genannt. Denn während symbolische Systeme auf Logik aufbauen und damit verlässliche Ergebnisse liefern, schafft eine generative KI selbstlernend neue Inhalte. Doch ChatGPT ist eben eine Konversations- und keine Wahrheitsmaschine: Die Autocomplete-Fee aus 1.001 Nacht kümmert es nicht, ob das Ergebnis Fakt oder Fiktion ist – Hauptsache, die Antwort klingt so, als käme sie von einem Menschen. Verlässt man sich im IT-Betrieb allzu leichtfertig auf den fliegenden KI-Teppich, droht also ein Flug mit Turbulenzen.
„Eine AIOps-Lösung sollte nicht halluzinieren, da das dramatische Auswirkungen haben könnte“, betont Sippli von IBM, „zum Beispiel wenn sie einen fehlerhaften Lösungsansatz empfehlen würde, der das Problem verschlimmert und den Incident verlängert.“ Doch wie lässt sich das verhindern? „Best Practices bei IBM AIOps beruhen auf einem soliden Forschungs- und innovativen Engineering-Konzept rund um Large Language Models sowie auf einem proprietären Ansatz, den IBM erforscht, um LLMs mit anderen, nicht-generativen KI-Methoden zu kombinieren.“
Zwei Dimensionen zur Kontrolle von Halluzination seien „Helpfulness“ (Nützlichkeit) und „Harmlessness“ (Harmlosigkeit): „Unser Hybridansatz ermöglicht es uns, den richtigen Sweet Spot entlang dieser beiden Dimensionen zu erreichen“, sagt Sippli. Es sei ratsam, Benutzern von AIOps-Software aufzuzeigen, wo welche KI zum Einsatz kommt, damit sie das Risiko einschätzen können.
„Unser KI-Modell nutzt natürliche Sprache zur Darstellung von Ergebnissen“, beruhigt HPE-Mann Simon. „Dieses Wirkprinzip meidet das Ersetzen von Fakten durch Fiktionen oder KI-Halluzinationen. Wenn also die KI sagt, dass ein bestimmtes Endgerät ein Roaming-Problem hat, dann ist das eine verständliche Übersetzung einer vorausgegangenen Auswertung von Messwerten.“ Die resultierende Empfehlung basiere auf dem Vergleich erfolgreich umgesetzter Lösungen bei einer Vielzahl von Anwenderunternehmen.
Auch SolarWinds-Mann Giese schätzt das Halluzinationsrisiko beim hauseigenen Ansatz als gering ein: „Glücklicherweise bewegen wir uns in einem Bereich, der zu 100 Prozent auf Zahlen basiert und definierbar ist“, sagt er. „Selbstverständlich kann es auch hier zu interessanten Fällen kommen, aber das Risiko von klassischen Halluzinationen wie bei einer generativen KI ist vernachlässigbar.“
KI – insbesondere generative KI – ist aus Nutzersicht eine Blackbox: Man weiß nicht, wie der Djinn sein Ergebnis herbeizaubert. Dies sorgt für Misstrauen. Generative KI lässt sich aber auch darauf trainieren, ihren Lösungsweg zu erklären. So bemühen sich die AIOps-Anbieter um Mechanismen, die Einblick in die Vorgehensweise ihrer KI geben.
„Wir bieten als Teil unserer Lösungen Explainability (Erklärbarkeit, d.Red.) und Transparenz an“, sagt IBM-Expertin Sippli. „Zum Beispiel erklären wir, wie die Lösung zu bestimmten Schlussfolgerungen gekommen ist“ – etwa per Nachweis historischer Event- oder Ticketdaten, die Korrelationen oder Handlungsempfehlungen begründen. „Darüber hinaus bieten wir den Betriebsexperten Einsicht und Kontrolle bei der Anwendung von KI-basierter Automatisierung, um beispielsweise zu bestätigen, was sicher ist“, so Sippli. Erkenntnisse aus diesen Entscheidungen ziehe man dann für künftige KI-Interaktionen heran.
„Um bessere Ergebnisse zu erzielen, sind die Rückkopplung und die Validierung der Ergebnisse eines KI-Modells durch einen Analysten zentral“, sagt auch Splunk-Fachmann Drieger. Der Anwender ist somit Teil des Gesamtsystems, indem er der KI Rückmeldung gibt. Mit diesem Ansatz, RLHF (Reinforcement Learning from Human Feedback) genannt, arbeiten auch KIs wie ChatGPT. „Erstellte KI-Modelle können genauer untersucht werden, um damit eine bessere Nachvollziehbarkeit zu gewährleisten“, so Drieger. Außerdem biete Splunk in der Regel die Option, bis auf die Rohdatenebene zu gehen, was für detaillierte Analysen und die Nachvollziehbarkeit unerlässlich sei.
Letztlich aber ist und bleibt es offenbar die wichtigste AIOps-Vertrauensmaßnahme, dem IT-Fachpersonal trotz aller Automationsmöglichkeiten das letzte Wort zu überlassen: „Die integrierte Automatisierung“, so HPE-Fachmann Simon über die Aruba-Lösung, „zeigt in natürlicher Sprache das Problem nachvollziehbar an und überlässt dem Anwender den Grad der Automatisierung und die Abstufung in Prioritäten.“
KI im Cybercrime und im SOC
Als der böse Onkel Scar im „König der Löwen“ seine Machtergreifung plant, fährt Disney alles auf, was die Szene unheimlich wirken lässt: Scars Anhänger, eine Horde debiler Hyänen in einer gelblich-verrauchten, skelettübersäten Höhle, formieren sich im Lauf seiner Rede zu einem Heer im Stechschritt marschierender Raubtiere. Die Szene, eine Zeichentrickvariante von Leni Riefenstahls NSDAP-Parteitagsfilm „Triumph des Willens“, dient als düsteres Gegenstück zur Tierpyramide des „guten“ Simba – ist aber letztlich deren Spiegelbild: In beiden Fällen werden die Körper der Untergebenen in strenge Formation gezwängt, um Machtansprüche zu untermauern. Kurz: Machtinstrumente lassen sich ge- oder missbrauchen – doch die Grenze ist nicht so klar, wie sie scheint.
Eine solche Doppelrolle spielt auch KI, etwa im Security-Bereich: Die Cybercrime-Pendants zu Scar, Jafar und Co. ziehen für ihre dunklen Machenschaften zunehmend KI-Tools heran, um beispielsweise Phishing echter wirken zu lassen. Die Verteidiger wiederum setzen zur Angriffs- und Malware-Erkennung schon längst auf ML. Auch generative KI könnte im SOC (Security Operations Center) punkten: „SOC-Teams sind in der Regel mit unzähligen zeitaufwendigen manuellen Aufgaben konfrontiert, bei denen generative KI helfen kann, Prozesse zu automatisieren, indem sie schnell entsprechenden Code schreibt“, sagt Bert Skaletski, Resident CISO EMEA bei Proofpoint. „Generative KI kann auch technischen Fachjargon in für Laien verständliche Sprache umformulieren und so die Kommunikation des SOC-Teams mit den Endbenutzern persönlicher gestalten und verbessern.“ Ebenso könne sie beim Schichtwechsel im SOC den Informationstransfer zwischen Teams erleichtern.
Doch auch hier stößt KI an Grenzen: „KI-Technologie ist extrem gut darin, große Mengen von Daten zu verarbeiten, Muster und Abweichungen zu erkennen. Nach wie vor ist jedoch ihre Fähigkeit, Daten und Ereignisse kontextuell zu beurteilen, nur rudimentär vorhanden“, sagt Skaletski. „Weil diese Urteilsfähigkeit noch immer zu wünschen übrig lässt, kommt es regelmäßig zu falsch-positiven oder falsch-negativen Ergebnissen bei der Erkennung.“ Daher bedürfe es im SOC weiterhin einer Kombination aus KI-gestützten Systemen und menschlichem Fachwissen.
Fazit: Der KI-Geist ist aus der Flasche, und seine Kräfte können praktisch überall zum Einsatz kommern. In Form von AIOps bittet KI die IT-Welt zum Tanz, während im Darknet eine Cybercrime-Szene, die es mit sämtlichen Disney-Bösewichtern aufnehmen kann, den Djinn für Angriffe nutzt. Von Aladdins Geschichte wissen wir: Wie nützlich der Flaschengeist ist, hängt davon ab, wie geschickt die Prompts formuliert sind. „Der König der Löwen“ wiederum lehrt uns, dass Gebrauch und Missbrauch von Machtinstrumenten näher beieinanderliegen, als es zunächst scheint – und dies in Zeiten rasanter KI-Fortschritte.
Manche Fachleute plädierten deshalb bereits für ein Moratorium in der KI-Entwicklung – was jedoch ähnlich fantastisch klingt wie eine Pyramide aus Elefanten und Giraffen. Vermehrt hört man zudem die Forderung, KI müsse – wie jede gemeinwohlrelevante Innovation bisher – staatlicher, möglichst internationaler Kontrolle unterliegen. Denn da generative KI enorm große Datenpools und Rechenpower voraussetzt, kann sich nur eine Handvoll Konzerne, allen voran Microsoft und Google, das Training der Foundation-Modelle leisten – und ob diese mächtigen Player letztlich das Gemeinwohl oder doch nur den Profit im Auge haben, will man nicht erst herausfinden, wenn sich der Dirigent eines Djinns als böser Onkel oder machtgeiler Großwesir entpuppt.