Kommentar: Gabriel Frasconi, Freshworks.
Wenn der Chatbot dreimal lügt
Knapp ein Jahr nachdem ChatGPT und andere generative KI-Tools größere Bekanntheit erlangt haben, benutzen laut einem Venture Beat-Bericht bereits 75 Prozent der befragten Unternehmen KI für ihr Geschäft. Aber mit der wachsenden Zahl von KI-gestützten Chatbots steigen auch die Risiken.
Die Gefahr besteht darin, dass die Bots nicht immer wie gewünscht funktionieren: Unsinnige oder ungenaue Ausgaben oder Antworten, die nicht aus den Large Language Modells (LLMs) herausgefiltert werden können, verbleiben in dem Daten-Pool der Chatbots.
Man nennt diese auch Halluzinationen. Sie stellen keine großen Probleme dar, wenn Menschen zu Hause mit KI-Prompts herumspielen, aber in Unternehmen, die neue Chatbots für eine große Anzahl von Kunden und Mitarbeiterinnen und Mitarbeitern einsetzen, kann nur eine einzige KI-Erfindung Unternehmen vor Gericht bringen.
Im vergangenen Frühjahr sanktionierte ein Richter eine Anwaltskanzlei, weil sie in einem Schriftsatz, den ein Chatbot verfasst hatte, Rechtsgutachten mit gefälschten Zitaten zitiert hatte. Die Firma gab zu, dass sie „nicht glaubte, dass ein Stück Technologie Fälle aus einem ganzen Stoff erfinden könnte“.
Halluzinationen treten auf, wenn die Daten, die zum Trainieren von LLMs verwendet werden, von schlechter Qualität oder unvollständig sind. Die Häufigkeit liegt bei den meisten KI-Plattformen zwischen drei und acht Prozent. Bei Customer-Service-Chatbots kann die Bereitstellung falscher Ratschläge oder Informationen wichtige Ziele wie die Kundenzufriedenheit negativ beeinflussen. Sie können auch in hochkomplexen (und regulierten) Sektoren wie dem Gesundheitswesen oder dem Finanzwesen zu Verwirrung und potenziellem Schaden führen.
In IT-Organisationen richten KI-Pannen auch auf andere Weise verheerende Schäden an. Chatbots können Service-Tickets falsch zuweisen, ein Problem ungenau beschreiben oder Arbeitsabläufe stören und zu erheblichen systemischen Problemen führen.
Für Ingenieure kann ein KI-generierter Code, der in der Softwareentwicklung verwendet wird, Sicherheitslücken oder geistiges Eigentum enthalten, das während des Trainings aufgenommen wurde. KI-Systeme können auch komplexe Fehler oder Sicherheitsprobleme übersehen, die nur ein Entwickler erkennen und beheben würde.
So können Unternehmen Risiken minimieren:
Inhaltsfilter: Eine Vielzahl von technischen oder richtlinienbasierten Leitplanken kann vor unangemessenen oder schädlichen Inhalten schützen. Beispielsweise können Inhaltsfilter die Beantwortung von Fragen zu sensiblen Problemen oder Themen ablehnen. Beim Customer-Service sollte ein Chatbot eine Anfrage schnell an einen menschlichen Mitarbeiter übergeben, wenn er verwirrt ist oder nicht in der Lage ist, die genaue Antwort zu finden.
Bessere Datenqualität: Bei der Schulung von LLMs sollten IT-Teams die Daten validieren, um sicherzustellen, dass sie qualitativ hochwertig, relevant und umfassend sind. Trainingsdaten sollten regelmäßig überprüft werden, um sich vor "Modelldrift" oder Leistungseinbußen zu schützen, die aufgrund von Änderungen des zugrunde liegenden Datenmodells im Laufe der Zeit auftreten.
Leitplanken: Durch die Einschränkung der Fähigkeit der Chatbots, sich mit Apps und Diensten von Drittanbietern zu verbinden, wird die Möglichkeit vermieden, irreführende, ungenaue oder potenziell schädliche Daten zu generieren. Nebeneffekte des Sandboxings des Chatbots auf diese Weise sind eine bessere Leistung (weniger Abhängigkeiten) und eine verbesserte Compliance für die Branchen, in denen dies unerlässlich ist.
Halluzinationen mögen heute ein Problem sein, aber die Forschung ist im Gange, das Problem zu lösen. In dem Bemühen, sowohl die Genauigkeit als auch die Zuverlässigkeit zu verbessern, wird alles untersucht, von der Erstellung größerer Modelle bis hin zur Selbstdurchführung der Faktenprüfung durch LLMs.
Gabriel Frasconi ist VP & General Manager South Europe & DACH bei Freshworks.
Lesen Sie mehr zum Thema
