Schutz vor Missbrauch
KI in falschen Händen
Künstliche Intelligenz unterstützt Menschen im Alltag, verbessert Prozesse in Unternehmen und Behörden. Sie kann aber auch entgegen ihrem eigentlichen Zweck eingesetzt werden, um Gesellschaft und Wirtschaft zu schaden. Über potenzielle Einfallstore und mögliche Schutzmaßnahmen.
Der Artikel liefert Antworten auf folgende Fragen:
- Welche Missbrauchsszenarien von Künstlicher Intelligenz gibt es?
- Welche technischen und organisatorischen Maßnahmen gibt es zum Schutz vor Missbrauch von KI?
- Was ist das Advanced-Systems-Engineering-Leitbild?
KI-Systeme können auf vielfältige Art unseren Alltag erleichtern. Man denke nur an autonome Fahrzeuge, die in Deutschland seit 2022 am Straßenverkehr teilnehmen können, autarke Drohnen(-schwärme), die bei der Zustellung von Paketen oder bei der Wiederaufforstung von Waldflächen helfen, oder medizinische KI-Assistenzsysteme, die bei der Auswertung von Computertomographie-Scans unterstützen. Auf der anderen Seite besteht aber die Gefahr, dass diese Systeme selbst Ziel eines Missbrauchsversuchs werden oder als Mittel zum böswilligen Zweck dienen.
Von staatlicher Überwachung bis hin zu Ki-gestützten physischen Angriffen – es gibt vielfältige mögliche Szenarien. Und werden Systeme, die auf Künstlicher Intelligenz basieren, missbraucht, kann dies besonders große Auswirkungen haben, da auf diese Weise Entscheidungen von Algorithmen (zum Beispiel in der Robotik) oder sogar des Menschen (zum Beispiel im Umgang mit großen Datenmengen) manipuliert werden können. Hinzu kommt, dass KI-Systeme häufig anpassungfähig, stark vernetzt und teilweise in andere Systeme eingebettet sind. Das und die Tatsache, dass sie zunehmend in verschiedensten Bereichen der Gesellschaft Anwendung finden, machen den Schutz vor Missbrauch von KI-Systemen besonders relevant.
Breites Spektrum an Maßnahmen
Vor diesem Hintergrund nimmt sich das Whitepaper der Plattform „Lernende Systeme“1, die 2017 vom Bundesministerium für Bildung und Forschung initiiert wurde, dieses Themas an und beschreibt vielfältige Schutzmaßnahmen. Angriffsziele und -techniken können in diesem Kontext unterschiedlich ausfallen; möglich ist beispielsweise, dass mehrere Angriffe parallel stattfinden. Daher empfiehlt sich ein breites Spektrum an Schutz- und Abwehrmaßnahmen.
| Über das Whitepaper |
|---|
| Das Whitepaper „KI-Systeme schützen, Missbrauch verhindern“ stammt von der Plattform „Lernende Systeme“. Es greift unterschiedliche Angriffsszenarien und Missbrauchspotenziale auf, um daraus vielfältige mögliche Schutzmaßnahmen abzuleiten. Damit richtet es sich an die fachlich interessierte Öffentlichkeit, an BürgerInnen, an die Hersteller und Anwender von KI-Systemen sowie politische EntscheidungsträgerInnen. |
Diese Maßnahmen sollten den Whitepaper-AutorInnen zufolge sowohl am System selbst, an dessen Umgebung als auch an den Menschen, die das System beauftragen und kontrollieren, ansetzen. Denn auch der Mensch ist bei KI-Systemen involviert – sei es als kontrollierende Instanz, Interaktionspartner oder Entwickler – und die Schutzmaßnahmen müssen sowohl auf technischer als auch auf organisatorischer Ebene umgesetzt werden. Im Idealfall greifen sie ineinander. Während aber einige Maßnahmen lediglich einmal bei der Entwicklung eines KI-Systems durchgeführt notwendig sind (wie die Implementation einer KI-gestützten Erkennung von Anomalien), bedürfen andere einer stetigen Optimierung (wie die Absicherung des Lernprozesses des KI-Systems und dessen Datenbasis). Bei der Festlegung auf Schutzmaßnahmen empfehlen die AutorInnen zudem, immer das Verhältnis von Kosten und Nutzen im Auge zu haben.
Technische Maßnahmen
Die Erkennung und die Blockierung von Angriffen und Missbrauchsversuchen kann generell durch KI-gestützte Detektion von Anomalien erfolgen, beispielsweise Abweichungen vom Umgebungsmodell beim autonomen Fahren. Handlungen ähnlicher KI-Systeme können beispielsweise in einer Cloud-Umgebung gesammelt werden. Auf diese Weise lässt sich abgleichen, ob diese Handlungen bereits in ähnlichen Situationen vorkamen. Diese Daten lassen sich wiederum in Lernprozesse überführen, um die Anomalieerkennung zu optimieren.
Verbotene, schädliche oder gefährliche Handlungen eines KI-Systems können unter anderem dann erkannt werden, wenn Regelsätze in KI-Systeme implementiert werden. Durch den Abgleich registriert das System den Verstoß und leitet Gegenmaßnahmen ein (wie das Abschalten des Systems). Ein Beispiel ist die Regel, dass eine Person nicht verletzt werden darf. Voraussetzung ist jedoch, dass sich Regelsätze durch den Lernprozess der KI nicht ändern und dass keine unbefugten sowie unbeabsichtigten Änderungen eintreten. Das erfordert eine technische Absicherung und entsprechende Prozesse. So sollten notwendige Änderungen unter anderem durch ein „Vier-Augen-Prinzip“ von Menschen eingeleitet und freigegeben werden.
| Zweckentfremdung ≠ Missbrauch |
|---|
|
Der Missbrauch von KI-Systemen ist eng mit weiteren Konzepten wie der Zweckentfremdung, dem Angriff oder der IT-Sicherheit verknüpft. Dabei sind „Missbrauch“ und „Zweckentfremdung“ keine Synonyme. Der Missbrauch von KI-Systemen beschreibt zum einen die Nutzung eines KI-Systems entgegen dessen Zweck (Zweckentfremdung) und zum anderen die Verletzung fundamentaler Werte, wie körperliche und psychische Unversehrtheit, (demokratische) Freiheiten und Rechte, Privatheit oder materielle und immaterielle Werte sowie die Umwelt. Unter Zweckentfremdung von KI-Systemen ist hingegen die Nutzung des Systems entgegen dessen Zweck zu verstehen, was positive oder negative Folgen haben kann. Jeder Missbrauch ist folglich eine „Zweckentfremdung mit negativen Folgen“. |
Die Interaktion von Mensch und KI-System ist unter anderem über Stimme und Gesten möglich. Die Systeme müssen autorisierte Personen daher sicher erkennen. Besonderen Schutz verspricht eine Kombination aus KI-basierten Video- und Spracherkennungssystemen und weiteren Authentifizierungsmaßnahmen, etwa eine Multi-Faktor-Authentifizierung (MFA). Die Authentifizierung kann kontinuierlich erfolgen, um auch den Wechsel von Personen zu erkennen, die mit relevanten Komponenten eines KI-Systems in Berührung kommen.
Es ist unerlässlich, dass die Qualität, die Authentizität und die Integrität der Trainingsdaten gewährleistet werden. So sollten Besitzer von Datenquellen (zum Beispiel Unternehmen, Behörden, Krankenhäuser) die Auswahl der Trainingsdaten klar dokumentieren. Darüber hinaus muss die Auswahl der Daten für den Zweck des Systems angemessen sein und unabhängig geprüft werden können (beispielsweise durch eine Kreuzvalidierung). Zu den Trainingsdaten sollten nur autorisierte Personen neue Daten hinzufügen können. Schließlich lassen sich durch verteiltes Maschinelles Lernen Datensicherheit und -schutz sowie Privatsphäre wahren.
Um den Lernprozess von KI-Systemen zu schützen, kann es sinnvoll sein, ihre Lernfähigkeit einzuschränken, beispielsweise über orts- oder situationsbezogene Beschränkungen. Aber auch eine starke Verlangsamung des Lernens zwischen Systemwartungsschleifen ist denkbar, da sich so Einflüsse von schädlichen Lernbeispielen auf das KI-System minimieren lassen. Zudem können Betreiber auch das selbstständige Lernen eines KI-Systems einschränken, sodass erst eine menschliche Instanz neu Erlerntes bestätigen muss.
Darüber hinaus besteht die Möglichkeit, die Funktionalitäten und die Fähigkeiten von KI-Systemen für bestimmte Orte, Zeitfenster, Situationen und Umgebungen zu deaktivieren beziehungsweise den Grad der Autonomie eines solchen Systems zu reduzieren. Beispiele sind das Geofencing und das Geotargeting. Diese Technologien orientieren sich an geographischen Koordinaten, um beispielsweise Drohnenflüge in spezifische Gebiete zu unterbinden oder Funktionen von Baumaschinen auf einer Baustelle zu beschränken. Einschränkungen von Fähigkeiten können zudem gekoppelt an eine Umgebungsanalyse auf Basis der Sensoren eines mobilen Systems erfolgen. Das heißt, dass bestimmte Fähigkeiten nur dann freigegeben sind, wenn Sensoren spezifische Merkmale eines Ortes oder einer Umgebung erkennen.
Organisatorische Maßnahmen
In jeder Lebenszyklusphase eines KI-Systems – von Design, Herstellung, Inbetriebnahme, Einsatz, Wartung, Aktualisierung bis zur Entsorgung – bestehen kritische Punkte, die das Missbrauchspotenzial erhöhen. Ein Beispiel sind Fehler oder „Hintertüren“ in, die in der Designphase in die Soft- oder Hardware gelangen, aber auch das Fehlverhalten von Personen kann zu Schwachstellen im System führen. Einem Risiko, dem Verantwortliche mit verschiedenen organisatorischen Maßnahmen entgegenwirken können, die aber oft komplex und aufwendig in der Umsetzung und daher kostspielig sind. Diese organisatorischen Maßnahmen sind gleichzeitig ein gutes Instrumentarium, um Missbrauch vorzubeugen und gerade bei KI-Systemen unumgänglich, die im Missbrauchsfall einen potenziell großen Schaden verursachen würden. So müssen die Betreiber Regeln für den Zugang zu Software und Hardware des KI-Systems definieren, aber auch für den Zugang zur Einsatzumgebung, für Prozesse rund um die Beobachtung sowie für die Umsetzung der Prinzipien „Security- und Safety by Design“. Beispielsweise stellen Betriebsvereinbarungen ein wirksames Instrument dar, um den Einsatz von und den Umgang mit KI-Systemen schon mit der Einführung im Einvernehmen zwischen Unternehmen und ihren Beschäftigten zu definieren.
Darüber hinaus sollten die Verantwortlichen das KI-System selbst als auch die organisatorischen Prozesse prüfen und/oder zertifizieren lassen. Darunter fallen unter anderem: technische Eigenschaften, Trainingsdaten, aufgezeichnete Handlungen, Reaktionen und Verhaltensweisen des Systems zur Einsatzzeit und in Prüfszenarien sowie erlernte und veränderte Fähigkeiten und die Lernfähigkeit selbst. Prozesse wie die Herstellungs- und Wartungsprozesse sollten ebenfalls Teil von Prüfungs- und Zertifizierungsmaßnahmen sein.
ASE-Leitbild gibt den Weg vor
Um sowohl technologischen als auch organisatorischen Maßnahmen zum Schutz vor Missbrauch Rechnung zu tragen, bietet es sich grundsätzlich an, dem Leitbild des „Advanced Systems Engineering“, kurz ASE, zu folgen. ASE steht stark vereinfacht ausgedrückt für eine neue Denk- und Handlungsweise in der Planung, der Entwicklung und dem Betrieb von komplexen Systemen. Demnach bestehen die Systeme aus mechanischen Komponenten, Software und moderner Informationstechnik, die über Netzwerke – zum Beispiel das Internet – miteinander verbunden sind. Und gemäß ASE ist davon auszugehen, dass sie sich künftig zudem durch einen hohen Grad an dynamischer Vernetzung, Autonomie und interaktiver, soziotechnischer Integration auszeichnen. Daher werden zum einen Herangehensweisen des Engineerings notwendig, die sich durch eine ganzheitliche und interdisziplinäre Perspektive der zunehmenden Komplexität der KI-Systeme auszeichnen. Zum anderen gilt es für Verantwortliche, kontinuierlich neue technologische und arbeitsorganisatorische Entwicklungen einzubeziehen.
Exkurs: Das gefakte Videotelefonat
Welche manipulativen Tücken heutzutage mit modernen Kommunikationsmitteln einhergehen können, durfte Berlins Regierende Bürgermeisterin Franziska Giffey (SPD) jüngst am eigenen Leib erfahren: In einer Videokonferenz Ende Juni hatte sie mit jemandem gesprochen, der sich fälschlicherweise als Kiews Bürgermeister Vitali Klitschko ausgab. Nach einer halben Stunde jedoch fiel der Schwindel auf und das Gespräch zur aktuellen Lage in der Ukraine wurde vorzeitig beendet. Fünf Tage nach dem Telefonat bekannte sich das russische Komiker-Duo „Vovan und Lexus“ zu dem Betrug und behauptete laut einem Bericht des ARD-Magazins „Kontraste“, hinter der Aktion zu stecken und Giffey sowie einige ihrer Amtskollegen aus anderen europäischen Hauptstädten hereingelegt zu haben. Welcher Art von technischer Manipulation man sich bediente, ließ das Duo jedoch offen. Die Berliner Senatskanzlei war zunächst von einer digitalen Manipulation, einem sogenannten „Deep Fake“, ausgegangen. Mittlerweile haben sich die Hinweise dahingehend verdichtet, dass es sich um einzelne Videoschnipsel aus einem Interview gehandelt hat, die clever geschnitten und in Echtzeit neu zusammengesetzt worden sind. Damit wäre Giffey zwar immer noch einer Fälschung aufgesessen, allerdings einem sogenannten „Shallow Fake“ oder „Cheap Fake“ und keinem technisch anspruchsvollen Deep Fake.
Auch wenn es in diesem Fall nicht zu einem Missbrauch mittels KI gekommen ist, stellt die Deep-Fake-Methode durchaus eine reale Gefahr dar. Dabei lernt KI-Software auf Basis von Video- und Tonaufnahmen Stimme, Mimik und Gestik einer anderen Person, um vermeintlich authentische Videos oder Audio-Aufnahmen entstehen zu lassen. Während diese Art von Fakes in der Vergangenheit nur mühsam angefertigt werden konnte, ist das mittlerweile mit vielen kostenlosen Apps für jeden Laien möglich. Hinzu kommt: Die Technologie kann für Betrüger potenziell sehr wertvoll sein. Es ist vorstellbar, dass der Anruf einer Führungskraft simuliert wird, der die Buchhaltung zu einer Überweisung auffordert. Und auch Privatpersonen haben bereits Schaden erlitten: So wurden beispielsweise zahlreiche Schauspieler in pornografische Inhalte geschnitten. Die kriminellen Möglichkeiten von Deep Fakes reichen weit, von Erpressung bis zur Wahlbeeinflussung durch gefälschte Videos der Kandidaten mit schädigen Aussagen oder Handlungen.
Das könnte Sie auch interessieren
Daten zählen
Mit Künstlicher Intelligenz Wert schöpfen
Künstliche Intelligenz kann helfen
Compliance-Nachholbedarf im Mittelstand
Sophos kündigt X-Ops an
Drei Security-Expertenteams in einem
Cyberkompetenz
Menschliche Cybersecurity-Skills patchen
Sophos stellt Cloud Native Security vor
Vollständiger Server-Schutz
Tipps des Security-Spezialisten
Reaktion im Fall eines DDoS-Angriffs
Verwandte Artikel
connect professional
Cyberversicherungen und PAM
Reaktive Sicherheit stellt Versicherer nicht mehr…
Geschäftsmodelle in der Digital Society
Wachstumstreiber Subscription Economy
