Künstliche Intelligenz in der Security
Gegen das Vergessen
Fortsetzung des Artikels von Teil 2
Erfolgsversprechende Methoden
Den KI-Entwicklungsteams bleibt zu einem gewissen Grad nichts anderes übrig, als unterschiedliche Möglichkeiten und Methoden zu testen, um sich der idealen Methode anzunähern. Einige der erfolgversprechenden Methoden sind die folgenden.
Data Rehearsal: Eine gängige Methode, um katastrophales Vergessen zu reduzieren, nennt sich Data Rehearsal, sprich das Arbeiten mit Datenproben (Bild 3). Dies bedeutet, dass man während der Feinabstimmung einige alte Daten unter die neuen Daten mischt. Das Ergebnis dieser Methode ist sehr gut. Allerdings benötigt man Zugriff auf ältere Daten, was nicht immer möglich ist. Das zusätzliche Einbringen alter Daten erhöht zudem die Gesamtmenge der Trainingsdaten, sodass es länger dauert, das Modell zu trainieren. Dennoch, der Effekt des katastrophalen Vergessens egalisiert sich, je mehr Altdaten man beim Training beimischt.
Regulieren: Beim Regulieren gibt es die Option, das Verändern gewisser Parameter zu unterdrücken, um das „Vergessen“ zu begrenzen. Bei maximaler Reduzierung sind keine Parameter geändert, aber es findet auch kein Lernen statt. Es gilt also, die optimale Balance für die Regulierung, das optimale Lernen und möglichst wenig Vergessen zu finden. In den Tests bei SophosAI half das Anpassen der Lernrate, um das Vergessen zu reduzieren. Das Senken der Lernrate oder die Anwendung einer Regulierung bedeutet im Grunde, dem Modell zu sagen, dass es während der Feinabstimmung alle Parameterbewegungen unterdrücken soll, unabhängig vom Parameter. Auch wenn diese Methode einen gewissen Erfolg aufweisen kann, ist sie noch nicht die optimale Vorgehensweise, um dem Problem des katastrophalen Vergessens feinjustiert zu begegnen.
Regulieren mit elastischer Gewichtung: Eine fortgeschrittene Variante des Regulierens besteht darin, dass das Modell nur solche Parameter ändert, die für die Klassifizierung älterer Daten nicht so wichtig sind. Elastic Weight Consolidation (EWC) – eine Methode, die die Forscher bei Deep Mind im Jahr 2017 entwickelt haben – versucht genau dies. Dabei definiert man das Basismodell als Bayes‘schen Prior der Parameterschätzungen. Die Feinabstimmung besteht darin, mehr Daten anzuwenden, um sich den Wahrscheinlichkeiten anzunähern. Im Wesentlichen strebt man eine Regulierung an, die die Prior-Verteilung simuliert. Zur Optimierung kommen komplexe Formeln und Methoden aus der Statistik zum Einsatz. Prinzipiell geht EWC davon aus, dass der Prior normalverteilt ist, dass also der Kurvenverlauf symmetrisch ist sowie Median und Mittelwert identisch sind (Normal- oder Gauß-Verteilung). Gekennzeichnet ist dies mit einem Mittelwert, der durch die Parameter des Basismodells gegeben ist, und einer Varianz, die sich aus der Fisher-Informationsmatrix ergibt. Die Fisher-Informationsmatrix (benannt nach dem Statistiker Ronald Fisher) ist eine mathematisch/statistische Kenngröße, die für Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert. Kurz: Die elastische Gewichtung lässt sich über statistische Methoden bestimmen und einem optimalen Wert gut annähern. Und sie löst das Problem des katastrophalen Vergessens besser als die Regulierung ohne elastische Gewichtung.
Beim Vergleich aller drei Ansätze ist es allerdings auch wichtig, die Kompromisse zwischen Performance, Rechenkosten und Datenpflegekosten zu berücksichtigen. Die EWC und die Änderung der Lernrate erfordern keine älteren Stichproben, aber sie sind auch nicht die leistungsstärksten. In der Zwischenzeit hat die Datenwiederholung eine stärkere Leistung im Vergleich zu einem Modell, das von Grund auf mit alten und neuen Daten trainiert wurde. Es reduziert auch die Gesamtkosten für die Berechnung und die Datenspeicherung. Auswertungen bei Sophos ergaben, dass im Moment Data Rehearsal in Bezug auf Erkennungsrate und Kosten am effektivsten sind.
Fazit
Forscher und Entwickler stehen bei der KI noch vor vielen Aufgaben, die es zu lösen gilt. Bereits heute ist allerdings mit künstlicher Intelligenz ein Stadium erreicht, das in der Security sehr hilfreich beim Aufspüren unbekannter Cybergefahren ist und Unternehmen und Organisationen davor schützen kann, modernen, bisher unbekannten Angriffen zum Opfer zu fallen. KI ist eine der effizientesten Technologien im Kampf gegen Cyberkriminalität. Jetzt kommt es auf die Geschwindigkeit in der KI-Entwicklung an, denn auch die Cyberkriminellen werden sich in absehbarer Zeit KI-ähnlicher Mechanismen bedienen. Noch ist die Security-Branche den Machern von Malware in Bezug auf KI einen großen Schritt voraus. Es gilt, diesen Vorsprung zu halten oder sogar auszubauen. Darum hat sich eine Reihe von Entwicklungs- und Forschungsteams in diversen Initiativen und offenen Communities zusammengetan, um Forschungsergebnisse austauschen und die Entwicklung noch schneller voranzutreiben.
Michael Veit ist Technology Evangelist bei Sophos.
- Gegen das Vergessen
- Modelle nachtrainieren
- Erfolgsversprechende Methoden
Lesen Sie mehr zum Thema
