Künstliche Intelligenz in der Security
Gegen das Vergessen
Fortsetzung des Artikels von Teil 1
Modelle nachtrainieren
Das Prinzip des Nachtrainierens existierender Deep-Learning-Modelle könnte ein Weg sein, um dem unverhältnismäßigen Aufwand einer kontinuierlichen kompletten Neuentwicklung von Deep-Learning-Modellen zu entgehen. Denn der augenscheinlich einfachste Weg, ein neues Modell sehr schnell und kostengünstig zu trainieren, besteht darin, ein vorhandenes Modell mit den neuesten Daten zu verfeinern. Ein Beispiel: Man trainiert ein Modell (M0) mit allen zur Verfügung stehenden alten Daten. Anstatt in der kommenden Woche ein komplett neues Modell von Grund auf inklusive der zusätzlichen neuen Daten der vorangegangenen Woche zu trainieren (um das Modell M1 zu erreichen), könnte man auch das existierende M0 nutzen und nur mit den Daten der letzten Woche trainieren. Theoretisch müsste man auch so zur Version M1 gelangen. Leider ist dem nicht so. Denn neuronale Netzwerke funktionieren nicht wie menschliche Gehirne. Versucht man, M0 mit neuen Daten zu trainieren, um das Modell M1 zu erzeugen, neigt das neue Modell zu einer Überanpassung an die neuen Daten. Dies wiederum führt zum unerwünschten Effekt des katastrophalen Vergessens: Das Modell vergisst, wie die alten Daten zu klassifizieren sind.
Dies verdeutlicht, dass künstliche Intelligenz weit von der Funktionsweise eines menschlichen Gehirns entfernt ist. Denn wenn menschliche Gehirne lernen, aktualisieren sie nur sehr kleine Teile, um die neuen Informationen aufzunehmen. Aufgrund jahrelanger Erfahrung und der wichtigen Verallgemeinerungsfähigkeiten funktioniert das gut. Das Lernen neuronaler Netze läuft vollkommen anders ab. Man füttert sie mit einigen Informationen, um im Anschluss zu sehen, wie sie etwas falsch machen. Anschließend wird jeder einzelne Parameter im neuronalen Netzwerk aktualisiert, um diesen Fehler zu korrigieren. Trainiert man also ein neuronales Netzwerk nur mit einem zusätzlichen neuen Datensatz, wird es wichtige alte Dinge vergessen. Es überschreibt wichtige Parameter mit neuen Werten – und verliert eventuell sogar die Fähigkeit, ältere Malware-Dateien zu erkennen.
Das „Time-Decay“-Diagramm (Bild 2) verdeutlicht diesen Prozess: Die Grafik zeigt das Verhalten des Basismodells (die grüne Linie), das man sequenziell auf die Daten weiterer Monate fein abgestimmt hat, anstatt es von Grund auf neu zu trainieren. Man kann sehen, dass das fein abgestimmte Modell sich gut an die neuen Daten anpasst, jedoch zwischen März und Juli 2019 unter den Vergessenseffekten leidet: Es verliert zeitweise an Genauigkeit. Die blaue Linie zeigt das Modell mit vollständigem Neutraining. Wenn es gelingt, bei einem sequenziell fein abgestimmten neuronalen Netzwerkmodell dieselbe Genauigkeit wie bei einem komplett neu trainierten neuronalen Netzwerkmodell zu erreichen (oder sogar zu übertreffen), ist ein Weg gefunden, um schnell und kostengünstig genaue Modelle zu implementieren. Die Entwicklungsabteilungen und Laboratorien der KI- und Deep-Learning-Entwicklung betreiben teilweise so etwas Ähnliches wie Grundlagenforschung.
- Gegen das Vergessen
- Modelle nachtrainieren
- Erfolgsversprechende Methoden
Lesen Sie mehr zum Thema
