Erfahren Sie mehr über das Anwendungsbeispiel:

FZI Forschungszentrum Informatik

Forschungsprojekt: Software Engineering for AI, Robotik/Autonome Systeme

27.04.2020

CyberProtect - Absicherung von KI-Komponenten

Das durch das Ministerium für Wirtschaft, Arbeit und Wohnungsbau Baden-Württemberg geförderte Projekt CyberProtect verfolgt im Sinne der Stärkung von KMUs in Baden-Württemberg das Ziel der besseren Absicherung von komplexen Softwaresystemen. Dabei werden alle drei Bereiche von Sicherheit (Security, Safety und Privacy) betrachtet, der Fokus liegt hierbei auf dem Teilgebiet der Security.

Im Rahmen des Projektes werden hierfür Methoden entwickelt um das Verhalten bzw. Entscheidungen von komplexen Softwaresystemen z.B. von KI-Systemen sichtbar zu machen und somit Aussagen über den Sicherheitszustand der Systeme zu ermöglichen. Über ein weitreichendes Angebot wie Quick-Checks, Schulungen und Open Lab Days werden KMUs in das Projekt einbezogen um ihnen die Möglichkeit zu bieten ihre komplexe Software auf Sicherheit untersuchen und ggf. verbessern zu lassen.

Im Folgenden wird ein Teilaspekt des Projekts beschrieben:

Was war der Auftrag für die Kooperation/ Entwicklung einer/eines KI-basierten Anwendungsfalls/Lösung/Dienstleistung?
Der Auftrag bestand darin, aktuelle Methoden und Technologien zu betrachten, die im Zusammenhang mit KI eingesetzt werden. Darauf aufbauend wurden verschiedene Angriffsmöglichkeiten recherchiert und evaluiert, so dass Maßnahmen zur Verbesserung der funktionalen Sicherheit (Safety) von Produktionssystemen mit KI-Komponenten abgeleitet werden konnten.

Welche Technologien und KI-Methoden wurden eingesetzt und warum?
Es wurden keine speziellen KI-Methoden eingesetzt, sondern Software-technische Mittel betrachtet um KI-Methoden zusätzlich abzusichern. Hierbei wurden Selbst-Adaptive Systeme eingesetzt, um zusätzliche Umgebungsvariablen zu beobachten. Das Ziel von Selbst-Adaptiven Systemen ist es, potenzielle Fehlerzustände vorherzusagen und proaktiv in die Funktionsausführung des eigentlichen Systems einzugreifen.

Mit welchen Partnern wurde das Projekt umgesetzt mit welchen jeweiligen Parts?
Zu den Konsortialpartnern des Projekts gehören neben dem FZI Forschungszentrum Informatik noch das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) sowie das Fraunhofer-Institut für Produktionstechnik und Automatisierung.

Wie haben Sie zum Wissens- und Technologietransfer zum Auftraggeber beigetragen?
Im Rahmen des CyberProtect-Projekts haben wir ein Showcase entwickelt, welcher ein Selbst-Adaptives System prototypisch implementiert und eine KI-basierte Vision-Komponente zusätzlich absichert.

In welchem Zeitraum haben sie die KI-Lösung in Ihrem Unternehmen implementiert?
Dadurch, dass es sich nur um ein Showcase handelte, belief sich die Entwicklungszeit auf ca. 2 Monate.

Ein Fazit zu Ihrer KI-Lösung:
Der Showcase hat veranschaulicht, dass bereits leichte Beeinflussungen externer Faktoren (wie z.B. Helligkeitsänderungen von Bildern) eine KI-basierte Vision-Komponente zu falschen Berechnungen zwingt und somit zu potenziellen Fehlern führt. Solche Fehlerpotenziale gilt es frühzeitig zu identifizieren und vorzubeugen.

Einen abschließenden Rat/Tipp an andere Unternehmer, die KI anwenden wollen:
Je nach Komplexität der eingesetzten KI-Methode und unter Betrachtung des Einsatzkontexts (Sicherheits-kritischen Systeme) sind zusätzliche Risikoanalysen empfehlenswert. Fehlberechnungen von KI-Komponenten sollten eingeplant und durch zusätzliche Mechanismen (z.B. Software-technischen) kompensiert werden.

Mehr Infos zum Gesamtprojekt unter:
https://www.fzi.de/forschung/angewandte-ki/