Projekt 464 TP 1: Sicherheit von KI-Systemen: Grundlagen — Teilprojekt 1: Adversarial Deep Learning

Der Auftragsgegenstand ist die Erstellung einer Studie, in welcher die Sicherheitseigenschaften von konnektionistischen KI-Modellen (Neuronale künstliche Intelligenz) untersucht werden. In der Studie soll ein Überblick über den aktuellen Stand der Technik und Forschung für folgende Teilbereiche ausgearbeitet werden: 1. Techniken welche darauf abzielen die Funktion von Deep Learning-Systemen ganz oder teilweise einzuschränken oder zu missbrauchen (z. B. Adversarial Examples/Evasion Attacks, Data Poisoning), 2. Techniken die — über das gewünschte Maß hinaus — Informationen aus konnektionistischen KI-Systemen extrahieren (z. B. Model Extraction), 3. Verteidigungsmaßnahmen gegen Methoden aus 1. & 2. (z. B. Adversarial Training, Adversarial Examples Detection, Backdoor Detection), 4. Methoden, welche die Robustheit von Deep Learning-Modellen zertifizieren oder verifizieren (z. B. Certification of Model Robustness), 5. 1-4 soweit anwendbar mindestens in den Domänen Objekt Detektion, Image Segmentation, Natural Language Processing, Netzwerk/Malware und Speech Analysis Konkrete Inhalte der Studie sollen sein: Erfassung, Kategorisierung und Zusammenfassung der Forschung zum oben genannten Themenkomplex: — Es sollen relevante Angriffsvektoren und Gegenmaßnahmen kategorisiert und hinsichtlich ihrer Wirksamkeit untersucht bzw. bewertet werden. — Es soll erfasst werden, welche konkreten ungelösten Probleme derzeit in der KI-Sicherheit existieren. Insbesondere sollen Restrisiken, die derzeit nicht hinreichend mitigiert werden können, identifiziert und bewertet werden. — In ausgewählten Bereichen soll eine tiefgehende Untersuchung stattfinden. Die Schwerpunkte werden unten aufgeführt. Die Ergebnisse sollen geeignet sein, um: — darauf basierend eine technische Richtlinie zum aktuellen Stand der Sicherheit in der KI zu erstellen (zumindest für die Schwerpunktbereiche); — Kriterien zu definieren, die im Rahmen von Zertifizierungen oder Testierungen verwendet werden können; — Best-Practices abzuleiten.