Generativer Foundation Models im Sicherheitskontext (HEGEMON) - Vorinformation

Generative KI-Anwendungen wie ChatGPT oder Midjourney erfahren derzeit eine große Aufmerksamkeit. Die Nutzung dieser Modelle in unterschiedlichsten Anwendungsgebieten ist ohne technische Vorkenntnisse möglich, da sie auf Basis freier Eingaben (Prompts) komplexe und multimodale Ausgaben (z.B. Text, Bild, Audio, Video) erzeugen können. Die zunehmende Adaption generativer KI-Modelle in den Domänen der inneren und äußeren Sicherheit ist angesichts des großen Anwendungspotenzials absehbar. Dabei werden die hinter generativen KI-Anwendungen stehenden Basismodelle (Foundation Models) mehrheitlich von privatwirtschaftlichen Unternehmen zumeist in den USA und China mit hohem Aufwand trainiert und sind danach mit nur geringem Zusatztraining für viele Aufgaben einsetzbar. Ihre zugrundeliegenden Datensätze, Trainingsmechanismen und Modellarchitekturen werden zumeist nicht (mehr) veröffentlicht. Dem hohen Anwendungspotential stehen damit im Hinblick auf den Sicherheitskontext eine derzeit hohe technologische Abhängigkeit und Risiken in der Cyber- und Anwendungssicherheit entgegen. Zur verbesserten Einschätzung der Eigenschaften fremdtrainierter Modelle sind Evaluationen und Vergleiche in Form von Benchmarks zielführend, die aufgrund der hohen Vielseitigkeit und der unstrukturierten Outputs dieser Modelle jedoch ein komplexes Problem darstellen, das im Sicherheitskontext zusätzliche Dringlichkeit erhält. Gerade das holistische Benchmarking bleibt in Anbetracht der zuletzt stark gewachsenen Fähigkeiten großer KI-Modelle eine offene und zunehmend relevante Forschungsfrage. Zielstellung Im Rahmen eines Wettbewerbs sollen umfassende Benchmark-Sets – bestehend aus Aufgaben, Metriken und passenden Testdatensätzen – entwickelt werden, die eine ganzheitliche Evaluation vortrainierter generativer KI-Basismodelle (z. B. Text-Bild-Modelle) zu einem vorgegebenen Anwendungsfall ermöglichen. Zudem sollen Foundation Models auf diesen Anwendungsfall angepasst (Finetuning oder In-Context-Learning), mit Hilfe der verschiedenen entwickelten Benchmarks evaluiert und in Form eines Anwendungsdemonstrators implementiert werden. Darüber hinaus sollen konzeptionelle Erkenntnisse zum grundlegenden Problem der Evaluation insbesondere universell einsetzbarer KI-Systeme gewonnen werden. Ziel des Informations- und Partnering Events: Ziel der Veranstaltung ist es, die Cyberagentur und das Forschungsvorhaben vorzustellen sowie über die organisatorische Seite der Vergabe zu informieren. Darüber hinaus soll es die Möglichkeit geben, sich mit Expertinnen und Experten aus verschiedensten Fachdisziplinen zu vernetzen, die Interesse an der Erforschung von ganzheitlichen Benchmarking-Ansätzen und Anwendungs¬möglichkeiten großer Multimodalmodelle für das Geoinformationswesen haben. Am 31.07.2024 veranstalten wir von 13:30 Uhr bis 15:30 Uhr (MESZ) ein virtuelles Partnering Event. Weitere Informationen über die Veranstaltung werden auf unserer Webseite veröffentlicht: https://www.cyberagentur.de/hegemon/