Holistische Evaluation Generativer Foundation Models im Sicherheitskontext (HEGEMON) Holistic Evaluation of Generative Foundation Models in a Security Context (HEGEMON)

Der Begriff Foundation Model (seltener: Basismodell) umschreibt komplexe neuronale Netzwerke, die auf großen Datenmengen trainiert wurden und sich durch eine hohe Allgemeinheit und Vielseitigkeit ihrer Einsatzmöglichkeiten auszeichnen. Die Modelle haben zu diesem Zweck sehr viele (mehrere hundert Milliarden) Parameter, die im Rahmen des Trainings angelernt werden. In den Parametern ist das aus den Daten erworbene, implizite Wissen repräsentiert und stellt somit die Grundlage (Foundation) für weiterführende Anwendungsmöglichkeiten dar. Generative Foundation Models unterscheiden sich von bisherigen KI-Modellen darin, dass sie auf der Basis freier Eingaben (Prompts) komplexe Text-, Bild- oder Audio-Inhalte (oder eine Kombination davon) erzeugen und damit sehr vielseitig für komplexe Aufgaben eingesetzt werden können. Der initiale Trainingsaufwand solcher Modelle ist extrem hoch und somit zeit- und ressourcenintensiv. Somit wird auch die Evaluation wesentlich komplexer. Während bei klassischen Regressions-, Klassifikations- und Strukturerkennungsaufgaben Messungen mittels quantitativer Ansätze möglich sind, werden bei komplexen generativen Aufgaben qualitative Ansätze unter Abdeckung multipler Eigenschaftsdimensionen notwendig. Probleme wie beispielsweise das Erfinden von Fakten und Quellen bei großen Sprachmodellen („Halluzinieren“), die Möglichkeit der manipulativen Herbeiführung nicht-intendierten Modellverhaltens (durch direkte oder indirekte Prompt Injection) , die Perpetuierung von Stereotypen aus den Trainingsdaten im Modelloutput (Bias) sowie die erforderliche hohe Rechenleistung auch für Inferenzen machen eine ganzheitliche Evaluierung umso notwendiger, wenn ein Einsatz in Teildomänen der inneren und äußeren Sicherheit angedacht ist. Bisherige Ansätze sind für eine Anwendung im deutschsprachigen Kontext und unter Berücksichtigung Sicherheitsdomänen-spezifischer Aufgabenstellungen nicht in ausreichendem Maß geeignet. Ziel des Verfahrens ist vor diesem Hintergrund die Erbringung innovativer Forschungs- und Entwicklungsleistungen in einem wettbewerblichen Rahmen („Challenge“) zur holistischen Evaluation generativer Foundation Models im Sicherheitskontext. This procurement procedure aims at stimulating innovative research and development services in a competitive framework (“Challenge”) for the holistic evaluation of generative foundation models in a security context. Foundation models are complex neural networks trained on large amounts of data with a high degree of generality and versatility. Their implicit knowledge is represented in billions of parameters and represents the basis (foundation) for further potential applications. Generative foundation models differ from previous AI models in that they generate complex text, image or audio content (or a combination of these) on the basis of free input (prompts) and can therefore be used in a variety of ways for complex tasks. The initial training effort for such models is extremely high and therefore time and resource intensive. At the same time, however, evaluation has become much more complex. While evaluation approaches using quantitative methods can be applied to classical regression, classification and structure recognition tasks, qualitative approaches covering multiple capability dimensions are necessary for complex generative tasks. Problems including the invention of facts and sources by LLM’s (“hallucinating”), malicious induction of unintended model behavior (through direct or indirect prompt injection) and the significant amounts of computing power required even for inferences make a holistic evaluation all the more necessary if use in sub-domains of internal and external security is intended. Previous evaluation approaches are not sufficiently adapted for applications in the German-speaking context and security domain-specific tasks.