Expertise zu der Anwendung von Künstlicher Intelligenz (KI) in der Eva-luationspraxis

Das Projekt Zukunftswerkstätten Evaluation und Qualitätssicherung in der Extremismusprävention, Demokratieförderung und politischen Bildung: Analyse, Monitoring, Dialog (PrEval) ist ein Forschungsvorhaben, das Formate und Strukturen zur Stärkung von Evaluation in der Extremismusprävention, Demokratieförderung und politischen Bildung in Deutschland weiter­entwickelt. Das Vorhaben wird vom Bundesministerium des Innern und für Heimat (BMI)mit einer Laufzeit von Oktober 2022 bis Dezember 2024 gefördert. PrEval wird von einem Verbund aus einschlägigen Forschungsinstituten und Trägern aus der Fachpraxis getragen und ist als breites Netzwerkkonzipiert, was sich in der Einbindung weiterer relevanter Akteur:innen in Analyse- und Wissenstransferformaten niederschlägt. Im Rahmen der Zukunftswerkstatt „Monitoring und Datenanalyse“ werden Expertisen verfasst, die neue disziplin- und diskursübergreifende Entwicklungen in der Evaluationsforschung systematisch analysieren und aufbereiten sollen, mit besonderem Blick auf die Handlungsfelder Extremismusprävention, Demokratieförderung, Vielfaltgestaltung und politische Bildung. Die hier zu vergebende Expertise soll zu dem Thema „Forschungs- und Praxisstand der Anwendung von Künstlicher Intelligenz in der wissenschaftlichen Evaluation“ erstellt werden. Künstliche Intelligenz (KI), etwa Large Language Models (LLMs) wie ChatGPT, nutzen Deep-Learning-Techniken und riesige Textdatensätze, um Inhalte zu verstehen, zu generieren und vorherzusagen. Sie bieten vielfältige Anwendungsmöglichkeiten, einschließlich Textzusammenfassung, Schlüsselinformationsextraktion, Textanalyse, -klassifizierung, -erstellung und Übersetzung. Trotz ihres Potenzials bergen LLMs Herausforderungen wie die Verstärkung von Vorurteilen und die mögliche Einschränkung ihrer Genauigkeit für Evaluationszwecke. Um diese Risiken zu mindern, ist eine genaue Kenntnis der Arbeitsprozesse von Evaluationspraktiken - einschließlich Konzeptualisierung, Erhebungsmethoden und Transfer, als auch von Tools, Anwendungen und Prozessen, mit denen KI in Evaluationspraktiken zur Anwendung kommt oder kommen kann. – zwingend notwendig. Expertise - Fachbeitrag - Fachreferent