MÖVE-Benchmark geht online: Bundesdruckerei veröffentlicht ersten ganzheitlichen KI-Modellvergleich für die öffentliche Verwaltung

- Forschungs- und Innovationsprojekt des KI-Kompetenzcenters der Bundesdruckerei für Vergleich und Bewertung von mehr als 50 Sprachmodellen nach Leistung, Sicherheit und demokratischen Werten

- Kooperation mit BSI und Fraunhofer-Institut AISEC zur Erarbeitung von Sicherheitsevaluierungen für KI-Sprachmodelle für öffentlichen Sektor

- Vergleichsplattform für öffentliche Verwaltung im Einklang mit europäischen Vorgaben

Die Bundesdruckerei GmbH veröffentlicht das Forschungsprojekt MÖVE: Der Bewertungsrahmen "Modelle für die öffentliche Verwaltung evaluieren" ermöglicht es Behörden, KI-Sprachmodelle systematisch zu vergleichen. Gängige Modellvergleiche messen vor allem englisches Textverständnis, mathematische Fähigkeiten oder allgemeines Weltwissen. Allerdings werden dabei im Behördenalltag entscheidende Kriterien wie der Zugang zu nachvollziehbaren Modellinformationen sowie Sicherheits- und Nachhaltigkeitsaspekte nicht berücksichtigt. Das seit Januar 2025 laufende, bundesdruckereieigene Forschungs- und Innovationsprojekt MÖVE ist der erste ganzheitliche KI-Modellvergleich, der speziell für die Anforderungen der öffentlichen Verwaltung entwickelt wurde. Behörden und öffentliche Einrichtungen können zukünftig einsehen, wie über 50 Sprachmodelle (Large Language Models, kurz LLMs) im Hinblick auf Leistungsfähigkeit, Sicherheit, Nachhaltigkeit, Transparenz und die Vereinbarkeit mit demokratischen Werten abschneiden. "Internationale Rankings allein reichen für die Modellauswahl nicht. Ob Open Source oder proprietär - entscheidend ist, wie ein Modell im konkreten Einsatzfall reagiert: im deutschen Rechts- und Sprachkontext, verlässlich, sicher und wertekonform. MÖVE macht genau das messbar", sagt Frederik Blachetta, Chief Technology, Data & Innovation Officer (CTO) und Geschäftsführer der Bundesdruckerei-Gruppe.

MÖVE verbindet dafür erstmals technische Leistungsmessung und Governance-Anforderungen in einem einheitlichen Framework. Grundlage sind neun eigens entwickelte, deutschsprachige Testdatensätze aus dem realen Verwaltungskontext. Dazu gehören juristische Texte, Verwaltungsdokumente und Publikationen von Bundesministerien. Auf dieser Basis wurden zunächst sieben Kriterien für die Bewertung von Sprachmodellen entwickelt. Dazu gehören neben Leistungsaspekten wie die Fähigkeit zum Zusammenfassen von Texten, dem Beantworten von Fragen oder die Analyse von Themen in verschiedenen Dokumenten auch die Einbeziehung von Zielen und Werten der Europäischen Union.

Dafür analysiert MÖVE die Anzahl von Halluzinationen in KI-generierten Texten, die Vereinbarkeit der Antworten mit demokratischen Grundwerten, eine effiziente und ressourcenschonende Arbeitsweise und die Informations-Transparenz, die GPAI-Modellanbieter gemäß der KI-Verordnung gewährleisten müssen.

Jedes Modell durchläuft auf Basis dieser Kriterien eine automatisierte Bewertung. Die Ergebnisse fließen in einen interaktiven Online-Vergleich ein, bei dem sich einzelne Kriterien gezielt ein- oder ausblenden lassen, sodass jede Behörde individuell erkennen kann, welches Modell zu den eigenen Anforderungen passt. Weitere Bewertungskriterien im Rahmen der Cybersicherheit befinden sich bereits in der Entwicklung.

Mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) entwickelt die Bundesdruckerei Verfahren zur Beurteilung in den Bereichen Cybersicherheit, Robustheit und Faktentreue von Sprachmodellen weiter. Das Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC) bringt seine wissenschaftlich-methodische Expertise in die kontinuierliche Weiterentwicklung der Sicherheitskriterien ein. LLMs können zwar maßgeblich Maßnahmen zur Cybersicherheit unterstützen, bergen jedoch gleichzeitig das Risiko, auch für Cyberangriffe genutzt zu werden. Insbesondere Fortschritte von Frontier-KI-Modellen beschleunigen dieses Risiko. Damit aus einem theoretischen Szenario keine akute Bedrohung wird, ist eine frühzeitige Einordnung von Entwicklungen unerlässlich.

Ein kontinuierliches Benchmarking ist dafür essenziell. "Sicherheit, die man nicht messen kann, bleibt ein Bauchgefühl, auch im Bereich KI. Deswegen entwickeln wir entsprechende Benchmarks als Grundlage für informierte Entscheidungen", sagt Luise Kranich, Abteilungsleiterin Technologiestrategie und Informationstechnik beim BSI.

Die Bewertungsmethodik hinter MÖVE ist als Open-Source-Repository frei verfügbar, sodass die Vorgehensweise von Dritten nachvollzogen werden kann. Zudem wird die Vorgehensweise in einem Forschungspaper detailliert erörtert. Weitere Informationen zu MÖVE und der zugrundeliegenden Forschung finden Sie unter moeve.bundesdruckerei.de.