METeOR-SPM

Ausgangssituation, Problematik und Motivation

Künstliche Intelligenz findet in Logistik, Fertigung und Energieprognosen zunehmend Einzug. In sicherheitskritischen Anwendungen bleibt ihr Einsatz jedoch begrenzt: Fehlvorhersagen können hohe wirtschaftliche Schäden verursachen oder Menschen gefährden. Klassische Kennzahlen wie Accuracy oder F1-Score zeigen systematische Schwächen oft nicht verlässlich. Gefragt sind daher rigorose Softwaretests, die Fehlermodi sichtbar machen und die Zuverlässigkeit von KI-Systemen belastbar absichern.

Ziele und Innovationsgehalt

Das Projekt entwickelt neue Testmethoden für Sequential Prediction Models wie LSTMs und Transformer. Es verbindet metamorphes, kombinatorisches und differentielles Testen mit fortgeschrittenen statistischen Analysen, um das KI-spezifische Oracle-Problem zu adressieren. So werden verborgene und emergente Fehlermodi sichtbar, die klassische Evaluationsverfahren nicht erfassen. Der Ansatz deckt neben Einzelfehlern auch systematische, wiederkehrende und multifaktorielle Ausfälle auf und stärkt damit die robuste Bewertung der Modellzuverlässigkeit über die Zeit.

Angestrebte Projektergebnisse

Neue Testmethoden machen KI-Systeme zuverlässiger und besser nachvollziehbar. Damit schafft das Projekt eine wichtige Grundlage für ihren breiteren, sicheren Einsatz in der Industrie und stärkt zugleich die Softwaretest-Forschung sowie Europas Ziel, vertrauenswürdige, hochwertige KI zu entwickeln.

Projektdauer

• Jänner 2026 – 31. Dezember 2028

Projektpartner

• NXAI