inAIco

FFG BRIDGE-1, 2020 – 2023

Interpretierbarkeit von KI-getriebenen Korrekturen

Ausgangssituation

Künstliche Intelligenz wird immense Auswirkungen auf unser Alltags-und Berufsleben haben. Das steht außer Frage. Das Arbeitsumfeld wird sich ändern, KI-Systeme werden dabei helfen, die Produktivität zu steigern und in Produktionsabläufe Einfluss nehmen. Um hier aber nicht den Menschen außer Acht zu lassen, sondern diesen sogar verstärkt in den Mittelpunkt zu stellen, müssen KI-Modelle nachvollziehbar, erklärbar und somit auch interpretierbar sein.

Das Thema Explainable Artificial Intelligence (XAI, Erklärbare KI) beschäftigt sich mit der zentralen, für die Praxis äußerst wichtige Frage, ob moderne KI-Lernalgorithmen nicht nur die Genauigkeit von Prognosen verbessern, sondern auch Interpretationen dieser Korrekturen zu deren allgemeinem Verständnis erzeugen können.

Ziele

  • In inAIco wird die Erklärbarkeit im Sinne von Interpretierbarkeit von jenen KI-Algorithmen erforscht, die als Korrektur zu bestehenden Lösungen von Problemen des überwachten Lernens wirken. Die Interpretation wird dabei in unserem Ansatz BAPC ("Before and After correction Parameter Comparison") mit Hilfe der Lösung eines bestehenden Grundmodells formuliert.
  • Mit diesem Ansatz wird XAI mathematisch definiert und die Voraussetzungen für eine systematische, sog. modellagnostische Untersuchung der Interpretierbarkeit verschiedenster KI-Modelle geschaffen. Bezeichnenderweise werden Interpretationen als "effektive" Änderungen der Parameter (Gewichte der Features) des Grundmodells aufgefasst. Die mathematische Innovation besteht in der definierenden Eigenschaft unseres Interpretierbarkeitsbegriffs von KI-Modellen, sich auf die Existenz eines Grundmodells zu stützen. Dies macht BAPC zu einem intrinsischen Surrogat (das Grundmodell wird zum sog. Explainer Model), das man sowohl global (d.h. in der gleichen Weise für den gesamten Datensatz), als auch lokal (für eine geeignete Umgebung eines gegebenen Datenpunktes) anwenden kann. Charakteristisch und innovativ gegenüber bekannten lokalen Surrogaten (z.B. LIME) ist die Auffassung des zu interpretierenden KI-Systems als additive Korrektur des Grundmodells.
  • Der Grundproblematik von lokalen Surrogaten, nämlich die Wahl der hinreichend kleinen Umgebungen des jeweils zu interpretierenden Datenpunktes ("local fidelity"), wird durch die Forderung nach der Beschränktheit der Korrektur garantiert. Diese übersetzt sich in eine Schranke an die maximalen Parameteränderungen, welche wiederum die maximale Ausdehnung der Umgebung für hinreichende Modellangepasstheit begrenzen. inAIco macht damit für das aktuell beforschte XAI Thema des lokalen Surrogats einen allgemeinen, rigoros fundierten und experimentell überprüfbaren Lösungsvorschlag.

Erwartete Ergebnisse

Die Verifikation von BAPC (Before and After Correction Parameter Comparision) wird anhand eines durch eine KI-Korrektur unterstütztes Grundmodell zur Einschätzung von Erfolgschancen verschiedener Startup Unternehmen durchgeführt. Dabei wird der Datenvorrat des Firmenpartners Speedinvest Heroes Consulting GmbH über die marktwirtschaftliche Kompetenz verschiedener Firmen einerseits und Persönlichkeitsprofile der Firmengründer und Mitarbeiter andererseits verwendet. Zunächst ergibt sich dadurch als Mehrwert die verbesserte Prognosegenauigkeit der Erfolgswahrscheinlichkeiten für jede einzeln betrachtete Startup Firma durch das um die KI-Korrektur verbesserte Grundmodell, welche Erkenntnisse über den Einfluss von psychologischen Eigenschaften der GründerInnen und MitarbeiterInnen liefert. Noch wertvoller und von zentraler Bedeutung ist jedoch die Interpretation der Korrekturen, also die Erkenntnisse darüber, warum die Grundmodellvoraussagen noch verbessert werden können.

Projektkonsortium

Im Team von inAIco sind sowohl die theoretischen, mathematischen Kompetenzen als auch fundierte Expertise über Maschine Learning und Deep Learning durch das Software Competence Center Hagenberg vorhanden. Dies wird durch die Expertise des Verwertungspartners Speedinvest Heroes zur Bewertung von Startups ergänzt.

Fördergeber

  • Das Projekt wird im Rahmen von BRIDGE Young Scientists - 2. Ausschreibung - gefördert.
  • Die Projektlaufzeit ist von 1.10.2020 bis 30.09.2023.
 

 

Sobieczky Florian

Senior Researcher Data Science
Research Team Lead AI-Assisted Prescriptive Analytics