Embryo Understanding

Einleitungstext

Künstliche Intelligenz spielt eine zunehmend wichtige Rolle in der In-vitro-Fertilisation (IVF), insbesondere bei der Bewertung und Auswahl eines von mehreren sich entwickelnden Embryonen für den Transfer in die Gebärmutter. Das Projekt „Embryo Understanding" setzt auf die Kombination aus Foundation Modellen für dateneffizientes Finetuning sowie einem Partnernetzwerk an IVF-Kliniken, um ein sogenanntes Embryo Foundation Model zu erstellen – ein KI-Modell, das Embryomorphologie sprachlich beschreibt und so eine erklärbare, evidenzbasierte Entscheidungsunterstützung ermöglicht.

Motivation und Herausforderung

Bestehende KI-basierte Embryo-Scoring-Systeme haben gezeigt, dass KI das Potential besitzt, den IVF Prozess in kritischen Punkten zu unterstützen – der Nachweis, dass die relevanten Metriken wie Anzahl der Zyklen bis zu einer Geburt oder die Schwangerschaftsrate durch KI verbessert werden, fehlt aber noch. Überdies basieren relevante Arbeiten zur Beurteilung der Embryomorphologie vor dem Transfer auf unimodalen (bild-basierten) Modellen – die klinische Beurteilung von Embryos ist aber inherent multi-modal, da die visuellen Eigenschaften der Embryomorphologie sprachlich beschrieben und schlussendlich aufgrund des Expertenwissens interpretiert werden. Moderne Vision-Language-Modelle (VLMs) ermöglichen die Generierung von Bildbeschreibungen durch eine erlernte Verknüpfung von visuellen Merkmalen und sprachlicher Semantik. Dank intensiven Vortrainings erzielen sie auch eine hohe Effizienz bei der nachgelagerten Anpassung an weitere Tasks mit kleinen Datensätzen. Trotz dieser Fortschritte wurden VLMs bislang noch nicht in der IVF eingesetzt.

Projektziele

Das Hauptziel im Projekt Embryo Understanding ist die Erstellung eines Embryo Foundation Modells, das die Morphologie von Embryos sprachlich beschreiben kann. Konkret soll ein annotierter Datensatz von rund 50.000 Bildern (natürliche Embryobilder sowie synthetische Daten) erstellt werden, um State-of-the-Art Open Source Vision-Language-Modelle (PaliGemma, Florence-2, Qwen-VL) mit Low-Ranked-Adaptern zu trainieren und IVF-Zentren in Form von Schulungssoftware/Wissenstools in einem wissenschaftlichen Kontext zur Verfügung zu stellen. Langfristig ist die Anhebung des TRL-Levels, ein Machbarkeitsnachweis der Technologie sowie die Ausgründung in ein Spin-off mit Zertifizierung zum Medizinprodukt (Klasse 2a) geplant.

Umsetzung

Die Umsetzung erfolgt in mehreren Schritten. Zunächst wurde bereits ein web-basiertes Annotierungstool entwickelt, mit dem Embryolog:innen aus Partner-IVF-Kliniken Bilder mit sprachlichen Beschreibungen annotieren können; bestehende, publizierte Datensätze (2.344 Embryobilder, 2,4 Millionen Video-Frames) werden dabei genutzt. Sobald ein erster annotierter Datensatz vorliegt, wird ein Test-Datensatz entnommen und die Vision-Language-Modelle mit Low-Ranked-Adaptern und massiver Datenaugmentierung trainiert. Parallel wird gemeinsam mit IVF-Experten von der Kepler Uniklinik eine Evaluationsmetrik entwickelt. Zur Erweiterung des Trainingsdatensatzes werden zudem synthetische Bilddaten mittels GANs und Diffusion-Modellen generiert. Die Annotierung wird so lange fortgesetzt, bis das Modell für über 80 % der Daten sinnvolle Beschreibungen generiert.

Projektpartner

• SCCH – Software Competence Center Hagenberg
• Kepler Uniklinik
• LOI-Partner-IVF-Kliniken
• ESCO

Projektdauer

Juni 2025 – November 2026

Fördergeber

aws Proof of Concept – gefördert durch die aws, aus Mitteln der Nationalstiftung für Forschung, Technologie und Entwicklung (Fonds Zukunft Österreich)

Zur Website BirthAI

SDG 10: Weniger Ungleichheiten
Ungleichheit in und zwischen Ländern verringern