Ziel dieses Projekts ist die Entwicklung eines dynamischen 3D-Rekonstruktionssystems für endoskopische Aufnahmen der Speiseröhre, das Ärztinnen und Ärzten eine verbesserte räumliche Wahrnehmung und neue diagnostische Möglichkeiten bietet. Während herkömmliche Endoskopie hauptsächlich zweidimensionale Bilder liefert, soll hier ein hochauflösendes 4D-Modell (3D + Zeit) erzeugt werden, das sowohl die Geometrie als auch die Bewegung des Gewebes abbildet.
Hierfür werden zunächst die Kamerapositionen entlang der endoskopischen Aufnahme geschätzt, um eine grobe 3D-Struktur zu rekonstruieren. Anschließend wird diese durch moderne KI-Methoden zu einem dichten, realistischen 3D-Modell erweitert, das auch neue Blickwinkel ermöglicht. Zusätzlich werden semantische Informationen wie Tumore, Blutgefäße oder Instrumente aus 2D-Bildern extrahiert und in das 3D-Modell integriert, wodurch deren räumliche Ausdehnung besser analysiert werden kann.
Auch Gewebeverformungen über die Zeit werden modelliert. Bewegungen durch Peristaltik oder Interaktionen mit dem Endoskop werden explizit berücksichtigt, um ein dynamisches Verständnis der Gewebeeigenschaften zu ermöglichen. Dies kann entscheidend für die Beurteilung von Tumoren und deren Resektabilität sein.
Die Umsetzung stellt mehrere Herausforderungen dar, insbesondere die zuverlässige Bestimmung der Kameraposition in texturlosen, sich bewegenden Umgebungen sowie die Anpassung von KI-Modellen an die speziellen Lichtverhältnisse der Endoskopie. Trotz dieser Schwierigkeiten verspricht das Projekt einen wichtigen Beitrag zur computergestützten medizinischen Bildanalyse und könnte langfristig die Planung und Durchführung minimalinvasiver Eingriffe verbessern.
