Das Promotionsvorhaben ist wesentlicher Bestandteil des interdisziplinären Projektes DeepMIC, das von der Bayerischen Forschungsstiftung gefördert wird.
In einem modernen chirurgischen Operationssaal nimmt die Komplexität der Abläufe ständig zu. Das gilt besonders für die technologieabhängige minimal-invasive Chirurgie (MIC), beider der Chirurg auf einen in der Regel menschlichen Assistenten angewiesen ist zur Kameranachführung. DeepMIC verfolgt das Ziel, ein intelligentes, kollaboratives Assistenzsystem zur Kameranachführung für die MIC zu entwickeln. Dabei konzentriert sich das Promotionsvorhaben auf die optische Instrumentenerkennung und -verfolgung mit Hilfe von Methoden der Künstlichen Intelligenz, hier speziell Deep Learning.
Die Herausforderung des Vorhabens besteht in einer echtzeitfähigen, robusten und qualitativ praxistauglichen Analyse des endoskopischen Kamerabildstroms. Zum Training der künstlichen Neuronalen Netze wird das medizinische Wissen der klinischen Kooperationspartner in Form von manuellen Annotationen von Videoaufzeichnungen von operativen Eingriffen zur Verfügung gestellt. Da aus Zeitgründen nur ein Bild pro Sekunde annotiert werden kann, werden zunächst Methoden entwickelt, um basierend auf diesen annotierten Stützframes die dazwischen liegenden Frames in hoher Qualität zu segmentieren.
Im zweiten Schritt des Vorhabens werden echtzeitfähige Verfahren zur Objektdetektion untersucht und für die Videoverarbeitung adaptiert. Dabei ist vor allem wichtig, dass zeitliche und räumliche Informationen sowie der spezielle Domänenkontext zur Qualitätssteigerung von State-of-the-Art Ansätzen optimal mit einbezogen werden.
Ein besonderes Augenmerk wird auf die Praxistauglichkeit der Verfahren gelegt. So sollen die Trainingsdaten durch Simulation von Rauch oder Unschärfe ergänzt und die Netze entsprechend optimiert werden, um auch bei schwierigen Situationen eine gute und echtzeitfähige Erkennung auf beschränkter Hardware gewährleisten zu können.
