zur Hauptnavigation springen zum Inhaltsbereich springen

BayWISS-Kolleg Health www.baywiss.de

Projekte im Verbundkolleg Gesundheit

© eliola, Pixabay '

Deep Learning basierte Erkennung und Verfolgung chirurgischer Instrumente in Videobildern durch Einbeziehung räumlicher und zeitlicher Informationen

Das Promotionsvorhaben ist wesentlicher Bestandteil des interdisziplinären Projektes DeepMIC, das von der Bayerischen Forschungsstiftung gefördert wird.

In einem modernen chirurgischen Operationssaal nimmt die Komplexität der Abläufe ständig zu. Das gilt besonders für die technologieabhängige minimal-invasive Chirurgie (MIC), beider der Chirurg auf einen in der Regel menschlichen Assistenten angewiesen ist zur Kameranachführung. DeepMIC verfolgt das Ziel, ein intelligentes, kollaboratives Assistenzsystem zur Kameranachführung für die MIC zu entwickeln. Dabei konzentriert sich das Promotionsvorhaben auf die optische Instrumentenerkennung und -verfolgung mit Hilfe von Methoden der Künstlichen Intelligenz, hier speziell Deep Learning.

Die Herausforderung des Vorhabens besteht in einer echtzeitfähigen, robusten und qualitativ praxistauglichen Analyse des endoskopischen Kamerabildstroms. Zum Training der künstlichen Neuronalen Netze wird das medizinische Wissen der klinischen Kooperationspartner in Form von manuellen Annotationen von Videoaufzeichnungen von operativen Eingriffen zur Verfügung gestellt. Da aus Zeitgründen nur ein Bild pro Sekunde annotiert werden kann, werden zunächst Methoden entwickelt, um basierend auf diesen annotierten Stützframes die dazwischen liegenden Frames in hoher Qualität zu segmentieren.

Im zweiten Schritt des Vorhabens werden echtzeitfähige Verfahren zur Objektdetektion untersucht und für die Videoverarbeitung adaptiert. Dabei ist vor allem wichtig, dass zeitliche und räumliche Informationen sowie der spezielle Domänenkontext zur Qualitätssteigerung von State-of-the-Art Ansätzen optimal mit einbezogen werden.

Ein besonderes Augenmerk wird auf die Praxistauglichkeit der Verfahren gelegt. So sollen die Trainingsdaten durch Simulation von Rauch oder Unschärfe ergänzt und die Netze entsprechend optimiert werden, um auch bei schwierigen Situationen eine gute und echtzeitfähige Erkennung auf beschränkter Hardware gewährleisten zu können.

MEMBER IN THE JOINT ACADEMIC PARTNERSHIP

since

Joint Academic Partnership Health

Supervisor Technical University of Munich:

Prof. Dr. Dirk Wilhelm

Leiter der Forschungsgruppe MITI am Klinikum rechts der Isar. Medizintechnische Forschung mit Fokus der Traumareduktion und Verbesserung der Patientenversorgung.

Leiter des Zentrum für klinische Robotik am Klinikum rechts der Isar.

Leiter der robotischen Chirurgie in der Viszeralchirurgie.

Sector Lead der Medical Robotics am MIRMI TUM.

Forschungsschwerpunkte: Robotik und Machine Intelligence, Context Sensitive Arbeitsumgebung, Modell basierte Medizin

Link zur Forschungsgruppe: https://web.med.tum.de/miti/startseite/

 

Project:
Deep Learning basierte Erkennung und Verfolgung chirurgischer Instrumente in Videobildern durch Einbeziehung räumlicher und zeitlicher Informationen

Supervisor Ostbayerische Technische Hochschule Regensburg:

Prof. Dr. Christoph Palm

Das Labor Regensburg Medical Image Computing (ReMIC) ist ein Labor der Fakultät Informatik und Mathematik der OTHRegensburg. Es konzentriert sich auf die Forschung zur medizinischen Bildanalyse. Dabei steht insbesondere das Thema des Maschinellen Lernens
(„Deep Learning“) im Fokus. Es bildet die methodische Grundlage für die computerunterstützteDiagnostik zur Klassifikation und Segmentierung von Bilddaten z.B. aus der Endoskopie, der Mikroskopie oder der Radiologie.
Das ReMIC ist Mitglied in drei interdisziplinären und fakultätsübergreifenden Forschungseinrichtungen der OTH Regensburg, den Regensburg Centern:

  1. Regensburg Center for Artificial Intelligence (RCAI)
  2. Regensburg Center of Biomedical Engineering (RCBE)
  3. Regensburg Center of Health Sciences and Technology (RCHST)

 

Forschungsschwerpunkte:

  • Maschinelles Lernen auf Basis medizinischer Bilder
  • Computer-unterstützte Diagnose
  • Klassifikation, Segmentierung und Registrierung medizinischer Bilddaten
     

Projects:

Publikationen

Rückert T., Rieder M., Rauber D., Xiao M., Humolli E., Feussner H., Wilhelm D. & C. Palm (2023):
Augmenting instrument segmentation in video sequences of minimally invasive surgery by synthetic smoky frames. In: International Journal of Computer Assisted Radiology and Surgery, 18(Suppl1), pp. S54-S56, Springer Nature.  doi.org/10.1007/s11548-023-02878-2.
-> Paper wurde peer-reviewed und ist open access verfügbar.

Rückert T., Rückert D. & C. Palm (2023):
Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art. In: arXiv preprint (arXiv:2304.13014). doi.org/10.48550/arXiv.2304.13014.
-> Paper wurde nicht peer-reviewed und ist open access verfügbar.

Hartwig R., Berlet M., Czempiel T., Fuchtmann J., Rückert T., Feussner H. und D. Wilhelm (2022):
Bildbasierte Unterstützungsmethoden für die zukünftige Anwendung in der Chirurgie. In: Die Chirurgie, 93(10), S. 956 – 965. https://link.springer.com/article/10.1007/s00104-022-01668-x.

Vorträge und Präsentationen

Rückert, T. (2023):
DeepMIC – Deep Learning Based Endoscope Guidance in Minimally Invasive Surgery. German Surgeons’ Congress (Deutscher Chirurgiekongress, DCK), Munich, Germany.

Rückert T., Rieder M., Rauber D., Xiao M., Humolli E., Feussner H., Wilhelm D. & C. Palm (2023):
Augmenting instrument segmentation in video sequences of minimally invasive surgery by synthetic smoky frames. Computer Assisted Radiology and Surgery (CARS) Conference, Munich, Germany.

 

 

 

Tobias Rückert

Tobias Rückert

Ostbayerische Technische Hochschule Regensburg

Coordinator

Get in contact with us. We look forward to receiving your questions and suggestions on the Joint Academic Partnership Health.

Dr. Sabine Fütterer-Akili

Dr. Sabine Fütterer-Akili

Koordinatorin BayWISS-Verbundkolleg Gesundheit und BayWISS-Verbundkolleg Economics and Business

Universität Regensburg
Zentrum zur Förderung des wissenschaftlichen Nachwuchses
Universitätsstraße 31
93053 Regensburg

Telephone: +49 941 9435548
gesundheit.vk@baywiss.de