Deep Learning basierte Erkennung und Verfolgung chirurgischer Instrumente in Videobildern durch Einbeziehung räumlicher und zeitlicher Informationen
Das Promotionsvorhaben ist wesentlicher Bestandteil des interdisziplinären Projektes DeepMIC, das von der Bayerischen Forschungsstiftung gefördert wird.
In einem modernen chirurgischen Operationssaal nimmt die Komplexität der Abläufe ständig zu. Das gilt besonders für die technologieabhängige minimal-invasive Chirurgie (MIC), beider der Chirurg auf einen in der Regel menschlichen Assistenten angewiesen ist zur Kameranachführung. DeepMIC verfolgt das Ziel, ein intelligentes, kollaboratives Assistenzsystem zur Kameranachführung für die MIC zu entwickeln. Dabei konzentriert sich das Promotionsvorhaben auf die optische Instrumentenerkennung und -verfolgung mit Hilfe von Methoden der Künstlichen Intelligenz, hier speziell Deep Learning.
Die Herausforderung des Vorhabens besteht in einer echtzeitfähigen, robusten und qualitativ praxistauglichen Analyse des endoskopischen Kamerabildstroms. Zum Training der künstlichen Neuronalen Netze wird das medizinische Wissen der klinischen Kooperationspartner in Form von manuellen Annotationen von Videoaufzeichnungen von operativen Eingriffen zur Verfügung gestellt. Da aus Zeitgründen nur ein Bild pro Sekunde annotiert werden kann, werden zunächst Methoden entwickelt, um basierend auf diesen annotierten Stützframes die dazwischen liegenden Frames in hoher Qualität zu segmentieren.
Im zweiten Schritt des Vorhabens werden echtzeitfähige Verfahren zur Objektdetektion untersucht und für die Videoverarbeitung adaptiert. Dabei ist vor allem wichtig, dass zeitliche und räumliche Informationen sowie der spezielle Domänenkontext zur Qualitätssteigerung von State-of-the-Art Ansätzen optimal mit einbezogen werden.
Ein besonderes Augenmerk wird auf die Praxistauglichkeit der Verfahren gelegt. So sollen die Trainingsdaten durch Simulation von Rauch oder Unschärfe ergänzt und die Netze entsprechend optimiert werden, um auch bei schwierigen Situationen eine gute und echtzeitfähige Erkennung auf beschränkter Hardware gewährleisten zu können.
Leiter der Forschungsgruppe MITI am Klinikum rechts der Isar. Medizintechnische Forschung mit Fokus der Traumareduktion und Verbesserung der Patientenversorgung.
Leiter des Zentrum für klinische Robotik am Klinikum rechts der Isar.
Leiter der robotischen Chirurgie in der Viszeralchirurgie.
Sector Lead der Medical Robotics am MIRMI TUM.
Forschungsschwerpunkte: Robotik und Machine Intelligence, Context Sensitive Arbeitsumgebung, Modell basierte Medizin
Das Labor Regensburg Medical Image Computing (ReMIC) ist ein Labor der Fakultät Informatik und Mathematik der OTHRegensburg. Es konzentriert sich auf die Forschung zur medizinischen Bildanalyse. Dabei steht insbesondere das Thema des Maschinellen Lernens („Deep Learning“) im Fokus. Es bildet die methodische Grundlage für die computerunterstützteDiagnostik zur Klassifikation und Segmentierung von Bilddaten z.B. aus der Endoskopie, der Mikroskopie oder der Radiologie. Das ReMIC ist Mitglied in drei interdisziplinären und fakultätsübergreifenden Forschungseinrichtungen der OTH Regensburg, den Regensburg Centern:
Regensburg Center for Artificial Intelligence (RCAI)
Regensburg Center of Biomedical Engineering (RCBE)
Regensburg Center of Health Sciences and Technology (RCHST)
Forschungsschwerpunkte:
Maschinelles Lernen auf Basis medizinischer Bilder
Computer-unterstützte Diagnose
Klassifikation, Segmentierung und Registrierung medizinischer Bilddaten
Klausmann, L., Rueckert, T., Rauber, D., Maerkl, R., Yildiran, S. R., Gutbrod, M., und C. Palm (2025):
DIY Challenge Blueprint: From Organization to Technical Realization in Biomedical Image Analysis. In: Medical Image Computing and Computer Assisted Intervention – MICCAI 2025, S. 85-95.
Maerkl, R., Rueckert, T., Rauber, D., Gutbrod, M., Weber Nunes, D., und C. Palm (2025):
Enhancing generalization in zero-shot multi-label endoscopic instrument classification. In: International Journal of Computer Assisted Radiology and Surgery,20, S. 1577–1587.
Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art. In: Computers in Biology and Medicine, 169, pp. S. 107929. doi.org/10.1016/j.compbiomed.2024.107929. (peer-reviewed)
Rueckert T., Rieder M., Feussner H., Wilhelm D., Rueckert D. und C. Palm (2024): Smoke Classification in Laparoscopic Cholecystectomy Videos Incorporating Spatio-temporal Information. In: German Conference on Medical Image Computing, Bildverarbeitung für die Medizin, S. 298 – 303. doi.org/10.1007/978-3-658-44037-4_78. (peer-reviewed)
Mendel R., Rueckert T., Wilhelm D., Rueckert D. und C. Palm (2024): Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation. In: arXiv preprint (arXiv:2403.03120). doi.org/10.48550/arXiv.2403.03120.
Rückert T., Rieder M., Rauber D., Xiao M., Humolli E., Feussner H., Wilhelm D. und C. Palm (2023):
Augmenting instrument segmentation in video sequences of minimally invasive surgery by synthetic smoky frames. In: International Journal of Computer Assisted Radiology and Surgery, 18(Suppl1), pp. S54-S56, Springer Nature. doi.org/10.1007/s11548-023-02878-2. -> Paper wurde peer-reviewed und ist open access verfügbar.
Rückert T., Rückert D. und C. Palm (2023): Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art. In: arXiv preprint (arXiv:2304.13014). doi.org/10.48550/arXiv.2304.13014. -> Paper wurde nicht peer-reviewed und ist open access verfügbar.
Hartwig R., Berlet M., Czempiel T., Fuchtmann J., Rückert T., Feussner H. und D. Wilhelm (2022): Bildbasierte Unterstützungsmethoden für die zukünftige Anwendung in der Chirurgie. In: Die Chirurgie, 93(10), S. 956 – 965. https://link.springer.com/article/10.1007/s00104-022-01668-x.
Vorträge und Präsentationen
Rueckert T., Rauber D., Maerkl R., Klausmann L., Yildiran S., Gutbrod M., Rueckert D., Wilhelm D., Feussner H. und C. Palm (2024): PhaKIR: Surgical Procedure Phase Recognition, Keypoint Estimation, and Instrument Instance Segmentation. 27th International Conference on Medical Image Computing and Computer Assisted Intervention, 2024, Marrakesh, Morocco.
Rueckert T., Rieder M., Feussner H., Wilhelm D., Rueckert D. und C. Palm (2024): Smoke Classification in Laparoscopic Cholecystectomy Videos Incorporating Spatio-temporal Information. German Conference on Medical Image Computing, Bildverarbeitung für die Medizin, 2024, Erlangen, Germany.
Rückert, T. (2023): DeepMIC – Deep Learning Based Endoscope Guidance in Minimally Invasive Surgery. German Surgeons’ Congress (Deutscher Chirurgiekongress, DCK), Munich, Germany.
Rückert T., Rieder M., Rauber D., Xiao M., Humolli E., Feussner H., Wilhelm D. und C. Palm (2023): Augmenting instrument segmentation in video sequences of minimally invasive surgery by synthetic smoky frames. Computer Assisted Radiology and Surgery (CARS) Conference, Munich, Germany.
