Forschungsschwerpunkte
Wir besch?ftigen uns insbesondere mit:
- Entwicklung von robusten, generalisierbaren Neuronalen Netzen (CNNs, Deep Learning)
- Daten-/Annotation-effiziente Modelle basierend auf Semi-/Self-supervised Learning
- Outlier-Detektion und Imputation von unvollst?ndige Datens?tzen
- Rekonstruktion von Bild- und Videodaten, eg. mit Hilfe von Super-Resolution
- Segmentierungsprobleme, insbesondere MRI Brain Segmentation
- Quantifizierung von Unsicherheiten von Klassifizierungsvorhersagen
- Entwicklung von interpretierbaren Features zur Verbesserung der Anwender-/Patientenkommunikation
- Evaluierung von Algorithmus Performance und Quantifizierung von Data-biases
- Translation von Forschungsergebnissen in industrielle oder medizinische Kontexte
- Quantifizierung von menschlicher Anatomie anhand von Bilddaten (MRI, X-Ray, CT) im Kontext von Erkrankungen wie Demenz, Tumoren und Traumata.
Ausgew?hlte Forschungsarbeiten
S. Doerrich, F. Di Salvo, J. Brockmann, C. Ledig, “Rethinking model prototyping through the MedMNIST+ dataset collection”, Scientific Reports, 15, 7669, 2025
Die Integration von auf Deep Learning basierenden Systemen in die klinische Praxis wird h?ufig durch Herausforderungen behindert, die in begrenzten und heterogenen medizinischen Datens?tzen begründet sind. Darüber hinaus wird in diesem Bereich zunehmend marginalen Leistungssteigerungen bei einigen wenigen, eng gefassten Benchmarks Vorrang vor der klinischen Anwendbarkeit einger?umt, wodurch sinnvolle algorithmische Fortschritte verlangsamt werden. Dieser Trend führt h?ufig zu einer überm??igen Feinabstimmung bestehender Methoden an ausgew?hlten Datens?tzen, anstatt klinisch relevante Innovationen zu f?rdern. Als Reaktion darauf wird in dieser Arbeit ein umfassender Benchmark für die MedMNIST+-Datensatzsammlung eingeführt, der die Bewertungslandschaft über mehrere Bildgebungsmodalit?ten, anatomische Regionen, Klassifizierungsaufgaben und Stichprobengr??en hinweg diversifizieren soll. Wir bewerten systematisch h?ufig verwendete Convolutional Neural Networks (CNNs) und Vision Transformer (ViT)-Architekturen in verschiedenen medizinischen Datens?tzen, Trainingsmethoden und Eingabeaufl?sungen, um bestehende Annahmen über die Effektivit?t und Entwicklung von Modellen zu validieren und zu verfeinern. Unsere Ergebnisse deuten darauf hin, dass rechnerisch effiziente Trainingsverfahren und moderne Foundation-modelle praktikable Alternativen zum kostspieligen End-to-End-Training bieten. Darüber hinaus stellen wir fest, dass h?here Bildaufl?sungen die Leistung ab einem bestimmten Schwellenwert nicht durchg?ngig verbessern. Dies unterstreicht die potenziellen Vorteile der Verwendung niedrigerer Aufl?sungen, insbesondere in der Prototyping-Phase, um den Rechenaufwand zu verringern, ohne die Genauigkeit zu beeintr?chtigen. Insbesondere best?tigt unsere Analyse die Wettbewerbsf?higkeit von CNNs im Vergleich zu ViTs und unterstreicht, wie wichtig es ist, die intrinsischen F?higkeiten der verschiedenen Architekturen zu verstehen. Schlie?lich wollen wir durch die Schaffung eines standardisierten Bewertungsrahmens die Transparenz, Reproduzierbarkeit und Vergleichbarkeit innerhalb der MedMNIST+-Datensatzsammlung sowie die zukünftige Forschung verbessern.
Autoren: Sebastian Doerrich, Francesco Di Salvo, Julius Brockmann, Christian Ledig
[Preprint], [Publication], [Code], [Benchmark], [BibTeX](612.0 B)
S. Doerrich, F. Di Salvo, C. Ledig, "Self-supervised Vision Transformer are Scalable Generative Models for Domain Generalization", MICCAI, 2024
Trotz bemerkenswerter Fortschritte wurde die Integration von Deep Learning (DL)-Techniken in wirkungsvolle klinische Anwendungen, insbesondere im Bereich der digitalen Histopathologie, durch die Herausforderungen behindert, die mit dem Erreichen einer robusten Generalisierung über verschiedene Bildgebungsdom?nen und -merkmale verbunden sind. Traditionelle Strategien in diesem Bereich wie Datenerweiterung und Fleckenfarbnormalisierung haben sich als unzureichend erwiesen, um diese Einschr?nkung zu beheben, was die Erforschung alternativer Methoden erforderlich machte. Zu diesem Zweck schlagen wir eine neuartige generative Methode zur Generalisierung von Histopathologiebildern vor. Unsere Methode verwendet einen generativen, selbstüberwachten Vision Transformer, um dynamisch Merkmale von Bildfeldern zu extrahieren und sie nahtlos in die Originalbilder einzufügen, wodurch neue, synthetische Bilder mit verschiedenen Attributen entstehen. Indem wir den Datensatz mit solchen synthetischen Bildern anreichern, wollen wir seine Ganzheitlichkeit erh?hen und eine verbesserte Generalisierung von DL-Modellen auf unbekannte Bereiche erm?glichen. Ausführliche Experimente mit zwei verschiedenen Histopathologiedatens?tzen zeigen die Effektivit?t des von uns vorgeschlagenen Ansatzes, der den Stand der Technik deutlich übertrifft, und zwar beim Camelyon17-Wilds-Datensatz (+2%) und bei einem zweiten Epithelium-Stroma-Datensatz (+26%). Darüber hinaus heben wir die F?higkeit unserer Methode hervor, mit zunehmend verfügbaren unbeschrifteten Datenproben und komplexeren, h?her parametrischen Architekturen zu skalieren.
Autoren: Sebastian Doerrich, Francesco Di Salvo, Christian Ledig
[Preprint], [Publication], [Code], [BibTeX](612.0 B)
S. Doerrich, T. Archut, F. Di Salvo, C. Ledig, "Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification", IEEE ISBI, 2024
Herk?mmliche Deep-Learning-Modelle kodieren Wissen implizit, was ihre Transparenz und ihre F?higkeit zur Anpassung an Daten?nderungen einschr?nkt. Diese Anpassungsf?higkeit ist jedoch entscheidend für den Schutz der Daten der Nutzer. Wir beheben diese Einschr?nkung, indem wir die Einbettungen der zugrunde liegenden Trainingsdaten unabh?ngig von den Modellgewichten speichern und so dynamische Daten?nderungen ohne erneutes Training erm?glichen. Unser Ansatz integriert insbesondere den k-Nearest-Neighbor-Klassifikator (k-NN) mit einem bildbasierten Foundation-modell, das selbstüberwacht auf natürlichen Bildern trainiert wurde, was die Interpretierbarkeit und Anpassungsf?higkeit verbessert. Wir stellen Open-Source-Implementierungen einer bisher unver?ffentlichten Basismethode sowie unsere leistungssteigernden Beitr?ge zur Verfügung. Quantitative Experimente best?tigen die verbesserte Klassifikation in etablierten Benchmark-Datens?tzen und die Anwendbarkeit der Methode auf verschiedene medizinische Bildklassifikationsaufgaben. Darüber hinaus bewerten wir die Robustheit der Methode in Szenarien mit kontinuierlichem Lernen und Datenentfernung. Der Ansatz ist sehr vielversprechend, um die Lücke zwischen der Leistung von Foundation-modellen und den Herausforderungen des Datenschutzes zu schlie?en.
Autoren: Sebastian Doerrich, Tobias Archut, Francesco Di Salvo, Christian Ledig
[Preprint], [Publication], [Code], [BibTeX](612.0 B)