Web-Plattform für die Rekonstruktion von 3D-Körperteilen

Innowise hat ein revolutionäres Tool zur automatischen 3D-Rekonstruktion von Knochen, Haut und anderen Organen aus Röntgenbildern und CT-Aufnahmen auf der Grundlage von ML-Algorithmen entwickelt.

Der Kunde

Branche

Gesundheitswesen, IoT

Region

Kunde seit

2021

Unser Kunde ist ein Medizintechnikunternehmen, das Hightech-Geräte und Software herstellt, die Kliniker bei ihrer täglichen Arbeit unterstützen.

Detaillierte Information über den Kunden kann aufgrund der Bestimmungen des NDA nicht veröffentlicht werden.

Herausforderung

Im Zuge der Weiterentwicklung des Gesundheitswesens entstehen ständig neue bahnbrechende Technologien. Da Chirurgie Kompetenz und Genauigkeit erfordert, brauchen Ärzte präzise medizinische Geräte, die menschliche Fehler abmildern und unvorhergesehene Umstände verhindern.

Unser Kunde benötigte eine 3D-Körpermodellierungssoftware, die in der Lage ist, Knochen, Haut und andere Organe aus Röntgenbildern und Computertomographien nachzubilden. Durch die Umwandlung flacher Scans in dreidimensionale volumetrische Modelle könnten Mediziner die Sichtbarkeit bei der Behandlung von Patienten verbessern und einen besseren Einblick in Krankheiten und Anomalien gewinnen. Studenten und Praktikanten könnten diese medizinischen 3D-Modelle auch nutzen, um Diagnosen und chirurgische Eingriffe im Voraus zu üben.

Lösung

Unsere Hauptaufgabe bestand darin, die 3D-Konstruktionsplattform organisch in das Ökosystem des Kunden zu integrieren und sie mit Röntgenbildern und CT-Scans kompatibel zu machen, die von der Radiologie, der Kardiologie und anderen Labors exportiert wurden, so dass der Zugriff auf sie über Krankenhaus-Workstations und persönliche Laptops erfolgen konnte.

DICOM-Kompatibilität

Zuvor haben wir sichergestellt, dass unsere Webplattform nahtlos mit DICOM-Dateien arbeitet. Das DICOM-Format (Digital Imaging and Communications in Medicine) ist ein gängiger Standard für den Austausch medizinischer Bilddaten und verwandter Angaben. Nach diesem Schritt legten wir Wert auf zusätzliche Sicherheitsvorkehrungen, da DICOM-Dateien vertrauliche Gesundheitsinformationen enthalten.

Daher haben unsere engagierten Entwickler einen Bereich geschaffen, in dem alle importierten DICOM-Dateien mit Daten über Patienten, ihre Diagnosen, Behandlungen, Daten und Untersuchungsergebnisse gespeichert werden.

Von Röntgenbildern und CT-Scans bis zu 3D-Visualisierungen

Obwohl die Technik ohne Kontrastmittel für die 3D-Rekonstruktion zugänglich ist, werden für genauere 3D-Darstellungen intravenöse (IV) Kontrastmitteluntersuchungen (farblose Flüssigkeiten auf Jodbasis) empfohlen.

Sobald der Röntgen- oder CT-Scan in das System heruntergeladen ist, genügen ein paar Klicks, um Schwarz-Weiß-Bilder in dreidimensionale Rekonstruktionen zu verwandeln. Um den 3D-Detaillierungsgrad zu bestimmen, legt der Arzt manuell grenznahe Dämpfungswerte fest. Während die Plattform jede CT-Schicht Zeile für Zeile abliest, zeichnet sie die genauen Koordinaten jedes Pixels auf, das einen Schwächungswert über dem Schwellenwert aufweist. Diese ausgewählten Pixel stellen dann Voxel dar, die Körperfragmente enthalten, die dichter sind als der gewählte Schwellenwert. Nach diesen Manipulationen werden volumetrische 3D-Rekonstruktionen erstellt.
Sobald das 3D-Rendering abgeschlossen ist, kann der Arzt die Objekte über eine praktische Symbolleiste mit einer Lupe zum Vergrößern/Verkleinern, einer Farbverlaufsleiste zum Hinzufügen/Entfernen von Haut, Gewebe, Muskeln und Knochenstrukturen sowie einer Schere zum Ausschneiden überschüssiger Teile verwalten. Das Hauptwerkzeug ist jedoch ein Würfel, mit dem ein Bild um die eigene Achse gedreht werden kann, um ein genaueres Bild der Pathologie zu erhalten.

Intelligenter ROI-Manager

Um Pathologien hervorzuheben, hat unser Team einen fortschrittlichen ROI-Manager ('Region of Interest' bezeichnet die Grenzen eines Tumors) entwickelt. Hier heben Ärzte Pathologien hervor, so dass sie nach dem Rendern sofort in den 3D-Rekonstruktionen erkennbar sind. Durch die Platzierung von Punkten auf den Tumoren können die Ärzte die Ausdehnung der Läsionen messen, um aussagekräftige Entscheidungen über chirurgische Eingriffe zu treffen. Darüber hinaus können Kliniker pathologische Zonen umbenennen und in verschiedenen Farben hervorheben, damit sie sich von gesunden Bereichen abheben. Um die Segmentierung noch präziser zu gestalten, hat unser Team Schwellenwerte, Pixelwerte und Vorschaubilder festgelegt, die eine detailliertere 3D-Anpassung ermöglichen. Dazu gehört auch die Erstellung detaillierter Berichte mit anatomischen Anmerkungen und Beschriftungen sowie die Messung von Abständen zwischen Organen für eine genauere Operationsplanung.

Sobald alle Bearbeitungsschritte abgeschlossen sind, können die Betreiber das 3D-Bild exportieren und freigeben, wobei die Einstellungen den Rollen der Benutzer entsprechen.

Technologien & Tools

Backend

Python, FastAPI, PyQt

Frontend

JavaScript, React

Datenbanken

MS SQL Server

ML, MLOps

Weights and Biases, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Prozess

Obwohl das Projekt ehrgeizig und anspruchsvoll war, konnten unsere Spezialisten es erfolgreich abschließen. Zunächst schätzten unsere Spezialisten den Arbeitsumfang ein und bewerteten die wichtigsten Meilensteine. Um die technischen und geschäftlichen Anforderungen zu erfüllen, wählten wir auf der Grundlage unseres umfassenden Fachwissens den am besten geeigneten Tech-Stack aus.

Unser engagiertes Team verwendete Python, um die medizinische 3D-Modellierungssoftware zu erstellen und eine reibungslose Integration von Drittanbietern zu gewährleisten. Da kostspielige Hardware auf der Clientseite aus finanzieller Sicht nicht sinnvoll war, nutzten wir die Möglichkeiten von AWS voll aus, um eine Cloud-Software-Architektur zu entwickeln. Über API-Gateways haben wir auch eine Desktop-Version entwickelt, die die gleichen Funktionen wie die Web-Plattform bietet.

Um die 3D-Rekonstruktion genau und zuverlässig zu gestalten, setzten wir verschiedene ML-Tools und -Ansätze zur Lösung von Erkennungs-, Klassifizierungs- und Segmentierungsaufgaben sowie zur Datenbeschriftung ein. Zusätzlich nutzte unser Projektteam ML-Funktionen und Computer Vision, um das Niveau der Trainingsmodelle zu erhöhen. Um die Anforderungen des Kunden zu erfüllen, verfolgte Innowise mehrere gleichzeitige Ansätze zur nativen 3D- und Bildschnittverarbeitung. Als Ergebnis präsentierten wir ein innovatives 3D-Rendering-Tool mit einer ML-basierten automatischen Pipeline für das Training und die Produktion von Modellen, die auf die medizinischen Bedürfnisse zugeschnitten sind.

Unser Team arbeitete nach der agilen Entwicklungsmethodik Scrum mit regelmäßigen Teamtreffen und Kommunikation über Google Meet. Derzeit läuft das Projekt, wobei Innowise kontinuierlich an der Weiterentwicklung der Plattform arbeitet und die Integration mit medizinischen Apps und Diensten von Drittanbietern sicherstellt.

Team

Projektmanager

ML-Ingenieure

Backend-Entwickler

Front-End-Entwickler

UI/UX-Designer

QA-Ingenieure

Ergebnisse

Die 3D-Modellierung in der Medizinbranche bietet erstaunliche Möglichkeiten zur nicht-invasiven Rekonstruktion von Knochen aus Röntgenaufnahmen und CT-Scans. Unsere erstklassige 3D-Rendering-Plattform ermöglicht es Fachleuten, Tumorbereiche und andere Pathologien präzise zu messen, Organe im Laufe der Zeit zu überwachen, die Gewebezusammensetzung zu bewerten und Frakturen genau zu beurteilen, ohne den Patienten tatsächlich berühren zu müssen. Von nun an können Ärzte die Anatomie genau betrachten und verschiedene Krankheiten diagnostizieren, die mit herkömmlichen Methoden nicht sichtbar sind. Darüber hinaus ermöglicht unsere Lösung die Erstellung detaillierter Berichte mit anatomischen Anmerkungen und Beschriftungen sowie die Messung von Abständen zwischen Organen für eine genauere Operationsplanung. Mithilfe unserer Plattform können Chirurgen ihre Operationen nun präziser und effizienter planen.

Projektdauer

Januar 2021 - bis heute

Unsere aktuellen Fallstudien

Kontaktieren Sie uns!

Einen Anruf buchen oder füllen Sie das Formular unten aus und wir melden uns bei Ihnen, sobald wir Ihre Anfrage bearbeitet haben.

Name

Unternehmen

E-Mail

Telefon

Nachricht Bitte fügen Sie Projektdetails, Dauer, Technologie-Stack, benötigte IT-Experten und andere Infos bei.

Bitte fügen Sie Projektdetails, Dauer, Technologie-Stack, benötigte IT-Experten
und andere Infos bei.

Hängen Sie nach Bedarf zusätzliche Dokumente an.

Datei hochladen

Sie können bis zu 1 Datei von insgesamt 2 MB anhängen. Gültige Dateien: pdf, jpg, jpeg, png

Bitte beachten Sie, dass Innowise mit dem Anklicken der Schaltfläche 'Senden' Ihre persönlichen Daten nach der Datenschutzrichtlinie verarbeiten wird, um Ihnen die gewünschten Informationen zukommen zu lassen.

Wie geht es weiter?

Sobald wir Ihre Anfrage erhalten und bearbeitet haben, werden wir uns mit Ihnen in Verbindung setzen, um Ihre Projektanforderungen zu besprechen und eine NDA (Vertraulichkeitserklärung) für die Vertraulichkeit der Informationen zu unterzeichnen.

Nach der Prüfung der Anforderungen erstellen unsere Analysten und Entwickler einen Projektvorschlag, der Arbeitsumfang, Teamgröße, Zeit- und Kostenschätzung enthält.

Wir vereinbaren einen Termin mit Ihnen, um das Angebot zu besprechen und eine Vereinbarung mit Ihnen zu treffen.

Wir unterzeichnen einen Vertrag und beginnen umgehend mit der Arbeit an Ihrem Projekt.