Plateforme web pour la reconstruction de parties du corps en 3D

Innowise a mis au point un outil révolutionnaire de reconstruction automatique en 3D d'os, de peau et d'autres organes à partir de radiographies et de tomodensitogrammes, basé sur des algorithmes ML

Client

Industrie

Santé, IoT

Région

Client depuis

2021

Notre client est une entreprise d'équipement médical fabriquant des dispositifs et des logiciels de haute technologie qui aident les cliniciens dans leur travail quotidien.

Les informations détaillées sur le client ne peuvent être divulguées en vertu des dispositions de la NDA.

Défi

À mesure que le secteur des soins de santé évolue, de nouvelles technologies perturbatrices apparaissent constamment. La chirurgie exigeant compétence et précision, les médecins ont besoin d'équipements médicaux précis qui atténuent les erreurs humaines et préviennent les imprévus.

Notre client avait besoin d'un logiciel de modélisation du corps en 3D capable de recréer les os, la peau et d'autres organes à partir de radiographies et de tomographies assistées par ordinateur. En convertissant les scans plats en modèles volumétriques tridimensionnels, les praticiens médicaux seraient en mesure d'améliorer la visibilité dans le traitement des patients et de mieux comprendre les maladies et les anomalies. Les étudiants et les stagiaires utiliseraient également ces modèles médicaux en 3D pour s'entraîner aux diagnostics et aux procédures chirurgicales avant de les pratiquer.

Solution

Notre tâche principale consistait à intégrer organiquement la plateforme de construction 3D dans l'écosystème du client et à la rendre compatible avec les radiographies et les tomodensitogrammes exportés par les laboratoires de radiologie, de cardiologie et autres, afin qu'ils puissent être consultés sur les postes de travail des hôpitaux et les ordinateurs portables personnels.

Compatibilité DICOM

Au préalable, nous avons veillé à ce que notre plateforme web fonctionne de manière transparente avec les fichiers DICOM. Le format DICOM (Digital imaging and communications in medicine) est une norme commune pour l'échange d'informations d'imagerie médicale et de données connexes. Après cette étape, nous avons mis l'accent sur des protections de sécurité supplémentaires, car les fichiers DICOM contiennent des informations confidentielles sur la santé.

Par conséquent, nos développeurs spécialisés ont créé un espace où sont stockés tous les fichiers DICOM importés contenant des données sur les patients, leurs diagnostics, leurs traitements, les dates et les résultats des tests.

Des radiographies et des tomodensitogrammes aux visualisations en 3D

Bien que la technique sans contraste soit accessible pour la reconstruction 3D, les examens de contraste intraveineux (IV) (liquides incolores à base d'iode) sont recommandés pour des visualisations 3D plus précises.

Dès que la radiographie ou le scanner est téléchargé dans le système, il suffit de quelques clics pour transformer les images en noir et blanc en reconstructions tridimensionnelles. Pour déterminer le niveau de détail 3D, les cliniciens définissent manuellement des valeurs seuils d'atténuation. Pendant que la plateforme scanne chaque tranche de CT ligne par ligne, elle enregistre les coordonnées exactes de chaque pixel qui présente une valeur d'atténuation supérieure au seuil. Ensuite, ces pixels sélectionnés représentent les voxels qui contiennent des fragments de corps plus denses que le seuil sélectionné. Ainsi, après ces manipulations, des reconstructions volumétriques en 3D apparaissent.
Une fois le rendu 3D terminé, les cliniciens peuvent gérer les objets à l'aide d'une barre d'outils pratique comprenant une loupe pour effectuer un zoom avant/arrière, une barre de dégradés pour ajouter/supprimer la peau, les tissus, les muscles et les structures osseuses, et des ciseaux pour couper les parties en excès. Néanmoins, l'outil principal est un cube qui permet aux praticiens de faire pivoter une image sur son axe et de donner une image plus précise de la pathologie.

Gestionnaire intelligent de ROI

Pour mettre en évidence les pathologies, notre équipe a développé un gestionnaire avancé de ROI (région d'intérêt - les limites d'une tumeur). Ici, les médecins mettent en évidence les pathologies afin qu'elles soient immédiatement reconnaissables dans les reconstructions 3D après rendu. En plaçant des points sur les tumeurs, les cliniciens mesurent l'étendue des lésions pour prendre des décisions informatives sur les opérations chirurgicales. En outre, les cliniciens peuvent renommer et mettre en évidence les zones pathologiques dans des couleurs différentes afin qu'elles se distinguent des zones saines. Pour rendre la segmentation encore plus précise, notre équipe a défini des seuils, des valeurs de pixels et des aperçus préliminaires pour permettre une personnalisation 3D plus détaillée. Cela inclut la génération de rapports détaillés avec des annotations et des étiquettes anatomiques, ainsi que la mesure des distances entre les organes pour une planification chirurgicale plus précise.

Une fois toutes les étapes de traitement terminées, les praticiens peuvent exporter et partager l'image 3D, en définissant des évaluations en fonction des rôles des utilisateurs.

Technologies et outils

Back-end

Python, FastAPI, PyQt

Front-end

JavaScript, React

Bases de données

MS SQL Server

ML, MLOps

Poids et biais, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Processus

Même si le projet était ambitieux et difficile, nos spécialistes ont pu le mener à bien. Tout d'abord, nos spécialistes ont estimé la portée du travail et évalué les principales étapes. Pour répondre aux exigences techniques et commerciales, nous avons choisi la pile technologique la mieux adaptée en nous appuyant sur notre vaste expertise.

Notre équipe dédiée a utilisé Python pour créer le logiciel de modélisation médicale 3D et assurer des intégrations tierces sans heurts. Étant donné qu'un matériel coûteux du côté client n'était pas financièrement rationnel, nous avons tiré pleinement parti des capacités d'AWS pour démêler l'architecture logicielle en nuage. Grâce à des passerelles API, nous avons également développé une version de bureau dont les performances sont identiques à celles de la plateforme web.

Pour rendre la reconstruction 3D précise et fiable, nous avons utilisé différents outils et approches ML pour résoudre les tâches de détection, de classification et de segmentation, ainsi que l'étiquetage des données. En outre, notre équipe de projet a utilisé les capacités de ML et de vision par ordinateur pour augmenter le niveau des modèles de formation. Pour répondre aux exigences du client, Innowise a adopté plusieurs approches simultanées concernant le traitement natif de la 3D et des tranches d'images. Nous avons ainsi présenté un outil de rendu 3D innovant doté d'un pipeline automatique basé sur le ML pour le recyclage et la mise en production de modèles adaptés aux besoins médicaux.

Notre équipe a travaillé selon la méthodologie de développement agile Scrum, avec des réunions d'équipe régulières et une communication via Google Meet. Actuellement, le projet est en cours et Innowise travaille continuellement au développement de la plateforme et à l'intégration avec des applications et services médicaux tiers.

Équipe

Chef de projet

ML Ingénieurs

Développeurs Back-End

Développeurs Front-End

Concepteur UI/UX

Ingénieurs QA

Résultats

La modélisation 3D dans l'industrie médicale offre des possibilités étonnantes pour reconstruire les os à partir de tomographies assistées par ordinateur (CT) de manière non invasive. Ainsi, notre plateforme de rendu 3D de premier plan permet aux professionnels de mesurer avec précision les zones tumorales et autres pathologies, de surveiller les organes au fil du temps, d'évaluer la composition des tissus et d'évaluer avec précision les fractures sans avoir à toucher le patient. Désormais, les médecins visualisent avec précision l'anatomie et diagnostiquent diverses maladies invisibles avec les méthodes traditionnelles. De plus, notre solution permet de générer des rapports détaillés avec des annotations et des étiquettes anatomiques, ainsi que de mesurer les distances entre les organes pour une planification chirurgicale plus précise. Grâce à notre plateforme, les chirurgiens peuvent désormais planifier leurs opérations de manière plus précise et plus efficace.

Durée du projet

Janvier 2021 - en cours

Exemples de projets similaires

Contactez nous!

Réserver un appel ou remplissez le formulaire ci-dessous et nous vous contacterons dès que nous aurons traité votre demande.

Nom

Entreprise

Courriel :

Téléphone

Message S’il vous plaît, ajouter les détails du projet, la durée, la pile technologique, IT spécialistes nécessaires et d'autres informations pertinentes

S’il vous plaît, ajouter les détails du projet, la durée, la pile technologique, IT spécialistes
nécessaires et d'autres informations pertinentes

Joindre des documents supplémentaires au besoin

Charger file

Vous pouvez joindre jusqu'à 1 fichier de 2MB au total. Fichiers valides : pdf, jpg, jpeg, png

Nous vous informons que lorsque vous cliquez sur le bouton Envoyer, Innowise traitera vos données personnelles conformément à notre Politique de confidentialité dans le but de vous fournir des informations appropriées.

Que se passe-t-il ensuite?

Après avoir reçu et traité votre demande, nous reviendrons vers vous pour détailler les besoins de votre projet et signer un accord de non-divulgation pour assurer la confidentialité des informations.

Après avoir examiné les exigences, nos analystes et nos développeurs élaborent une proposition de projet avec l'étendue des travaux, le nombre de membre de l'équipe, les délais et les coûts des coûts.

Nous organisons une réunion avec vous pour discuter de l'offre et parvenir à un accord.

Nous signons un contrat et commençons à travailler sur votre projet le plus rapidement possible.