AI scanner app for skin condition assessments

Innowise ha sviluppato un'applicazione dotata di intelligenza artificiale che utilizza il deep learning e il riconoscimento delle immagini per valutare rapidamente le condizioni della pelle, fornendo diagnosi rapide e preliminari sulla base delle foto caricate.

Sfida

With increasing competition in the region, the client recognized the potential of AI not just for improving diagnostics, but as a powerful marketing tool. They wanted to attract new patients, particularly in the high-net-worth segment, and position themselves as technology leaders.

A tal fine, il cliente ha deciso di sviluppare una Applicazione mobile alimentata da ML to automate the preliminary diagnostics of skin conditions. A key challenge here was the need to acquire and maintain high-quality image data for training and validating an ML model, aiming for ambitious accuracy targets while acknowledging the limitations posed by variable image quality. Without an internal development team to deliver it, they reached out to Innowise.

Soluzione

Una piattaforma basata sull'intelligenza artificiale che integra applicazioni mobili e un pannello di amministrazione web.

Innowise ha sviluppato una piattaforma completa che comprende due applicazioni mobili interconnesse e un pannello di amministrazione basato sul web, il tutto alimentato da un modello DINOv2 modificato su misura che utilizza l'apprendimento per trasferimento con reti neurali convoluzionali (CNN).

App per i pazienti (iOS e Android): This app serves as an advanced marketing tool, offering users a free, ML-powered preliminary skin assessment. This innovative approach provides instant assessments for 30 skin conditions, acting as a lead generation tool for the clinic network. The app’s user-friendly design and personalized recommendations encourage users to book consultations.

App per la raccolta di foto di medici (iOS e Android): Questa applicazione consente al personale della clinica di acquisire e caricare in modo sicuro immagini di alta qualità di varie condizioni della pelle, contribuendo direttamente alla formazione continua e al perfezionamento del modello DINOv2. Questo ciclo di feedback continuo garantisce che l'IA rimanga accurata e aggiornata. L'applicazione include anche un sistema di reportistica per il monitoraggio delle statistiche delle foto e delle condizioni diagnosticate, fornendo dati preziosi per l'analisi e il miglioramento.

Pannello di amministrazione basato sul Web: Questo pannello fornisce agli amministratori delle cliniche strumenti completi per gestire le diagnosi, configurare i trattamenti e i farmaci per paese, esaminare le valutazioni generate dall'intelligenza artificiale, analizzare i dati di utilizzo dell'app e generare report. Questo sistema centralizzato semplifica le operazioni e fornisce preziose informazioni sui dati demografici e sulle tendenze dei pazienti.

L'intera piattaforma è costruita su un'infrastruttura cloud AWS scalabile e sicura, che garantisce la privacy dei dati e prestazioni affidabili. Il set di dati iniziale per il modello DINOv2 è stato fornito dal cliente e viene continuamente incrementato dalle immagini raccolte attraverso l'app del medico.

Come funziona l'app Scanner della pelle

L'app dello scanner cutaneo è stata progettata per essere facile da usare, guidando gli utenti attraverso un semplice processo per ricevere una valutazione preliminare. Dalla selezione della parte del corpo alle raccomandazioni personalizzate della clinica, l'app offre un'esperienza d'uso senza soluzione di continuità. Ecco come funziona:

  • Selezione della parte del corpo: Quando gli utenti aprono l'applicazione, il primo passo è selezionare la parte del corpo in cui si trova la condizione della pelle. Questo aiuta l'applicazione a restringere le possibili condizioni che potrebbero riguardare quell'area specifica.
  • Caricamento dell'immagine: Gli utenti possono scattare una foto della loro condizione cutanea o caricarne una dalla loro galleria. 
  • Questionario: Una volta caricata la foto, gli utenti rispondono a un breve quiz di tre domande. Queste domande contribuiscono ad aggiungere un contesto per l'analisi di apprendimento automatico, come i sintomi o la storia medica rilevante.
  • Analisi delle immagini e diagnosi: Dopo aver inviato la foto, l'applicazione fornisce tre possibili diagnosi, ciascuna con un punteggio di probabilità. Ad esempio, potrebbe indicare acne (80%), dermatite (15%) e psoriasi (5%). 
  • Informazioni dettagliate sulle condizioni: Gli utenti possono toccare qualsiasi diagnosi per ottenere informazioni più dettagliate sulla condizione, tra cui una descrizione, le opzioni di trattamento e i farmaci consigliati. Queste informazioni vengono aggiornate regolarmente attraverso il pannello di amministrazione per mantenere tutto aggiornato.
  • Raccomandazioni cliniche basate sulla geolocalizzazione: L'applicazione utilizza la geolocalizzazione per fornire agli utenti un elenco personalizzato di cliniche vicine dove possono essere curati per le loro condizioni. Ogni clinica è corredata di tutte le informazioni di contatto e dell'ubicazione esatta su una mappa interattiva, per consentire ai pazienti di entrare facilmente in contatto con gli operatori sanitari. Se non ci sono cliniche adatte nella città dell'utente, l'app suggerisce alternative in città o regioni vicine.
  • Registrazione degli utenti e gestione dei profili: L'applicazione offre agli utenti due opzioni: modalità ospite e modalità registrata. In modalità ospite, gli utenti possono ottenere diagnosi rapide senza dover creare un account. Gli utenti registrati, invece, possono sbloccare funzioni aggiuntive come un profilo personalizzato in cui tenere traccia della propria storia diagnostica, salvare foto e ottenere informazioni più dettagliate in base alle interazioni passate.
  • Pubblicità in-app: Abbiamo aiutato il cliente ad aggiungere banner pubblicitari non intrusivi all'applicazione, posizionandoli strategicamente nella parte superiore o inferiore dello schermo per creare un ulteriore flusso di entrate.

Tecnologie

Python, FastAPI

DINOv2, AWS SageMaker

Sicurezza

TLS, crittografia AES-256, MFA

VCS

Git, GitHub

AWS

Processo

Un approccio graduale ha garantito un'esecuzione senza intoppi, dalla scoperta (demo dell'applicazione per la raccolta di foto e progettazione del flusso di lavoro) all'implementazione (sviluppo di dispositivi mobili, formazione sul modello e configurazione dell'infrastruttura) e infine al funzionamento e al supporto continui (perfezionamento continuo del modello, trasferimento di conoscenze e assistenza dedicata).

Team richiesto

1

Responsabile di progetto

1

Analista aziendale

2

Sviluppatori Angular

1

Designer
UX/UI

2

Python
Ingegneri

2

Sviluppatori
di Flutter

3

Sviluppatori
ML

1

Ingegnere QA

Risultati

Abbiamo sviluppato un Applicazione mobile alimentata da ML that provides users with a quick and secure way to assess their skin conditions. Alongside this, we created a photo-collection app to train and fine-tune the ML model, which can detect around 30 dermatological diagnoses.

Il nostro team ha anche realizzato un pannello di amministrazione basato sul web che consente agli amministratori della clinica di gestire i contenuti, monitorare l'utilizzo e tenere aggiornati tutti i dati con facilità.

In prospettiva, il cliente ha affidato al nostro team l'implementazione di opzioni di abbonamento e la creazione di un accesso API al modello per una rete di cliniche partner. Stiamo anche lavorando per migliorare le funzioni attuali, in modo da mantenere l'app il più efficace e facile da usare possibile.

    Contattateci

    Prenota una chiamata oppure compilate il modulo sottostante e sarete ricontattati una volta elaborata la vostra richiesta.

    Inviaci un messaggio vocale
    Allegare i documenti
    Caricare il file

    È possibile allegare 1 file di dimensioni massime di 2 MB. Formati di file validi: pdf, jpg, jpeg, png.

    Facendo clic su Invia, l'utente acconsente al trattamento dei propri dati personali da parte di Innowise in base alla nostra Informativa sulla privacy per fornirvi informazioni pertinenti. Inviando il vostro numero di telefono, accettate che possiamo contattarvi tramite chiamate vocali, SMS e applicazioni di messaggistica. Potrebbero essere applicate tariffe per chiamate, messaggi e dati.

    Potete anche inviarci la vostra richiesta
    a contact@innowise.com
    Cosa succede dopo?
    1

    Una volta ricevuta ed elaborata la vostra richiesta, vi contatteremo per illustrarvi le esigenze del vostro progetto. Progetto e firmare un NDA per garantire la riservatezza.

    2

    Dopo aver esaminato i vostri desideri, le vostre esigenze e le vostre aspettative, il nostro team elaborerà una proposta di progetto con l'ambito di lavoro, le dimensioni del team, i tempi e le stime dei costi stimati.

    3

    Organizzeremo un incontro con voi per discutere l'offerta e definire i dettagli.

    4

    Infine, firmeremo un contratto e inizieremo subito a lavorare sul vostro progetto.

    freccia