AI scanner app for skin condition assessments

Innowise opracowało aplikację opartą na sztucznej inteligencji, która wykorzystuje głębokie uczenie się i rozpoznawanie obrazu do szybkiej oceny stanu skóry, dając szybkie, wstępne diagnozy na podstawie przesłanych zdjęć.

Wyzwanie

With increasing competition in the region, the client recognized the potential of AI not just for improving diagnostics, but as a powerful marketing tool. They wanted to attract new patients, particularly in the high-net-worth segment, and position themselves as technology leaders.

W tym celu klient zdecydował się opracować Aplikacja mobilna oparta na ML to automate the preliminary diagnostics of skin conditions. A key challenge here was the need to acquire and maintain high-quality image data for training and validating an ML model, aiming for ambitious accuracy targets while acknowledging the limitations posed by variable image quality. Without an internal development team to deliver it, they reached out to Innowise.

Rozwiązanie

Oparta na sztucznej inteligencji platforma integrująca aplikacje mobilne i internetowy panel administracyjny.

Innowise opracowało kompleksową platformę składającą się z dwóch połączonych ze sobą aplikacji mobilnych i internetowego panelu administracyjnego, wszystkie zasilane przez niestandardowo zmodyfikowany model DINOv2 wykorzystujący uczenie transferowe z konwolucyjnymi sieciami neuronowymi (CNN).

Aplikacja dla pacjentów (iOS i Android): This app serves as an advanced marketing tool, offering users a free, ML-powered preliminary skin assessment. This innovative approach provides instant assessments for 30 skin conditions, acting as a lead generation tool for the clinic network. The app’s user-friendly design and personalized recommendations encourage users to book consultations.

Aplikacja do zbierania zdjęć lekarzy (iOS i Android): Ta aplikacja umożliwia personelowi kliniki bezpieczne przechwytywanie i przesyłanie wysokiej jakości obrazów różnych stanów skóry, bezpośrednio przyczyniając się do ciągłego szkolenia i udoskonalania modelu DINOv2. Ta ciągła pętla sprzężenia zwrotnego zapewnia, że sztuczna inteligencja pozostaje dokładna i aktualna. Aplikacja zawiera również system raportowania do śledzenia statystyk zdjęć i zdiagnozowanych schorzeń, dostarczając cennych danych do analizy i poprawy.

Internetowy panel administracyjny: Panel ten zapewnia administratorom klinik kompleksowe narzędzia do zarządzania diagnozami, konfigurowania terapii i leków według kraju, przeglądania ocen generowanych przez sztuczną inteligencję, analizowania danych dotyczących użytkowania aplikacji i generowania raportów. Ten scentralizowany system usprawnia operacje i zapewnia cenny wgląd w dane demograficzne pacjentów i trendy.

Cała platforma jest zbudowana na skalowalnej i bezpiecznej infrastrukturze chmury AWS, zapewniając prywatność danych i niezawodną wydajność. Początkowy zbiór danych dla modelu DINOv2 został dostarczony przez klienta i jest stale uzupełniany o obrazy zebrane za pośrednictwem aplikacji lekarskiej.

Jak działa aplikacja skanera skóry?

Aplikacja skanera skóry została zaprojektowana z myślą o łatwości użytkowania, prowadząc użytkowników przez prosty proces w celu uzyskania wstępnej oceny. Od wyboru części ciała do spersonalizowanych zaleceń klinicznych, aplikacja zapewnia płynną obsługę. Oto jak to działa:

Wybór części ciała: Gdy użytkownicy otwierają aplikację, pierwszym krokiem jest wybranie części ciała, w której znajduje się stan skóry. Pomaga to aplikacji zawęzić możliwe warunki, które mogą odnosić się do tego konkretnego obszaru.
Przesyłanie obrazu: Użytkownicy mogą zrobić zdjęcie swojego stanu skóry lub przesłać je ze swojej galerii.
Kwestionariusz: Po przesłaniu zdjęcia użytkownicy odpowiadają na krótki quiz składający się z trzech pytań. Pytania te pomagają dodać kontekst do analizy uczenia maszynowego, taki jak objawy lub istotna historia medyczna.
Analiza obrazu i diagnostyka: Po przesłaniu zdjęcia aplikacja podaje trzy możliwe diagnozy, każda z wynikiem prawdopodobieństwa. Na przykład może to być trądzik (80%), zapalenie skóry (15%) i łuszczyca (5%).
Szczegółowe informacje o stanie: Użytkownicy mogą kliknąć dowolną diagnozę, aby uzyskać bardziej szczegółowe informacje o stanie, w tym opis, opcje leczenia i zalecane leki. Informacje te są regularnie aktualizowane za pośrednictwem panelu administracyjnego, aby wszystko było aktualne.
Rekomendacje klinik oparte na geolokalizacji: Aplikacja wykorzystuje geolokalizację, aby zapewnić użytkownikom spersonalizowaną listę pobliskich klinik, w których mogą leczyć swoje schorzenia. Każda klinika zawiera wszystkie dane kontaktowe i dokładną lokalizację na interaktywnej mapie - ułatwiając pacjentom kontakt z pracownikami służby zdrowia. Jeśli w mieście użytkownika nie ma odpowiednich klinik, aplikacja sugeruje alternatywy w pobliskich miastach lub regionach.
Rejestracja użytkowników i zarządzanie profilami: Aplikacja oferuje użytkownikom dwie opcje: tryb gościa i tryb zarejestrowany. W trybie gościa użytkownicy mogą uzyskać szybką diagnostykę bez zakładania konta. Z kolei zarejestrowani użytkownicy odblokowują dodatkowe funkcje, takie jak spersonalizowany profil, w którym mogą śledzić historię swoich diagnoz, zapisywać zdjęcia i uzyskiwać bardziej szczegółowe informacje na podstawie swoich wcześniejszych interakcji.
Reklamy w aplikacji: Pomogliśmy klientowi dodać nieinwazyjne banery reklamowe do aplikacji, strategicznie umieszczając je na górze lub na dole ekranu, aby stworzyć dodatkowe źródło przychodów.

Technologie

Python, FastAPI

Uczenie maszynowe (ML)

DINOv2, AWS SageMaker

Bezpieczeństwo

TLS, szyfrowanie AES-256, MFA

VCS

Git, GitHub

Chmura

AWS

Proces

Etapowe podejście zapewniło sprawną realizację, od odkrycia (demo aplikacji do zbierania zdjęć i projektowanie przepływu pracy) po wdrożenie (rozwój mobilny, szkolenie w zakresie modelu i konfiguracja infrastruktury), a na koniec ciągłe działanie i wsparcie (ciągłe udoskonalanie modelu, transfer wiedzy i dedykowane wsparcie).

Team required

Kierownik projektu

Analityk biznesowy

Deweloperzy Angular

Projektant
UX/UI

Python
Inżynierowie

Deweloperzy
Flutter

Programiści
ML

QA Engineer

Wyniki

Opracowaliśmy Aplikacja mobilna oparta na ML that provides users with a quick and secure way to assess their skin conditions. Alongside this, we created a photo-collection app to train and fine-tune the ML model, which can detect around 30 dermatological diagnoses.

Nasz zespół zbudował również internetowy panel administracyjny, który pozwala administratorom kliniki zarządzać treścią, śledzić wykorzystanie i łatwo aktualizować wszystkie dane.

Patrząc w przyszłość, klient powierzył naszemu zespołowi wdrożenie opcji subskrypcji i zbudowanie dostępu API do modelu dla sieci klinik partnerskich. Pracujemy również nad ulepszeniem obecnych funkcji, aby aplikacja była jak najbardziej efektywna i przyjazna dla użytkownika.

Powiązane projekty

Skontaktuj się z nami

Umów się na rozmowę lub wypełnij poniższy formularz, a my odezwiemy się do Ciebie po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość

Wyślij nam wiadomość głosową

Załącz dokumenty

Prześlij plik

Można załączyć 1 plik o rozmiarze do 2 MB. Prawidłowe formaty plików: pdf, jpg, jpeg, png.

Klikając "Wyślij", wyrażasz zgodę na przetwarzanie Twoich danych osobowych przez Innowise zgodnie z naszą Polityką Prywatności w celu przekazania Ci odpowiednich informacji. Podając numer telefonu, zgadzasz się na kontakt za pośrednictwem połączeń głosowych, SMS-ów lub komunikatorów. Mogą obowiązywać opłaty za połączenia, wiadomości i transmisję danych.

Możesz także wysłać swoje zapytanie
na contact@innowise.com

Co dalej?

Po otrzymaniu i przetworzeniu zgłoszenia skontaktujemy się z Tobą, aby szczegółowo opisać projekt i podpisać umowę NDA w celu zapewnienia poufności.

Po zapoznaniu się z Twoimi potrzebami i oczekiwaniami, nasz zespół opracuje projekt wraz z zakresem prac, wielkością zespołu, wymaganym czasem i szacunkowymi kosztami.

Zorganizujemy spotkanie w celu omówienia oferty i ustalenia szczegółów.

Na koniec podpiszemy umowę, błyskawicznie rozpoczynając pracę nad projektem.