Comprehensive technological enhancements across multiple streams for an ontology provider

Innowise führte für einen Ontologieanbieter ein vielfältiges Upgrade der medizinischen Forschungssoftware durch, upgrade for an ontology provider, incorporating AI-driven search, custom data dashboards, and ontology integration.

Herausforderung

Die wichtigsten Herausforderungen, denen sich unser Kunde gegenübersah, konzentrierten sich auf drei Hauptbereiche: die Entwicklung eines Front-End für sein KI-gestütztes Suchsystem, die Automatisierung Datenvisualisierung-Tools within medical research software, and integrating their ontologies into an existing system:

  • Entwicklung des Front-Ends eines KI-gestützten Suchsystems: Die primäre Herausforderung des Kunden bestand darin, das Front-End seines ontologiebasierten Suchsystems zu verbessern, das auf Web- und mobile Plattformen zugeschnitten ist. Dieses System war für die Verwaltung einer umfangreichen Sammlung von wissenschaftlichen Artikeln unerlässlich. Das Upgrade erforderte die Erleichterung der Suchfunktionen, die Anzeige von Quellen und die Kommentierung wissenschaftlicher Konzepte und Begriffe in verschiedenen Dokumentformaten. Die Einschränkungen des bisherigen Systems, insbesondere das Fehlen von Suchfiltern und Annotationsfunktionen, behinderten die vollständige Nutzung ihrer wissenschaftlichen Datenbank.
  • Automatisierung der Datenvisualisierung für die wissenschaftliche Forschung:< The client faced a challenge in automating data visualization for their scientific data analysis. The required system needed to support data scientists in identifying, preparing, and validating data, as well as in creating informative dashboards. This was crucial for classifying and linking medical entities, identifying molecular targets for new pharmaceuticals, and facilitating research on diseases.
  • Ontology system integration: Integrating the client’s ontologies into an existing system presented a unique challenge. The company’s legacy system heavily depended on manual processes for document handling and data entry. Our task was to modernize this system by automating document analysis and database uploads, developing a new interface, and establishing a ein Backend-System einrichteten. Dieses System musste zwei verschiedene Benutzerrollen unterstützen: Personen, die für das Hochladen und Bearbeiten von Dokumenten verantwortlich sind, und Administratoren, die diese Einträge überprüfen und bestätigen.

Lösung

Innowise konzentrierte sich bei dem Projekt auf drei Schlüsselaspekte:

Verbesserung des Suchsystems in Software für die medizinische Forschung

Unser Team konzentrierte sich auf die Entwicklung und Verbesserung eines spezialisierten KI-gestützten Suchsystems - ein Schlüsselsubsystem in einem größeren Rahmen, das für Web- und mobile Schnittstellen entwickelt wurde. Diese Aufgabe umfasste mehrere technische und funktionale Verbesserungen:

  • Erweiterte Dokumentensuche: Wir haben es dem System ermöglicht, aus einem riesigen Dokumenten-Repository eingehende Suchen in verschiedenen Dokumentenformaten durchzuführen. Das System ermöglichte es Benutzern, Dokumente zu lokalisieren, interne und externe Quellen anzuzeigen und wichtige wissenschaftliche Konzepte und Anmerkungen zu identifizieren, die in diesen Dokumenten hervorgehoben wurden.
  • Beschriftung und Kategorisierung: Ein wichtiges Feature war die Möglichkeit für Benutzer, bestimmte Wörter oder Tickets innerhalb von Dokumenten auszuwählen und sie relevanten Domänen für Anmerkungen zuzuweisen. Wir haben GPT-basierte KI-Funktionen integriert, um Benutzer bei der korrekten Kommentierung und Kategorisierung jedes Begriffs oder jeder Entität zu unterstützen.
  • Einreichungs- und Überprüfungsverfahren: Nach Änderungen oder dem Hinzufügen neuer Informationen zu einem Dokument erleichterte das System einen Überprüfungsprozess. Benutzer können diese Änderungen einreichen, die dann an einen Administrator zur Statuszuweisung und Genehmigung der neuen Anmerkungen, Kommentare oder Kategorisierungen gesendet werden.
  • Abfrage- und Analysefunktionen: Benutzer können nun Dokumente aus einer großen Datenbank auswählen und zu einem Sammelkorb hinzufügen. Sie können diese Dokumente dann über die Suchleiste im Analyzer abfragen, spezifische Fragen stellen oder Zusammenfassungen und Analysen basierend auf der GPT-Technologie anfordern.
  • Entwicklung kundenspezifischer Filter:: Unser Entwickler hat ausgefeilte Filter für die Dokumentensuche erstellt, die auf verschiedene Quellentypen zugeschnitten sind.
  • Herausforderungen bei der Anzeige von Dokumenten: Eine der komplexen Aufgaben war die Entwicklung eines Document Viewers, der in der Lage ist, markierte Anmerkungen in PDF-Dokumenten anzuzeigen. Dies erforderte eine komplexe Backend-Koordination, um Anmerkungen korrekt zu überlagern.
  • Überarbeitung von altem Code und Architektur: Wir haben uns mit den Herausforderungen von Legacy-Code und fehlender architektonischer Struktur auseinandergesetzt, um sicherzustellen, dass das System auf soliden, modernen technologischen Grundlagen basiert.
  • Integration von mehreren GPT-Versionen: Unser Team hat das System mit mehreren Versionen von GPT (3.5, 4, Davinci) erweitert, um eine vielseitigere Dokumentenanalyse zu ermöglichen.
  • LLM-Integration: Innowise konzentrierte sich auf die benutzerdefinierte LLM-Entwicklung, mit der Benutzer Abfragen in natürlicher Sprache eingeben können. Sobald die Abfragen in Back-End-Anfragen umgewandelt wurden, können sie an den Server gesendet werden.

Automatisierung von Data-Science-Dashboards

Unsere Data-Science-Team konzentrierte sich auf die Automatisierung der Datenvisualisierung durch Dashboards, eine wichtige Komponente für die Forschung des Kunden bei der Identifizierung molekularer Ziele für neue pharmazeutische Behandlungen. Zu den untersuchten Grunderkrankungen gehörten Übergewicht und Muskelerkrankungen.

  • Dashboard-Erstellung: Ziel des Teams war es, Dashboards zur Visualisierung pharmazeutischer Daten zu erstellen. Dabei wurden große Datensätze verarbeitet, bei denen es sich um eine große Anzahl kommentierter medizinischer Artikel mit eindeutiger ID und Metadaten handelt, um große GBQ-Tabellen zu bilden. 

  • Datenvisualisierung: Mit Looker Studio haben wir diese großen Datentabellen in kleinere, übersichtlichere Formate für die Dashboard-Erstellung umgewandelt. Dieser Visualisierungsschritt war für Experten notwendig, um Daten besser überprüfen und filtern zu können.

  • Dashboard-Automatisierung: Nach der Genehmigung durch medizinische Experten automatisierten wir die Erstellung des Dashboards mithilfe von Data-Engineering-Techniken. Dazu wurden Repositories mit SQL-Skripten verwendet, um die erforderlichen Informationen abzurufen. Diese Skripte wurden so geplant, dass sie in bestimmten Zeitabständen ausgeführt wurden, um sicherzustellen, dass die Dashboards stets auf dem neuesten Stand der Forschungsergebnisse waren.

  • Fortlaufende Aktualisierung und Integration: Unsere Lösung ermöglichte die kontinuierliche Integration neuer relevanter Publikationen in die Dashboards. Dieser dynamische Aktualisierungsprozess wurde durch Google Cloud Functions erleichtert. Es wurden Dashboards mit den neuesten Daten aktualisiert.

  • Verwaltung von Abfragen: Wir bearbeiteten Abfragen über große Tabellen und zogen spezifische Informationen basierend auf Suchanfragen heraus. Das Team visualisierte diese Statistiken in den Dashboards und identifizierte alle Probleme in den Suchanfragen.

Ontology integration in research

Our project focused on integrating our client’s ontologies into an established lab management software. This task involved several key steps to modernize and automate their outdated system:

  • Systemanalyse und Forschung: Wir begannen mit einer gründlichen Analyse und Recherche des Legacy-Systems des Kunden. Diese Laborverwaltungssoftware, die hauptsächlich zur Speicherung von Berichten und Forschungsergebnissen verwendet wird, basierte auf älteren Java und JSP-Technologien.
  • Entwicklung neuer Schnittstelle und Back-End: Unser Ansatz umfasste die Entwicklung einer neuen Schnittstelle und eines Back-End-Systems zur Automatisierung des Prozesses der Dokumentenanalyse und Datenbankaktualisierung, der zuvor manuell durchgeführt wurde.
  • Benutzertypen und Funktionalitäten: Wir haben das System für zwei verschiedene Benutzertypen entwickelt:
  • Dokument-Uploader: Forscher, die dem System Dokumente hinzufügen. Nachdem ein Dokument kommentiert wurde, wird es auf einer speziellen Seite angezeigt, auf der der Uploader die Ergebnisse überprüfen, Änderungen vornehmen und die Übermittlung an die Datenbank bestätigen kann.
  • Verwalter: Verantwortlich für die Überprüfung und Bestätigung von Dokumentenergänzungen. Diese Rolle beinhaltet eine umfassende Überprüfung von Dokumenten mit der Möglichkeit, vor dem endgültigen Datenbankeintrag zu bearbeiten, zu genehmigen oder Änderungen vorzunehmen.
  • Backend-Entwicklung und Überarbeitung von Legacy-Code: Unser Entwickler übernahm die Aufgabe, den vorhandenen Legacy-Code zu überarbeiten. Dies beinhaltete das Schreiben von JSP-Seiten nach Kundenspezifikationen und die Entwicklung von Backend-Funktionalitäten (Anfragen, Antworten, Datenverarbeitung und Datenbankeintrag).
  • Entwicklung der Verwaltungsoberfläche: Wir haben auch einen Verwaltungsteil des Systems entwickelt, bei dem der Admin (in der Regel der Leiter der Forschungsabteilung) eine Benachrichtigung mit einem Link zur Schnittstelle erhält, die Informationen aus der Datenbank anzeigt.
  • Ontology-API-Integration: Der Kern unserer Lösung war die Integration der Ontology-API in die Laborverwaltungssoftware des Kunden. Diese API diente als Punkt zum Senden von dokumentbezogenen Abfragen und zum Empfangen von Antworten, die dann verarbeitet und über das Frontend angezeigt wurden, bevor sie an die Datenbank des Kunden gesendet wurden.
  • Dokumenten- und Datenverarbeitung: In this system, documents uploaded to the ontological system were processed, and the resulting data was saved in the company’s research database. This allowed for automatic analysis of documents and retrieval of important information.
  • Full-Stack-Entwicklung: Unser Entwickler arbeitete als Full-Stack-Ingenieur, der sich sowohl mit Front-End- als auch Back-End-Aspekten befasste und eine nahtlose Integration aller Systemkomponenten sicherstellte.

Technologien

Programmiersprachen

JavaScript, TypeScript, Java
Reactreact-pdf, Redux, Redux-thunk, React-redux, Primereact, SASS, Lodash, Axios, FileSaver, GPT-Tokenizer
Spring-StiefelJava mit Lucene-Bibliotheken, Stardog
Python (Pandas, Numpy, Plotly, Matplotlib), GCP (Google Big Query, Google Cloud Storage, Cloud Run), Looker, Data Studio, Apache Solr, benutzerdefinierte Tools für die Datenverarbeitung und Visualisierung

Prozess

Unser Ansatz für den Entwicklungsprozess war methodisch und hielt sich an agilen Prinzipien, die Flexibilität und kontinuierliche Verbesserung sicherstellten.

Zu Beginn führten wir gründliche Recherchen durch, um die Bedürfnisse des Kunden und die vorhandenen Systeme zu verstehen, um ein detailliertes 'Vision and Scope' Dokument zu liefern. Basierend auf den ersten Erkenntnissen haben wir die notwendigen Features für jeden Stream entworfen und entwickelt. Unser Team hielt regelmäßig Sprint-Meetings ab, um zu bestätigen, dass unsere Arbeit mit den Kundenerwartungen übereinstimmte. Alle Funktionen wurden implementiert und strengen Tests auf Leistung und Genauigkeit unterzogen, wobei der Kunde kontinuierliches Feedback gab.

Für eine effektive Kommunikation und Projektverfolgung haben wir Microsoft-Tools und Monday.com verwendet, um einen transparenten Prozess und Echtzeit-Updates zu gewährleisten.

Team erforderlich

1

Projektmanager

3

React-Entwickler

3

Java-Entwickler

1

ML/Python-Entwickler

2

Dateningenieure

Ergebnisse

In unserer Zusammenarbeit mit dem Kunden, die drei Schlüsselströme umfasst, haben wir erhebliche Fortschritte bei der Weiterentwicklung seiner wissenschaftlichen Forschungskapazitäten gemacht. Hier eine Momentaufnahme der tatsächlichen Ergebnisse:

  • Rationalisierte Suchvorgänge: Die Bemühungen unseres Teams bei der Verfeinerung des Suchsystems führten zu einer Verdoppelung der Suchgeschwindigkeit, was Forschern bei ihrer Suche nach einem schnellen Zugang zu wissenschaftlichen Daten zugutekam.
  • Präzision der Anmerkungen: Die Einführung des automatisierten Annotationssystems führte zu einer erhöhten Annotationsgenauigkeit, einem kritischen Faktor für eingehende wissenschaftliche Studien.
  • Höhere Effizienz bei der Datenverarbeitung: Durch die Automatisierung von Datenvisualisierung-Prozessen haben wir die Zeit, die Forscher für die manuelle Datenverarbeitung aufwenden, effektiv halbiert, was zu mehr Zeit für Kernforschungsaktivitäten führt.
  • Erhöhte Geschwindigkeit der Datenverarbeitung: Datenverarbeitung und -visualisierung wurden um das Dreifache beschleunigt, was einen großen Fortschritt bei der Verarbeitung komplexer Datensätze bedeutet.
  • Optimierte Benutzererfahrung: Die modernisierte Benutzeroberfläche unserer Systeme hat zu einem deutlichen Anstieg der Benutzerzufriedenheit geführt und ein besseres Engagement in der wissenschaftlichen Gemeinschaft gefördert.
  • Freigegebene Forschungszeit: Durch die Automatisierung von Routineaufgaben konnte die manuelle Datenverarbeitung um 60 % reduziert werden, so dass die Forscher mehr Zeit zur Verfügung hatten, die zuvor für manuelle Arbeiten benötigt wurde.

    Kontaktformular

    Anruf buchen oder füllen Sie das Formular aus. Wir kontaktieren Sie, sobald wir Ihre Anfrage bearbeitet haben.

    Sprachnachricht senden
    Datei beifügen
    Datei hochladen

    Sie können 1 Datei mit bis zu 2 MB anhängen. Gültige Dateiformate: pdf, jpg, jpeg, png.

    Mit dem Klicken auf Senden erklären Sie sich damit einverstanden, dass Innowise Ihre personenbezogenen Daten gemäß unserer Datenschutzrichtlinie verarbeitet, um Ihnen relevante Informationen bereitzustellen. Mit Angabe Ihrer Telefonnummer stimmen Sie zu, dass wir Sie per Sprachanruf, SMS oder Messaging-Apps kontaktieren. Es können Gebühren für Anrufe, Nachrichten und Datenübertragung anfallen.

    Sie können uns auch kontaktieren
    bis hin zu contact@innowise.com
    Wie geht es weiter?
    1

    Sobald wir Ihre Anfrage erhalten und geprüft haben, melden wir uns bei Ihnen, klären erste Fragen und unterzeichnen bei Bedarf ein NDA, um die Vertraulichkeit zu gewährleisten.

    2

    Nach genauer Prüfung Ihrer Anforderungen, Bedürfnisse und Erwartungen wird unser Team einen Projektvorschlag mit Angaben zu Arbeitsumfang, Teamgröße, Zeitaufwand und Kosten erstellen.

    3

    Wir vereinbaren einen Termin, um das Angebot gemeinsam zu besprechen und alle Details festzulegen.

    4

    Abschließend unterzeichnen wir den Vertrag und starten umgehend mit der Umsetzung Ihres Projekts.

    Pfeil