Chatbot voor data-analytische ontwikkeling: 67% verbetering in latentie

Met behulp van de bestaande grote taalmodellen (LLM) hebben we een analytisch platform ontwikkeld dat vergelijkbaar is met ChatGPT, dat de interne gegevens van het bedrijf kan analyseren en op basis van die informatie antwoorden op vragen kan genereren.

Klant

Industrie

eCommerce

Regio

Klant sinds

2023

Onze klant, een opkomende startup, had een visie voor een product dat bestemd was voor verkoop aan hun grote klanten in de detailhandel.

Gedetailleerde informatie over de klant kan niet worden vrijgegeven onder de voorwaarden van de NDA.

Uitdaging

De behoefte aan een analytisch platform dat directe toegang biedt tot interne documenten en dat datagestuurde inzichten levert

Primair pijnpunt: Interne documenten, zoals personeelsdossiers, marketinggegevens en verkoopinformatie zijn niet toegankelijk. Met duizenden bestanden in formaten als PDF, CSV, Parket, TXT en DOCX is het vinden en analyseren van specifieke informatie tijdrovend en foutgevoelig.

Secundaire uitdagingen: Naarmate een bedrijf groeit, neemt de hoeveelheid documenten en informatie toe, waardoor de uitdagingen met betrekking tot de toegankelijkheid en analyse van gegevens nog groter worden. Zonder een goed documentanalysesysteem worden deze problemen na verloop van tijd steeds duidelijker.

Onze klant herkende deze uitdagingen en nam contact op met Innowise voor een chatbot voor data-analyse, met als doel deze aan te bieden aan hun belangrijkste klanten.

Oplossing

De chatbot-software voor data-analyse op maat voor het verwerken van interne gegevens

Innowise heeft de chatbot ontwikkeld software voor gegevensanalyse met behulp van de bestaande grote taalmodellen. Het chatsysteem werkt op dezelfde manier als beschikbare bots, maar is op maat gemaakt om interne gegevens te verwerken. Bij de ontwikkeling werd een compleet systeem gebouwd voor de integratie van LLM met de relationele en documentdatabases, inclusief oplossingen voor de opslag van interne klantgegevens en een soepele interactie tussen het platform en de gebruikers.

Informatie-extractie

De mogelijkheden voor documentanalyse en -verwerking maken het mogelijk om relevante informatie te extraheren uit interne bedrijfsdocumenten zoals beleidsregels, instructies, handleidingen, operationele gegevens en technische specificaties. Hierdoor kan de gebruiker snel nauwkeurige en actuele antwoorden op zijn vragen krijgen zonder handmatig gegevens te hoeven zoeken en analyseren.

RAG AI-verbeterde prestaties

We hebben de prestaties van de chatbot verbeterd door dagelijkse handmatige tests en het verfijnen van de chatbot met behulp van retrieval-augmented generation (RAG) AI. Deze aanpak combineert het ophalen van informatie met het genereren van natuurlijke taal, waardoor antwoorden informatiever en relevanter worden. We introduceerden ook een feedbacksysteem om de voorkeuren van gebruikers te analyseren, waardoor RAG verder werd verbeterd en het vertrouwen van gebruikers in de chatbot toenam.

Snelle antwoordtijd

Door caching, query-optimalisatie en parallelle verwerking te implementeren, hebben we de snelheid en efficiëntie van gebruikersinteracties met de chatbot aanzienlijk verbeterd. Gebruikers kunnen sneller antwoorden ontvangen dankzij de veelgevraagde informatie die in de cache is opgeslagen. Daarnaast gebruiken we parallelle verwerking om de werklast te verdelen, waardoor het systeem meerdere verzoeken tegelijk kan afhandelen. Dit maakt de chatbot responsiever, zelfs tijdens piekmomenten.

Gegevensextractie uit Data Mart

We hebben een gegevensopslagplaats gemaakt voor het verwerken van gestructureerde relationele gegevens. Deze chatbotfunctie bevat verzoeken om informatie op te halen uit de Data Mart. Door directe toegang tot de Data Mart te bieden via de chatbot, kunnen gebruikers moeiteloos de informatie verkrijgen die ze nodig hebben zonder andere bronnen te raadplegen. Deze vereenvoudigde toegang betekent dat besluitvormers actuele inzichten binnen handbereik hebben, waardoor ze sneller kunnen reageren op veranderingen in de markt en strategische kansen.

AI-gestuurd documentzoeksysteem

We hebben documentbeheer en terugvinden verfijnd door integratie van Azure Data Lake Gen 2 voor het binnenhalen van documenten, het segmenteren van documenten in chunks en het gebruik van Azure OpenAI om embeddings te genereren. Deze embeddings worden opgeslagen in Azure AI Search voor efficiënte analyse en ophalen. Query's van gebruikers worden verwerkt door Azure OpenAI Search, het vergelijken van query embeddings met opgeslagen document embeddings om direct relevante antwoorden.

Diverse opties voor informatiepresentatie

De informatie wordt gepresenteerd in de vorm van grafieken die zijn gemaakt met Plotly, tabellen die zijn vormgegeven met Material UI en eenvoudige tekstinhoud. Deze mix maakt de inhoud boeiender en helpt bij het communiceren van de details op een manier die gemakkelijk te begrijpen en te gebruiken is.

Logica voor gesproken zoekopdrachten met tekst-naar-spraak vertaling

Ons team integreerde functionaliteit voor gesproken zoekopdrachten naast tekstgebaseerde interacties in de chatbot voor gegevensanalyse. Gebruikers kunnen nu moeiteloos communiceren met de bot via spraakopdrachten, met de extra mogelijkheid om gesproken tekst te vertalen naar geschreven vorm.

Technologieën

Frontend

Axios, Material UI, Plotly, React, React Context, react-markdown, TypeScript

Backend

Azure AI Search, Azure App Service, Azure Data Factory, Azure Data Lake Gen2, Azure Databricks, Azure Functies, Azure OpenAI, Bicep, Cosmos DB, Spark

Bibliotheken

Axios, Material UI, Matplotlib, NumPy, Pandas, Plotly, PySpark, React Context, react-markdown, Streamlit, TypeScript

Proces

Eerst hebben we een gedetailleerde analyse van de bedrijfsvereisten uitgevoerd en op basis daarvan een uitgebreid plan voor de software opgesteld.

Vervolgens creëerden we een visuele weergave van de chatbot, inclusief wireframes, prototypes en mockups, gebaseerd op de informatie die we verzamelden. De ontwerpfase richtte zich op het creëren van een gebruiksvriendelijke interface die klanten eenvoudige navigatie en toegang tot de functies van de chatbot zou bieden.

De ontwikkeling omvatte het creëren van een volledig systeem om LLM te integreren met zowel relationele als documentdatabases, inclusief interne oplossingen voor de opslag van klantgegevens. We zorgden voor een soepele interactie tussen het platform en gebruikers door gebruik te maken van natuurlijke taalverwerking (NLP) om direct belangrijke informatie te extraheren en door retrieval-augmented generation (RAG) AI te integreren voor contextueel relevante antwoorden.

We hebben de prestaties geoptimaliseerd door caching, verbeterde query-efficiëntie en parallelle verwerking, terwijl we directe toegang bieden tot gestructureerde gegevens uit de Data Mart.

Tot slot hebben we functies voor gesproken zoekopdrachten en tekst-naar-spraak ingebouwd om de toegankelijkheid te verbeteren en tegemoet te komen aan verschillende gebruikersbehoeften.

Team

Front-End Ontwikkelaar

Back-End Ontwikkelaar

Data Wetenschapper

Data Ingenieur

Data-ingenieur / DevOps

Resultaten

Een verbetering van 67% in latentie voor query's en gegevensverwerking

Ons team heeft een analytisch platform op maat ontwikkeld, dat onze klanten vervolgens persoonlijk hebben geëvalueerd door middel van praktijktests. Dit heeft geresulteerd in een aantal opmerkelijke resultaten:

Operationele wendbaarheid en snellere, geïnformeerde besluitvorming: De implementatie van een gedistribueerd opslag- en computersysteem met Azure Databricks, ADLS Gen2 en Spark-mogelijkheden heeft de oplossing een boost gegeven met snellere gegevensverwerking en schaalbaarheid voor de verwerking van omvangrijke datasets.
Een verbetering van 67% in latentie voor query's en gegevensverwerking: Het handhaven van een lage latency betekent snellere reactietijden voor queries en gegevensverwerking, wat leidt tot verbeterde betrouwbaarheid en platformprestaties.
Team verhoogde productiviteit: Teams hebben een grote efficiëntieslag gekregen dankzij de snelle toegang tot en het snelle beheer van bestanden. Met een betere samenwerking en minder administratief werk kunnen teamleden zich meer richten op hun kerntaken en projecten sneller vooruit helpen.

Dit geavanceerde chatbotplatform levert uitzonderlijke prestaties en verbetert de gebruikerservaring door met behulp van NLP snel belangrijke informatie uit interne documenten te halen. Geïntegreerd met RAG AI voor contextueel relevante antwoorden, optimaliseert het de responstijd door caching, query-efficiëntie en parallelle verwerking, terwijl het directe toegang biedt tot gestructureerde gegevens uit de Data Mart. Voice query en tekst-naar-spraak mogelijkheden verhogen de toegankelijkheid en komen tegemoet aan verschillende gebruikersbehoeften.

Onze klant begon met het aanbieden van de oplossing aan zijn klanten en deze won al snel aan populariteit met indrukwekkende verkoopcijfers. De effectiviteit en het gebruiksgemak van de oplossing hebben geleid tot hoge tevredenheidspercentages onder hun klanten, waardoor het succes op de markt nog verder is toegenomen.

Duur van het project

Oktober 2023 - februari 2024

67%

snellere query's en gegevensverwerking

34%

betere prestaties van de teams

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.