Chatbot for dataanalytisk utvikling: 67% forbedring i latenstid

Ved hjelp av de eksisterende store språkmodellene (LLM) har vi utviklet en analytisk plattform som ligner på ChatGPT, og som kan analysere selskapets interne data og generere svar på spørsmål basert på denne informasjonen.

Kunde

Industri

eCommerce

Region

Kunde siden

2023

Vår kunde, en nystartet bedrift, hadde en visjon om å utvikle et produkt som skulle selges til deres største kunder i detaljhandelen.

Detaljert informasjon om kunden kan ikke utleveres i henhold til vilkårene i taushetserklæringen.

Utfordring

Behovet for en analyseplattform som gir umiddelbar tilgang til interne dokumenter og leverer datadrevet innsikt

Det primære smertepunktet: Interne dokumenter, inkludert personalregistre, markedsføringsdata og salgsinformasjon, er utilgjengelige. Med tusenvis av filer i formater som PDF, CSV, Parquet, TXT og DOCX er det tidkrevende og feilutsatt å finne og analysere spesifikk informasjon.

Sekundære utfordringer: Etter hvert som en bedrift vokser, øker mengden dokumenter og informasjon, noe som ytterligere forsterker utfordringene knyttet til datatilgjengelighet og analyse. Uten et skikkelig dokumentanalysesystem blir disse problemene stadig tydeligere over tid.

Kunden vår erkjente disse utfordringene og kontaktet Innowise for å få en chatbot for dataanalyse, med mål om å tilby den til sine største kunder.

Løsning

Chatbot-programvaren for dataanalyse er skreddersydd for å håndtere interne data

Innowise har utviklet chatboten programvare for dataanalyse ved hjelp av de eksisterende store språkmodellene. Chatsystemet fungerer på samme måte som tilgjengelige roboter, men er skreddersydd for å håndtere interne data. Utviklingen innebar å bygge et komplett system for å integrere LLM med relasjons- og dokumentdatabasene, inkludert interne løsninger for lagring av klientdata, og sørge for smidig interaksjon mellom plattformen og brukerne.

Utvinning av informasjon

Dokumentanalyse- og prosesseringsfunksjonene gjør det mulig å hente ut relevant informasjon fra bedriftsinterne dokumenter som retningslinjer, instruksjoner, veiledninger, driftsdata og tekniske spesifikasjoner. Dermed kan brukeren raskt få nøyaktige og oppdaterte svar på spørsmålene sine uten å måtte søke og analysere data manuelt.

RAG AI-forbedret ytelse

Vi økte chatbotens ytelse ved å gjennomføre daglige manuelle tester og forbedre chatboten ved hjelp av RAG (retrieval-augmented generation) AI. Denne tilnærmingen kombinerer informasjonsinnhenting med generering av naturlig språk, noe som gjør svarene mer informative og relevante. Vi innførte også et tilbakemeldingssystem for å analysere brukerpreferanser, noe som forbedret RAG ytterligere og økte brukernes tillit til chatboten.

Rask svartid

Ved å implementere hurtigbufring, optimalisering av spørringer og parallellprosessering har vi forbedret hastigheten og effektiviteten i brukernes interaksjon med chatboten betydelig. Brukerne kan motta svar raskere, takket være den ofte etterspurte informasjonen som er lagret i hurtigbufferen. I tillegg bruker vi parallell prosessering for å fordele arbeidsmengden, slik at systemet kan håndtere flere forespørsler samtidig. Dette gjør chatboten mer responsiv, selv i rushtiden.

Datauttrekk fra Data Mart

Vi har opprettet et datalager for behandling av strukturerte relasjonsdata. Denne chatbot-funksjonen inkluderer forespørsler om å hente informasjon fra Data Mart. Ved å gi direkte tilgang til Data Mart gjennom chatboten kan brukerne enkelt få den informasjonen de trenger, uten å måtte konsultere andre kilder. Denne forenklede tilgangen betyr at beslutningstakerne har oppdatert innsikt lett tilgjengelig, noe som gjør det lettere å reagere raskt på markedsendringer og strategiske muligheter.

AI-drevet system for dokumentgjenfinning

Vi forbedret dokumenthåndtering og gjenfinning ved å integrere Azure Data Lake Gen 2 for dokumentinntak, segmentering av dokumenter i biter og bruk av Azure OpenAI til å generere embeddings. Disse innlejringene lagres i Azure AI Search for effektiv analyse og gjenfinning. Brukerforespørsler behandles gjennom Azure OpenAI Search, som sammenligner spørringens innbygging med lagrede dokumentinnbygginger for å levere relevante svar umiddelbart.

Ulike alternativer for presentasjon av informasjon

Informasjonen presenteres i form av diagrammer laget med Plotly, tabeller utformet med Material UI og enkelt tekstinnhold. Denne blandingen gjør innholdet mer engasjerende og bidrar til å kommunisere detaljene på en måte som er lett å forstå og handle ut fra.

Logikk for stemmesøk med tekst-til-tale-oversettelse

Teamet vårt integrerte funksjonalitet for stemmespørring sammen med tekstbaserte interaksjoner i chatboten for dataanalyse. Brukerne kan nå enkelt samhandle med boten via stemmekommandoer, med mulighet for å oversette muntlig tekst til skriftlig form.

Teknologier

Frontend

Axios, Material UI, Plotly, React, React Context, react-markdown, TypeScript

Backend

Azure AI Search, Azure App Service, Azure Data Factory, Azure Data Lake Gen2, Azure Databricks, Azure Functions, Azure OpenAI, Bicep, Cosmos DB, Spark

Biblioteker

Axios, Material UI, Matplotlib, NumPy, Pandas, Plotly, PySpark, React Context, react-markdown, Streamlit, TypeScript

Prosess

Først gjennomførte vi en detaljert analyse av forretningskravene og utarbeidet en omfattende plan for programvaren basert på dette.

Deretter skapte vi en visuell fremstilling av chatboten, som inkluderte wireframes, prototyper og mockups, basert på informasjonen vi samlet inn. Designfasen fokuserte på å skape et brukervennlig grensesnitt som skulle gjøre det enkelt for kundene å navigere og få tilgang til chatbotens funksjoner.

Utviklingen omfattet et fullskalasystem for å integrere LLM med både relasjons- og dokumentdatabaser, inkludert interne datalagringsløsninger for klienter. Vi sørget for en smidig interaksjon mellom plattformen og brukerne ved å bruke naturlig språkbehandling (NLP) for å trekke ut nøkkelinformasjon umiddelbart og integrere RAG (retrieval-augmented generation) AI for kontekstuelt relevante svar.

Vi optimaliserte ytelsen ved hjelp av hurtigbufring, forbedret spørringseffektivitet og parallell prosessering, samtidig som vi ga direkte tilgang til strukturerte data fra Data Mart.

Til slutt har vi innlemmet funksjoner for stemmespørring og tekst-til-tale for å øke tilgjengeligheten og imøtekomme ulike brukerbehov.

Team

Front-end-utvikler

Back-end-utvikler

Dataforsker

Dataingeniør

Dataingeniør / DevOps

Resultater

En 67% forbedring av ventetiden for spørringer og databehandling

Teamet vårt har utviklet en skreddersydd analyseplattform, som kundene våre deretter personlig har evaluert gjennom praktisk testing. Dette har resultert i flere merkbare resultater:

Operativ smidighet og raskere, informerte beslutninger: Implementeringen av et distribuert lagrings- og datasystem med Azure Databricks, ADLS Gen2 og Spark-funksjoner har styrket løsningen med raskere databehandling og skalerbarhet for håndtering av store datasett.
En 67% forbedring av ventetiden for spørringer og databehandling: Lav latenstid betyr raskere svartider for spørringer og databehandling, noe som fører til økt pålitelighet og bedre plattformytelse.
Teamet økte produktiviteten: Teamene har fått et stort effektivitetsløft med rask tilgang til og håndtering av filer. Med bedre samarbeid og mindre administrativt arbeid kan teammedlemmene fokusere mer på kjerneoppgavene sine og drive prosjektene raskere fremover.

Denne avanserte chatbot-plattformen leverer eksepsjonell ytelse og forbedrer brukeropplevelsen ved raskt å hente ut nøkkelinformasjon fra interne dokumenter ved hjelp av NLP. Den er integrert med RAG AI for å gi kontekstuelt relevante svar, og optimaliserer responstiden ved hjelp av hurtigbufring, effektiv spørring og parallell prosessering, samtidig som den gir direkte tilgang til strukturerte data fra Data Mart. Stemmespørring og tekst-til-tale-funksjoner øker tilgjengeligheten og imøtekommer ulike brukerbehov.

Kunden vår begynte å tilby løsningen til kundene sine, og den fikk raskt gjennomslag med imponerende salgstall. Løsningens effektivitet og brukervennlighet har ført til høy kundetilfredshet, noe som ytterligere styrker suksessen i markedet.

Prosjektets varighet

Oktober 2023 - februar 2024

67%

raskere spørring og databehandling

34%

økning i teamets prestasjoner

Relaterte saker

Ta kontakt med oss!

Bestill en samtale eller fyll ut skjemaet nedenfor, så kontakter vi deg så snart vi har behandlet forespørselen din.

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.