Chatbot för dataanalytisk utveckling: 67% förbättring av latenstiden

Med hjälp av de befintliga stora språkmodellerna (LLM) har vi utvecklat en analytisk plattform liknande ChatGPT som kan analysera företagets interna data och generera svar på frågor baserat på den informationen.

Kund

Industri

eCommerce

Region

Kund sedan

2023

Vår kund, ett nystartat företag, hade en vision om en produkt som skulle säljas till deras stora kunder inom detaljhandeln.

Detaljerad information om kunden kan inte lämnas ut enligt villkoren i sekretessavtalet.

Utmaning

Behovet av en analytisk plattform som ger omedelbar tillgång till interna dokument och levererar datadrivna insikter

Primär smärtpunkt: Interna dokument, inklusive personalregister, marknadsföringsdata och försäljningsinformation, är otillgängliga. Med tusentals filer i format som PDF, CSV, Parquet, TXT och DOCX är det tidskrävande och felbenäget att hitta och analysera specifik information.

Sekundära utmaningar: I takt med att ett företag växer ökar mängden dokument och information, vilket ytterligare förstärker utmaningarna med datatillgänglighet och analys. Utan ett ordentligt dokumentanalyssystem blir dessa problem alltmer uppenbara med tiden.

Vår kund var medveten om dessa utmaningar och kontaktade Innowise för att få en chatbot för dataanalys, med målet att erbjuda den till sina större kunder.

Lösning

Chatbot-programvaran för dataanalys skräddarsydd för att hantera interna data

Innowise har utvecklat chatboten programvara för dataanalys med hjälp av de befintliga stora språkmodellerna. Chatsystemet fungerar på samma sätt som tillgängliga botar men är skräddarsytt för att hantera interna data. Utvecklingen innebar att bygga ett komplett system för att integrera LLM med relations- och dokumentdatabaserna, inklusive lösningar för lagring av interna klientdata och för att skapa en smidig interaktion mellan plattformen och användarna.

Informationsutvinning

Funktionen för dokumentanalys och -bearbetning gör det möjligt att extrahera relevant information från interna företagsdokument, t.ex. policyer, instruktioner, guider, driftdata och tekniska specifikationer. Detta gör att användaren snabbt kan få korrekta och aktuella svar på sina frågor utan att behöva söka och analysera data manuellt.

RAG AI-förbättrad prestanda

Vi förbättrade chatbotens prestanda genom att genomföra dagliga manuella tester och förfinar chatboten med hjälp av RAG (retrieval-augmented generation) AI. Denna metod kombinerar informationshämtning med generering av naturligt språk, vilket gör svaren mer informativa och relevanta. Vi införde också ett återkopplingssystem för att analysera användarnas preferenser, vilket ytterligare förbättrade RAG och ökade användarnas förtroende för chatboten.

Snabb svarstid

Genom att implementera cachelagring, frågeoptimering och parallellbearbetning har vi avsevärt förbättrat hastigheten och effektiviteten i användarnas interaktion med chatboten. Användarna kan få svar snabbare tack vare den information som ofta efterfrågas och som lagras i cacheminnet. Dessutom använder vi parallellbearbetning för att fördela arbetsbelastningen, vilket gör att systemet kan hantera flera förfrågningar samtidigt. Detta gör chatboten mer responsiv, även under rusningstid.

Dataextraktion från Data Mart

Vi har skapat ett datalager för bearbetning av strukturerade relationsdata. Den här chatbotfunktionen innehåller förfrågningar om att hämta information från Data Mart. Genom att ge direktåtkomst till Data Mart via chatboten kan användarna enkelt få den information de behöver utan att behöva konsultera andra källor. Denna förenklade åtkomst innebär att beslutsfattarna har tillgång till aktuella insikter, vilket underlättar snabba reaktioner på marknadsförändringar och strategiska möjligheter.

AI-drivet system för dokumenthämtning

Vi förfinade dokumenthantering och återsökning genom att integrera Azure Data Lake Gen 2 för dokumentinmatning, segmentering av dokument i bitar och användning av Azure OpenAI för att generera inbäddningar. Dessa inbäddningar lagras i Azure AI Search för effektiv analys och hämtning. Användarfrågor behandlas genom Azure OpenAI Search, som jämför frågeinbäddningar med lagrade dokumentinbäddningar för att leverera relevanta svar direkt.

Olika alternativ för presentation av information

Informationen presenteras i form av diagram som skapats med Plotly, tabeller som utformats med Material UI och enkelt textinnehåll. Den här mixen gör innehållet mer engagerande och hjälper till att kommunicera detaljerna på ett sätt som är lätt att förstå och agera på.

Röstfrågelogik med text-till-tal-översättning

Vårt team integrerade röstfrågefunktionalitet vid sidan av textbaserade interaktioner i chatboten för dataanalys. Användarna kan nu enkelt interagera med boten via röstkommandon, med den extra möjligheten att översätta talad text till skriven form.

Teknik

Frontend

Axios, Material UI, Plotly, React, React Context, react-markdown, TypeScript

Backend

Azure AI Search, Azure App Service, Azure Data Factory, Azure Data Lake Gen2, Azure Databricks, Azure Functions, Azure OpenAI, Bicep, Cosmos DB, Spark

Bibliotek

Axios, Material UI, Matplotlib, NumPy, Pandas, Plotly, PySpark, React Context, react-markdown, Streamlit, TypeScript

Process

Först genomförde vi en detaljerad analys av verksamhetskraven och lade upp en omfattande plan för programvaran baserat på detta.

Därefter skapade vi en visuell representation av chatboten, som inkluderade wireframes, prototyper och mockups, baserat på den information vi samlat in. Designfasen fokuserade på att skapa ett användarvänligt gränssnitt som skulle ge kunderna enkel navigering och tillgång till chatbotens funktioner.

Utvecklingen omfattade skapandet av ett fullskaligt system för att integrera LLM med både relations- och dokumentdatabaser, inklusive interna lösningar för lagring av klientdata. Vi skapade en smidig interaktion mellan plattformen och användarna genom att använda NLP (Natural Language Processing) för att omedelbart extrahera nyckelinformation och integrera RAG (Retrieval-Augmented Generation) AI för kontextuellt relevanta svar.

Vi optimerade prestandan genom cachning, förbättrad frågeeffektivitet och parallellbearbetning, samtidigt som vi gav direkt tillgång till strukturerad data från Data Mart.

Slutligen har vi infört funktioner för röstfrågor och text-till-tal för att öka tillgängligheten och tillgodose olika användares behov.

Team

Front-end-utvecklare

Back-End-utvecklare

Datavetare

Dataingenjör

Dataingenjör / DevOps

Resultat

En 67% förbättring av latenstiden för frågor och databehandling

Vårt team har utvecklat en skräddarsydd analysplattform som våra kunder sedan personligen har utvärderat genom praktiska tester. Detta har resulterat i flera märkbara resultat:

Operativ flexibilitet och snabbare, välgrundat beslutsfattande: Implementeringen av ett distribuerat lagrings- och datorsystem med Azure Databricks, ADLS Gen2 och Spark-funktioner har förbättrat lösningen med snabbare databehandling och skalbarhet för hantering av stora datamängder.
En 67% förbättring av latenstiden för frågor och databehandling: Att upprätthålla låg latens innebär snabbare svarstider för frågor och databehandling, vilket leder till förbättrad tillförlitlighet och plattformsprestanda.
Teamet ökade sin produktivitet: Team har fått en stor effektivitetsökning med snabb åtkomst till och hantering av filer. Med bättre samarbete och mindre administrativt arbete kan teammedlemmarna fokusera mer på sina kärnuppgifter och driva projekten framåt med högre hastighet.

Denna avancerade chatbot-plattform levererar exceptionell prestanda och förbättrar användarupplevelsen genom att snabbt extrahera viktig information från interna dokument med hjälp av NLP. Den är integrerad med RAG AI för kontextuellt relevanta svar och optimerar svarstiden genom cachelagring, frågeeffektivitet och parallell bearbetning samtidigt som den ger direktåtkomst till strukturerad data från Data Mart. Funktioner för röstfrågor och text-till-tal förbättrar tillgängligheten och tillgodoser olika användarbehov.

Vår kund började erbjuda lösningen till sina kunder, och den fick snabbt genomslag med imponerande försäljningssiffror. Lösningens effektivitet och användarvänlighet har lett till hög kundnöjdhet, vilket ytterligare har stärkt dess framgång på marknaden.

Projektets löptid

Oktober 2023 - Februari 2024

67%

snabbare förfrågningar och databehandling

34%

ökning av teamens prestanda

Relaterade fall

Kontakta oss!

Boka ett samtal eller fyll i formuläret nedan så återkommer vi till dig när vi har behandlat din förfrågan.

Namn

Företag

E-post

Telefon

Meddelande Vänligen inkludera projektinformation, varaktighet, teknologistack, IT-proffs som behövs och annan relevant information

Spela in ett röstmeddelande om ditt projekt för att hjälpa oss att förstå det bättre

Bifoga ytterligare dokument vid behov

Ladda upp filen

Du kan bifoga upp till 1 fil på totalt 2 MB. Giltiga filer: pdf, jpg, jpeg, png

Observera att när du klickar på knappen Skicka kommer Innowise att behandla dina personuppgifter i enlighet med vår Integritetspolicy för att ge dig lämplig information.

Vad händer härnäst?

Efter att ha mottagit och behandlat din begäran kommer vi att återkomma till dig inom kort för att specificera dina projektbehov och underteckna en NDA för att säkerställa konfidentialitet av information.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma överens.

Vi skriver på ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt.