Chatbot data-analytiikan kehittämiseen: 67%:n parannus latenssissa

Käyttämällä olemassa olevia suuria kielimalleja (LLM) olemme kehittäneet ChatGPT:n kaltaisen analyyttisen alustan, joka voi analysoida yrityksen sisäisiä tietoja ja tuottaa vastauksia kysymyksiin näiden tietojen perusteella.

Asiakas

Teollisuus
Alue
UK
Asiakas vuodesta
2023

Asiakkaallamme, kehittyvällä startup-yrityksellä, oli visio tuotteesta, joka oli suunniteltu myytäväksi vähittäiskaupan alalla toimiville suurille asiakkaille.

Yksityiskohtaisia tietoja asiakkaasta ei voida luovuttaa NDA:n ehtojen mukaisesti.

Haaste

Tarve analyyttiselle alustalle, joka tarjoaa välittömän pääsyn sisäisiin asiakirjoihin ja tuottaa tietoon perustuvia oivalluksia.

Ensisijainen kipupiste: Sisäisiä asiakirjoja, kuten työntekijätietoja, markkinointitietoja ja myyntitietoja, ei ole saatavilla. Tuhansien tiedostojen, kuten PDF-, CSV-, Parketti-, TXT- ja DOCX-muodoissa olevien tiedostojen avulla tiettyjen tietojen paikantaminen ja analysointi on aikaa vievää ja virhealtista.

Toissijaiset haasteet: Yrityksen kasvaessa asiakirjojen ja tietojen määrä kasvaa, mikä lisää entisestään tietojen saatavuuteen ja analysointiin liittyviä haasteita. Ilman asianmukaista asiakirja-analyysijärjestelmää nämä ongelmat tulevat ajan myötä yhä selvemmiksi.

Tunnistaessaan nämä haasteet asiakkaamme otti yhteyttä Innowise:hen saadakseen chatbotin data-analytiikkaa varten tavoitteenaan tarjota sitä suurille asiakkailleen.

Ratkaisu

Sisäisten tietojen käsittelyyn räätälöity chatbot-tietoanalyysiohjelmisto

Innowise on kehittänyt chatbotin data-analyysiohjelmisto käyttämällä olemassa olevia suuria kielimalleja. Chat-järjestelmä toimii samalla tavalla kuin saatavilla olevat botit, mutta se on räätälöity käsittelemään sisäisiä tietoja. Kehitystyöhön kuului täydellisen järjestelmän rakentaminen LLM:n integroimiseksi relaatio- ja asiakirjatietokantoihin, mukaan lukien sisäiset asiakastietojen tallennusratkaisut ja sujuvan vuorovaikutuksen tarjoaminen alustan ja käyttäjien välillä.

Tiedon louhinta

Asiakirjojen analysointi- ja käsittelyominaisuudet mahdollistavat olennaisen tiedon poimimisen yrityksen sisäisistä asiakirjoista, kuten politiikoista, ohjeista, oppaista, toimintatiedoista ja teknisistä eritelmistä. Näin käyttäjä saa nopeasti tarkat ja ajantasaiset vastaukset kysymyksiinsä ilman, että hänen tarvitsee etsiä ja analysoida tietoja manuaalisesti.

RAG AI - parannettu suorituskyky

Paransimme chatbotin suorituskykyä suorittamalla seuraavat toimenpiteet. päivittäiset manuaaliset testit ja chatbotin jalostaminen käyttämällä hakuavusteista sukupolvea (Retrieval-augmented Generation, RAG) AI. Tässä lähestymistavassa yhdistetään tiedonhaku ja luonnollisen kielen tuottaminen, mikä tekee vastauksista informatiivisempia ja merkityksellisempiä. Otimme käyttöön myös palautejärjestelmän käyttäjien mieltymysten analysoimiseksi, mikä paransi RAG:tä entisestään ja lisäsi käyttäjien luottamusta chatbottiin.

Nopea vastausaika

Käyttämällä välimuistitallennusta, kyselyjen optimointia ja rinnakkaiskäsittelyä paransimme merkittävästi käyttäjien ja chatbotin välisen vuorovaikutuksen nopeutta ja tehokkuutta. Käyttäjät saavat vastaukset nopeammin välimuistiin tallennettujen usein pyydettyjen tietojen ansiosta. Lisäksi käytämme rinnakkaiskäsittelyä työmäärän jakamiseen, jolloin järjestelmä voi käsitellä useita pyyntöjä kerralla. Tämä tekee chatbotista nopeammin reagoivan myös ruuhka-aikoina.

Tietojen poimiminen Data Martista

Olemme luoneet tietovaraston strukturoitujen relaatiotietojen käsittelyä varten. Tämä chatbot-ominaisuus sisältää pyyntöjä hakea tietoja tietovarastosta. Tarjoamalla chatbotin kautta suoran pääsyn Data Martiin käyttäjät voivat hankkia tarvitsemansa tiedot vaivattomasti ilman muita lähteitä. Tämä yksinkertaistettu pääsy tarkoittaa, että päätöksentekijöillä on käden ulottuvilla ajantasaiset tiedot, mikä helpottaa ketterää reagointia markkinoiden muutoksiin ja strategisiin mahdollisuuksiin.

AI-käyttöinen asiakirjojen hakujärjestelmä

Kehitimme asiakirjojen hallintaa ja hakua integroimalla seuraavat toiminnot Azure Data Lake Gen 2 asiakirjojen syöttämiseen, asiakirjojen segmentointiin palasiksi ja Azure OpenAI:n käyttämiseen upotusten tuottamiseen. Nämä sulautumat tallennetaan Azure AI Search -palveluun tehokasta analysointia ja hakua varten. Käyttäjän kyselyt käsitellään Azure OpenAI Searchin kautta, jolloin kyselyjen sulautuksia verrataan tallennettuihin asiakirjojen sulautuksiin, jolloin saadaan välittömästi relevantteja vastauksia.

Monipuoliset tietojen esitystapavaihtoehdot

Tiedot esitetään Plotly-ohjelmalla luotujen kaavioiden, Material UI:lla muotoiltujen taulukoiden ja suoraviivaisen tekstisisällön muodossa. Tämä yhdistelmä tekee sisällöstä kiinnostavampaa ja auttaa välittämään yksityiskohdat tavalla, joka on helppo ymmärtää ja jonka perusteella on helppo toimia.

Puhekyselylogiikka ja tekstistä puheeksi kääntäminen

Tiimimme integroi puhekyselytoiminnon tekstipohjaisen vuorovaikutuksen rinnalle chatbottiin data-analytiikkaa varten. Käyttäjät voivat nyt olla vaivattomasti vuorovaikutuksessa botin kanssa äänikomentojen avulla, ja lisäksi se pystyy kääntämään puhutun tekstin kirjalliseen muotoon.

Teknologiat

Axios, Material UI, Plotly, React, React Konteksti, react-markdown, TypeScript

Azure AI Search, Azure App Service, Azure Data Factory, Azure Data Lake Gen2, Azure Databricks, Azure Functions, Azure OpenAI, Bicep, Cosmos DB, Spark

Kirjastot

Axios, Material Käyttöliittymä, Matplotlib, NumPy, Pandas, Plotly, PySpark, React Konteksti, react-markdown, Streamlit, TypeScript

Prosessi

Ensin analysoimme yksityiskohtaisesti liiketoiminnan vaatimukset ja laadimme niiden pohjalta kattavan suunnitelman ohjelmistoa varten.

Seuraavaksi loimme keräämiemme tietojen pohjalta visuaalisen esityksen chatbotista, johon sisältyi rautalankakehyksiä, prototyyppejä ja mockuppeja. Suunnitteluvaiheessa keskityttiin käyttäjäystävällisen käyttöliittymän luomiseen, joka tarjoaisi asiakkaille helpon navigoinnin ja pääsyn chat-botin ominaisuuksiin.

Kehitystyö kattoi täysimittaisen järjestelmän luomisen LLM:n integroimiseksi sekä relaatio- että asiakirjatietokantoihin, mukaan lukien sisäiset asiakastietojen tallennusratkaisut. Tarjosimme sujuvan vuorovaikutuksen alustan ja käyttäjien välillä käyttämällä luonnollisen kielen käsittelyä (NLP) avaintietojen välittömään poimimiseen ja integroimalla hakua tukevan sukupolven (RAG) AI kontekstin kannalta merkityksellisiä vastauksia varten. 

Optimoimme suorituskyvyn välimuistitallennuksen, paremman kyselytehokkuuden ja rinnakkaiskäsittelyn avulla ja tarjosimme samalla suoran pääsyn strukturoituun dataan Data Martista. 

Lopuksi sisällytimme äänikysely- ja tekstistä puheeksi -ominaisuudet, joilla parannetaan saavutettavuutta ja vastataan erilaisiin käyttäjien tarpeisiin.

Joukkue

1

Front-End-kehittäjä

1

Back-End-kehittäjä

1

Data Scientist

1

Tiedot Engineer

1

Tiedot Engineer / DevOps

Tulokset

67% parannus kyselyjen ja tietojenkäsittelyn viiveeseen.

Tiimimme on kehittänyt räätälöidyn analytiikka-alustan, jonka asiakkaamme ovat sitten henkilökohtaisesti arvioineet käytännön testauksen avulla. Tämä on johtanut useisiin huomattaviin tuloksiin:

  • Toiminnallinen ketteryys ja nopeampi, tietoon perustuva päätöksenteko: Hajautetun tallennus- ja laskentajärjestelmän käyttöönotto, jossa on Azure Databricks, ADLS Gen2 ja Spark-ominaisuudet, on nopeuttanut ratkaisun tietojenkäsittelyä ja skaalautuvuutta suurten tietokokonaisuuksien käsittelyssä.
  • 67% parannus kyselyjen ja tietojenkäsittelyn viiveessä: Matalan viiveen ylläpitäminen tarkoittaa nopeampia vasteaikoja kyselyille ja tietojenkäsittelylle, mikä parantaa luotettavuutta ja alustan suorituskykyä.
  • Tiimin tuottavuuden kasvu: Tiimit ovat saaneet merkittävän tehokkuuslisäyksen tiedostojen nopean käytön ja hallinnan ansiosta. Paremman yhteistyön ja vähemmän hallintotyötä ansiosta tiimin jäsenet voivat keskittyä enemmän ydintehtäviinsä ja viedä projekteja nopeammin eteenpäin.

 

Tämä edistyksellinen chatbot-alusta tarjoaa poikkeuksellisen suorituskyvyn ja parantaa käyttäjäkokemusta poimimalla sisäisistä asiakirjoista nopeasti keskeistä tietoa NLP:n avulla. Se on integroitu RAG AI:n kanssa kontekstisidonnaisia vastauksia varten, ja se optimoi vastausaikaa välimuistitallennuksen, kyselytehokkuuden ja rinnakkaisen käsittelyn avulla tarjoten samalla suoran pääsyn strukturoituun dataan Data Martista. Äänikysely- ja tekstistä puheeksi -ominaisuudet parantavat saavutettavuutta ja vastaavat erilaisiin käyttäjien tarpeisiin. 

Asiakkaamme alkoi tarjota ratkaisua asiakkailleen, ja se sai nopeasti vetovoimaa vaikuttavilla myyntiluvuilla. Ratkaisun tehokkuus ja helppokäyttöisyys ovat johtaneet asiakkaiden korkeaan tyytyväisyyteen, mikä on vahvistanut sen menestystä markkinoilla entisestään.

Hankkeen kesto
  • lokakuu 2023 - helmikuu 2024

67%

nopeampi kysely ja tietojenkäsittely

34%

tiimien suorituskyvyn parantaminen

    Ota yhteyttä

    Varaa puhelu tai täytä alla oleva lomake, niin otamme sinuun yhteyttä, kun olemme käsitelleet pyyntösi.

    Lähetä meille ääniviesti
    Liitä asiakirjoja
    Lataa tiedosto

    Voit liittää 1 enintään 2 Mt:n tiedoston. Hyväksytyt tiedostomuodot: pdf, jpg, jpeg, png.

    Klikkaamalla Lähetä, annat suostumuksesi siihen, että Innowise käsittelee henkilötietojasi meidän Tietosuojakäytäntö antaa sinulle asiaankuuluvia tietoja. Antamalla puhelinnumerosi suostut siihen, että voimme ottaa sinuun yhteyttä puheluiden, tekstiviestien ja viestisovellusten kautta. Puhelu-, viesti- ja datahintoja voidaan soveltaa.

    Voit myös lähettää meille pyyntösi
    osoitteeseen contact@innowise.com

    Mitä tapahtuu seuraavaksi?

    1

    Kun olemme vastaanottaneet ja käsitelleet pyyntösi, otamme sinuun yhteyttä ja kerromme yksityiskohtaisesti projektin tarpeet ja allekirjoitamme NDA-sopimuksen luottamuksellisuuden varmistamiseksi.

    2

    Tutkittuaan toiveesi, tarpeesi ja odotuksesi tiimimme suunnittelee projektin ehdotuksen, jossa esitetään työn laajuus, tiimin koko, aika- ja kustannusarviot.

    3

    Järjestämme kanssasi tapaamisen, jossa keskustellaan tarjouksesta ja sovitaan yksityiskohdista.

    4

    Lopuksi allekirjoitamme sopimuksen ja aloitamme projektisi toteuttamisen heti.

    nuoli