Chatbot para desenvolvimento analítico de dados: 67% melhoria da latência

Utilizando os grandes modelos de linguagem (LLM) existentes, desenvolvemos uma plataforma analítica semelhante ao ChatGPT que pode analisar os dados internos da empresa e gerar respostas a perguntas com base nessa informação.

Cliente

Indústria

eCommerce

Região

Reino Unido

Cliente desde

2023

O nosso cliente, uma startup emergente, tinha uma visão para um produto concebido para venda aos seus principais clientes no sector retalhista.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo dos termos do NDA.

Desafio

A necessidade de uma plataforma analítica que ofereça acesso instantâneo a documentos internos e forneça informações baseadas em dados

Principal problema: Os documentos internos, incluindo registos de empregados, dados de marketing e informações de vendas, carecem de acessibilidade. Com milhares de ficheiros em formatos como PDF, CSV, Parquet, TXT e DOCX, a localização e análise de informações específicas é morosa e propensa a erros.

Desafios secundários: À medida que uma empresa cresce, o volume de documentos e informações aumenta, intensificando ainda mais os desafios de acessibilidade e análise de dados. Sem um sistema de análise de documentos adequado, estes problemas tornam-se cada vez mais evidentes ao longo do tempo.

Reconhecendo estes desafios, o nosso cliente contactou a Innowise para obter um chatbot para análise de dados, com o objetivo de o oferecer aos seus principais clientes.

Solução

O software de análise de dados chatbot adaptado para tratar dados internos

A Innowise desenvolveu o chatbot software de análise de dados utilizando os grandes modelos linguísticos existentes. O sistema de chat funciona de forma semelhante aos bots disponíveis, mas é adaptado para tratar dados internos. O desenvolvimento envolveu a construção de um sistema completo para integrar o LLM com as bases de dados relacionais e documentais, incluindo soluções internas de armazenamento de dados do cliente e proporcionando uma interação suave entre a plataforma e os utilizadores.

Extração de informação

As capacidades de análise e processamento de documentos permitem extrair informações relevantes de documentos internos da empresa, tais como políticas, instruções, guias, dados operacionais e especificações técnicas. Isto permite ao utilizador obter rapidamente respostas precisas e actualizadas às suas questões sem ter de procurar e analisar manualmente os dados.

Desempenho melhorado pela IA do RAG

Melhorámos o desempenho do chatbot através da realização de testes manuais diários e aperfeiçoar o chatbot utilizando a IA de geração aumentada por recuperação (RAG). Esta abordagem combina a recuperação de informações com a geração de linguagem natural, tornando as respostas mais informativas e relevantes. Introduzimos também um sistema de feedback para analisar as preferências dos utilizadores, o que melhorou ainda mais a RAG e aumentou a confiança dos utilizadores no chatbot.

Tempo de resposta rápido

Ao implementar o armazenamento em cache, a otimização de consultas e o processamento paralelo, melhorámos significativamente a velocidade e a eficiência das interações dos utilizadores com o chatbot. Os utilizadores podem receber respostas mais rapidamente, graças às informações frequentemente solicitadas armazenadas na cache. Além disso, usamos o processamento paralelo para distribuir a carga de trabalho, permitindo que o sistema lide com vários pedidos ao mesmo tempo. Isto torna o chatbot mais reativo, mesmo durante as horas de ponta.

Extração de dados do Data Mart

Criámos um repositório de dados para processar dados relacionais estruturados. Esta funcionalidade do chatbot inclui pedidos para obter informações do Data Mart. Ao fornecer acesso direto ao Data Mart através do chatbot, os utilizadores podem obter sem esforço as informações de que necessitam sem consultar outras fontes. Este acesso simplificado significa que os decisores têm informações actualizadas na ponta dos dedos, facilitando respostas ágeis às mudanças do mercado e às oportunidades estratégicas.

Sistema de recuperação de documentos baseado em IA

Aperfeiçoámos a gestão e a recuperação de documentos através da integração de Azure Data Lake Gen 2 para a ingestão de documentos, a segmentação de documentos em partes e a utilização do Azure OpenAI para gerar embeddings. Esses embeddings são armazenados no Azure AI Search para uma análise e recuperação eficientes. As consultas do utilizador são processadas através do Azure OpenAI Search, comparando os embeddings da consulta com os embeddings dos documentos armazenados para fornecer respostas relevantes instantaneamente.

Diversas opções de apresentação de informações

A informação é apresentada sob a forma de gráficos criados com o Plotly, tabelas estilizadas com a IU Material e conteúdo de texto simples. Esta combinação torna o conteúdo mais cativante e ajuda a comunicar os pormenores de uma forma que é fácil de compreender e de atuar.

Lógica de consulta por voz com tradução de texto para voz

A nossa equipa integrou a funcionalidade de consulta por voz juntamente com as interações baseadas em texto no chatbot para análise de dados. Os utilizadores podem agora interagir sem esforço com o bot através de comandos de voz, com a capacidade adicional de traduzir o texto falado para a forma escrita.

Tecnologias

Front-end

Axios, Material UI, Plotly, React, React Context, react-markdown, TypeScript

Backend

Azure AI Search, Azure App Service, Azure Data Factory, Azure Data Lake Gen2, Azure Databricks, Azure Functions, Azure OpenAI, Bicep, Cosmos DB, Spark

Bibliotecas

Axios, Material UI, Matplotlib, NumPy, Pandas, Plotly, PySpark, React Context, react-markdown, Streamlit, TypeScript

Processo

Em primeiro lugar, efectuámos uma análise detalhada dos requisitos comerciais e, com base nisso, traçámos um plano abrangente para o software.

De seguida, criámos uma representação visual do chatbot, que incluía wireframes, protótipos e maquetas, com base na informação que recolhemos. A fase de design centrou-se na criação de uma interface de fácil utilização que proporcionasse aos clientes uma navegação e acesso fáceis às funcionalidades do chatbot.

O desenvolvimento abrangeu a criação de um sistema à escala real para integrar o LLM com bases de dados relacionais e documentais, incluindo soluções internas de armazenamento de dados do cliente. Proporcionámos uma interação harmoniosa entre a plataforma e os utilizadores, utilizando o processamento da linguagem natural (PNL) para extrair imediatamente informações essenciais e integrando a IA de geração aumentada de recuperação (RAG) para obter respostas contextualmente relevantes.

Optimizámos o desempenho através do armazenamento em cache, da melhoria da eficiência das consultas e do processamento paralelo, ao mesmo tempo que fornecemos acesso direto a dados estruturados a partir do Data Mart.

Por fim, incorporámos funcionalidades de consulta por voz e de conversão de texto em voz para aumentar a acessibilidade e satisfazer as diversas necessidades dos utilizadores.

Equipa

Programador Front-End

Programador Back-End

Cientista de dados

Engenheiro de dados

Engenheiro de dados / DevOps

Resultados

Uma melhoria de 67% na latência para consultas e processamento de dados

A nossa equipa desenvolveu uma plataforma de análise personalizada, que os nossos clientes avaliaram pessoalmente através de testes práticos. Isto resultou em vários resultados notáveis:

Agilidade operacional e tomada de decisões mais rápida e informada: A implementação de um sistema de armazenamento e computação distribuído com Databricks Azure, ADLS Gen2 e capacidades Spark impulsionou a solução com um processamento de dados mais rápido e escalabilidade para lidar com conjuntos de dados substanciais.
Uma melhoria de 67% na latência para consultas e processamento de dados: Manter uma latência baixa significa tempos de resposta mais rápidos para consultas e processamento de dados, levando a uma maior fiabilidade e desempenho da plataforma.
Aumento da produtividade da equipa: As equipas obtiveram um grande aumento de eficiência com o rápido acesso e gestão de ficheiros. Com uma melhor colaboração e menos trabalho administrativo, os membros da equipa podem concentrar-se mais nas suas tarefas principais e fazer avançar os projectos com maior rapidez.

Esta plataforma avançada de chatbot proporciona um desempenho excecional e melhora a experiência do utilizador, extraindo rapidamente informações importantes de documentos internos utilizando a PNL. Integrada com a IA RAG para obter respostas contextualmente relevantes, optimiza o tempo de resposta através de caching, eficiência de consulta e processamento paralelo, ao mesmo tempo que fornece acesso direto a dados estruturados do Data Mart. As capacidades de consulta por voz e de conversão de texto em voz elevam a acessibilidade, satisfazendo as diversas necessidades dos utilizadores.

O nosso cliente começou a oferecer a solução aos seus clientes, que rapidamente ganhou força com números de vendas impressionantes. A eficácia e a facilidade de utilização da solução conduziram a elevadas taxas de satisfação entre os seus clientes, solidificando ainda mais o seu sucesso no mercado.

Duração do projecto

outubro de 2023 - fevereiro de 2024

67%

consulta e processamento de dados mais rápidos

34%

aumento do desempenho das equipas

Casos relacionados

Contactar-nos!

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes

Gravar uma mensagem de voz sobre o seu
projeto para nos ajudar a compreendê-lo melhor

Anexar documentos adicionais, se necessário

Enviar ficheiro

Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

Informamos que, ao clicar no botão Enviar, o Innowise's processará os seus dados pessoais de acordo com a nossa Política de Privacidade com o objectivo de lhe fornecer informações adequadas.

O que é que acontece a seguir?

Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.