Pipelines de dados com o Apache Kafka: Aumento de 36% na precisão da tomada de decisões

Utilizando o Apache Kafka data streaming, a Innowise forneceu um pipeline de dados sem problemas para a tomada de decisões e análises informadas.

Cliente

Indústria

Indústria automóvel, Fabrico

Região

Cliente desde

2023

O nosso cliente é uma empresa multinacional especializada no fabrico de uma gama diversificada de veículos de passageiros e comerciais, motociclos, motores e turbomáquinas.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo das disposições do NDA.

Desafio

Ineficiências operacionais e falta de conhecimento dos fluxos de trabalho da empresa

O fabricante de automóveis, uma entidade global com sucursais e centros de concessionários em todos os continentes, enfrentou um significativo gestão de dados dilema. Várias unidades da empresa funcionavam de forma independente, o que resultava em ineficiências e numa falta de visão das operações, vendas, gestão de projectos, etc.

Múltiplas fontes de dados levaram à duplicação de esforços, à qualidade inconsistente dos dados e a um consumo significativo de recursos, uma vez que as equipas em diferentes locais se esforçavam por reconciliar a informação. Esta fragmentação prejudicou a capacidade do fabricante de tomar decisões estratégicas informadas de forma rápida e eficaz.

Além disso, o cliente teve dificuldades em aceder aos dados em tempo real necessários para a tomada de decisões estratégicas. A partilha de dados e os atrasos no processamento resultaram na perda de oportunidades e em respostas tardias às exigências do mercado, uma vez que as tendências do mercado e as preferências dos consumidores evoluem rapidamente.

O cliente procurava uma solução abrangente para unificar fontes de dados díspares num sistema coeso e garantir a escalabilidade para se adaptar a futuras expansões do negócio.

Solução

Pipeline de dados Apache para integrar fontes de dados díspares num único sistema coeso

A Innowise ofereceu uma abordagem transformadora centrada na integração do Apache Kafka para resolver os desafios do cliente. Simplificando, transformamos os fluxos de informações existentes do cliente em fluxos de dados Kafka para garantir um fluxo de dados ininterrupto, análises em tempo real e visualizações abrangentes.

Conector Kafka para fonte de dados codebeamer

A nossa tarefa inicial era criar uma arquitetura para descarregar informações de fontes de dados e transmiti-las para o Apache Kafka. Primeiro, criámos um conetor para o Codebeamer, uma plataforma de gestão de projectos abrangente que o cliente utilizava para o desenvolvimento e colaboração de software. Escolhemos o Apache Kafka devido à sua capacidade excecional de tratar fluxos de dados em grande escala, de elevado débito e em tempo real de forma tolerante a falhas, escalável e distribuída.

Inicialmente, os especialistas da Innowise analisaram exaustivamente a documentação da API do Codebeamer para identificar os métodos mais eficientes para extrair dados do projeto, incluindo itens de trabalho, conjuntos de alterações e actividades do utilizador. Também examinámos o mecanismo de autenticação, os limites dos pedidos de dados e os formatos de retorno da API.

Com base na análise da API, concebemos a arquitetura do conetor com foco na modularidade, escalabilidade e tolerância a falhas. Os nossos engenheiros de software utilizaram Java para codificar o conetor, que era responsável pela ligação à API do Codebeamer, pela obtenção de dados e pela sua escrita num tópico Kafka. Implementámos um conversor para transformar os dados do formato do Codebeamer para um formato compatível com o Kafka. Isto incluiu o mapeamento de vários campos de dados para os pares de valores-chave do Kafka e o tratamento de variações de esquemas. Por fim, a nossa equipa de projeto geriu uma configuração robusta, permitindo aos utilizadores especificar dinamicamente as credenciais da API, os intervalos de sondagem e os tópicos Kafka alvo.

Na primeira fase, o conetor sondou a API do Codebeamer para obter dados novos e actualizados em intervalos configuráveis. Em seguida, transformou os dados num formato compatível com o Kafka, garantindo que cada informação é representada como um evento discreto. Utilizámos capacidades de processamento em lote para tratar eficientemente grandes volumes de dados sem sobrecarregar a API do Codebeamer ou o cluster Kafka.

Conector Kafka Fonte de dados FTP

Além disso, desenvolvemos um conetor Kafka personalizado para uma fonte de dados FTP, um componente crítico para a consolidação de vários ficheiros e formatos, incluindo JSON, XML e CSV. O conetor fez a interface com o servidor FTP e monitorizou eficazmente os ficheiros novos e actualizados, extraindo-os e transportando-os para o ecossistema Kafka.

Implementámos um mecanismo robusto de observação de ficheiros para detetar quando são adicionados novos ficheiros ou modificados ficheiros existentes. Incorporámos uma lógica de análise inteligente que podia reconhecer automaticamente e processar corretamente cada tipo de ficheiro para lidar com a diversidade de formatos de ficheiros (JSON, XML, CSV). Isto foi crucial para transformar os dados estruturados e semi-estruturados destes ficheiros num formato uniforme adequado para o streaming através do Kafka.

Tecnologias

Backend

Máquina virtual Java 17, Kotlin, Spring

CI/CD

CI/CD no local

Processo

A nossa equipa de projeto seguiu um percurso de projeto bem estruturado, com resultados no final de cada fase para garantir o alinhamento com os objectivos do cliente. A nossa abordagem baseou-se na estrutura Scrum, facilitando a flexibilidade, a melhoria contínua e um forte envolvimento do cliente ao longo do projeto.

Inicialmente, os nossos analistas comerciais realizaram workshops com o cliente para compreender o seu panorama de dados, identificaram as principais fontes de dados e definiram o âmbito da integração do Kafka. Com base nessas informações, eles mapearam um plano de projeto abrangente e uma lista de requisitos para os conectores Kafka.

Após a recolha dos requisitos, os nossos programadores conceberam a arquitetura para os conectores Kafka. Por sua vez, engenheiros de controlo de qualidade efectuou verificações exaustivas, incluindo testes unitários, de integração e de desempenho, para garantir a fiabilidade e a eficiência dos conectores.

Por fim, implementámos os conectores no ambiente do cliente, proporcionando sessões de formação à equipa do cliente sobre a gestão e utilização de novas soluções de fluxo de dados.

Ao longo do projeto, a comunicação com o cliente foi uma prioridade máxima. Utilizámos o Slack para a comunicação diária e o Zoom para os check-ins semanais e revisões de sprint. O acompanhamento de tarefas e a gestão de projectos foram geridos através do Jira, permitindo uma visibilidade transparente do progresso do projeto e a responsabilização de todos os membros da equipa.

Atualmente, a nossa equipa de projeto faz pequenos ajustes conforme necessário. Além disso, o cliente planeia contactar-nos para mais projectos de transmissão de dados no futuro.

Equipa

Proprietário do produto

Arquiteto de soluções

Responsável técnico

Programadores back-end

Resultados

44% aumento da acessibilidade dos dados após a implementação do pipeline de dados com o Apache Kafka

A Innowise desenvolveu um sistema de conectores que agrega informações das fontes de dados do cliente e as transforma em fluxos de dados do Apache Kafka. Ao integrar fontes de dados díspares em um pipeline de dados Apache unificado e em tempo real, resolvemos os principais desafios de fragmentação, escalabilidade e integração de dados. O fabricante automóvel beneficia agora de um silo de dados atenuado, de uma tomada de decisões informada e de uma análise transparente que promove o crescimento do negócio.

A nossa solução de transmissão de dados baseada em Kafka foi concebida para ser dimensionada de modo a que o cliente possa crescer rapidamente e adicionar novas fontes de dados sem comprometer o desempenho.

Duração do projecto

novembro de 2022 - Em curso

36%

aumento da precisão da tomada de decisões

44%

aumento da acessibilidade dos dados

Casos relacionados

Contactar-nos!

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes

Gravar uma mensagem de voz sobre o seu
projeto para nos ajudar a compreendê-lo melhor

Anexar documentos adicionais, se necessário

Enviar ficheiro

Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

Informamos que, ao clicar no botão Enviar, o Innowise's processará os seus dados pessoais de acordo com a nossa Política de Privacidade com o objectivo de lhe fornecer informações adequadas.

O que é que acontece a seguir?

Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.

Pipelines de dados com o Apache Kafka: Aumento de 36% na precisão da tomada de decisões

Cliente

Desafio

Ineficiências operacionais e falta de conhecimento dos fluxos de trabalho da empresa

Solução

Pipeline de dados Apache para integrar fontes de dados díspares num único sistema coeso

Conector Kafka para fonte de dados codebeamer

Conector Kafka Fonte de dados FTP

Tecnologias

Processo

Equipa

Resultados

44% aumento da acessibilidade dos dados após a implementação do pipeline de dados com o Apache Kafka

Casos relacionados

Contactar-nos!

O que é que acontece a seguir?

Deixar^●s desenvolver
software em conjunto!

Fazer outro pedido

Fechar

Pipelines de dados com o Apache Kafka: Aumento de 36% na precisão da tomada de decisões

Cliente

Desafio

Ineficiências operacionais e falta de conhecimento dos fluxos de trabalho da empresa

Solução

Pipeline de dados Apache para integrar fontes de dados díspares num único sistema coeso

Conector Kafka para fonte de dados codebeamer

Conector Kafka Fonte de dados FTP

Tecnologias

Processo

Equipa

Resultados

44% aumento da acessibilidade dos dados após a implementação do pipeline de dados com o Apache Kafka

Casos relacionados

Contactar-nos!

O que é que acontece a seguir?

Deixar●s desenvolver software em conjunto!

Subscrever para o nosso boletim informativo

Fazer outro pedido

Fechar

Deixar^●s desenvolver
software em conjunto!

Subscrever
para o nosso boletim informativo