Otimização do processamento de dados para diagnósticos de medicina de precisão

A Innowise melhorou uma plataforma avançada de gestão de dados para diagnósticos de medicina de precisão, simplificando a análise de diversos conjuntos de dados de cuidados de saúde para acelerar a correspondência entre doentes e tratamentos e fornecer informações essenciais para o desenvolvimento de medicamentos.

Desafio

A empresa de medicina de precisão enfrentou ineficiências significativas nos seus pipelines de processamento de dados e na configuração do ambiente, dificultando a sua capacidade de agregar, processar e analisar eficazmente dados críticos de testes de diagnóstico de várias fontes. Essas ineficiências levaram a atrasos na disponibilidade de dados para engenheiros de dados e os utilizadores finais, potenciais problemas de qualidade dos dados e uma utilização subóptima dos recursos da infraestrutura AWS.

O cliente também enfrentou desafios para adicionar novos utilizadores e gerir as permissões dos utilizadores existentes no ambiente AWS. A equipa da Innowise, composta por engenheiros DevOps e cientistas de dados, foi encarregado destas tarefas.

Solução

Os nossos especialistas conduziram uma revisão completa do software do cliente para implementar uma solução multifacetada.

Otimização dos pipelines de CI/CD

O nosso Engenheiros DevOps redesenhámos os fluxos de trabalho da infraestrutura para melhorar a sua eficiência e escalabilidade. Efectuámos a caraterização das condutas de dados existentes para identificar lacunas e, em seguida, optimizámos as estruturas e formatos de dados para reduzir a redundância e melhorar a eficiência do processamento. Para acelerar ainda mais a transformação e análise de dados, os especialistas implementaram técnicas de processamento paralelo. Também melhorámos e refacturámos o código para aumentar a sua capacidade de manutenção. Estes esforços resultaram num sistema de pipeline de dados simplificado e de elevado desempenho.

Otimização e implementação do ambiente

Optimizamos a utilização de Infraestrutura de nuvem AWS dimensionando corretamente as instâncias e implementando o dimensionamento automático. Também aplicámos princípios de Infraestrutura como Código utilizando o Terraform para automatizar o aprovisionamento e a gestão dos recursos da nuvem. O Docker ajudou a contentorizar o ambiente de processamento de dados para obter consistência entre o desenvolvimento, os testes e a produção. Foi criado um pipeline de CI/CD para automatizar a integração, os testes e as implementações de código. Também configurámos testes de ambiente automatizados para detetar problemas de configuração numa fase inicial.

Otimização da gestão de utilizadores e permissões

Implementámos as melhores práticas do AWS IAM para melhorar a gestão de utilizadores e permissões. Isto incluiu a criação de políticas baseadas no princípio do menor privilégio e a configuração da autenticação multi-fator (MFA) para todos os utilizadores do IAM. Optimizámos os tipos de instâncias EC2 com base na análise do volume de trabalho e configurámos alarmes CloudWatch para uma monitorização proactiva. Além disso, para reduzir os riscos de segurança, desenvolvemos scripts automatizados para a gestão de utilizadores e permissões.

Tecnologias

Back-end

Python

Cloud

AWS

Infraestrutura como código

Terraform

Contentorização

Docker, Amazon EKS

Base de dados

AWS RDS

Segurança e gestão do acesso

AWS IAM, AWS Secrets Manager

Monitorização e registo

AWS Cloudwatch, Grafana, Prometheus

CI/CD

GitHub Actions

Serviço de computação

AWS EC2

Processo

Para melhorar a plataforma de gestão de dados de medicina de precisão, seguimos uma abordagem estruturada, garantindo que cada aspeto da solução estava alinhado com as necessidades do cliente.

Compreender os requisitos

Examinámos os pipelines de processamento de dados e a infraestrutura AWS do cliente, identificando ineficiências e áreas a melhorar.

Reformulação da arquitetura

Reestruturámos o sistema para melhorar o tratamento de dados, a escalabilidade e a segurança no AWS.

Desenvolvimento ágil

Utilizando o Python e ferramentas relacionadas, melhorámos os processos de back-end, as estruturas de dados e implementámos técnicas de processamento paralelo.

Automatização de infra-estruturas

Criámos scripts Terraform para simplificar a gestão de recursos AWS.

Contentorização e CI/CD

Colocámos o ambiente de processamento de dados em contentores com o Docker e configurámos pipelines automatizados de integração, teste e implementação.

Ensaios

Avaliámos a velocidade de processamento de dados, a precisão, a fiabilidade do sistema e as medidas de segurança do IAM.

Equipa necessária

Gestor de projectos

Engenheiros DevOps

Cientistas de dados

Engenheiro de QA

Resultados

A implementação da nossa solução conduziu a melhorias significativas nas capacidades de gestão de dados do nosso cliente.

Velocidade de processamento de dadosOs pipelines optimizados reduziram os tempos de carregamento de dados, permitindo um acesso mais rápido aos dados processados.
Eficiência dos recursosO ambiente AWS reconfigurado levou a uma redução dos custos de computação em nuvem.
Intercâmbio de dadosO processo de intercâmbio de dados sem descontinuidades permite agora que as empresas farmacêuticas acedam mais rapidamente aos dados relevantes dos doentes.

Casos relacionados

Contactar-nos

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem

Envie-nos uma mensagem de voz

Anexar documentos

Enviar ficheiro

Pode anexar um ficheiro com um máximo de 2MB. Formatos de ficheiro válidos: pdf, jpg, jpeg, png.

Ao clicar em Enviar, o utilizador autoriza a Innowise a processar os seus dados pessoais de acordo com a nossa Política de privacidade para lhe fornecer informações relevantes. Ao enviar o seu número de telefone, o utilizador aceita que o possamos contactar através de chamadas de voz, SMS e aplicações de mensagens. Poderão ser aplicadas tarifas de chamadas, mensagens e dados.

Pode também enviar-nos o seu pedido
para contact@innowise.com

O que é que acontece a seguir?

Assim que recebermos e processarmos o seu pedido, entraremos em contacto consigo para necessidades do seu projeto e assinar um NDA para garantir a confidencialidade.

Depois de analisarmos os seus desejos, necessidades e expectativas, a nossa equipa elaborará uma proposta de projeto proposta de projeto com o âmbito do trabalho, dimensão da equipa, tempo e estimativas de custos.

Marcaremos uma reunião consigo para discutir a oferta e acertar os pormenores.

Por fim, assinaremos um contrato e começaremos a trabalhar no seu projeto imediatamente.