Automatización DevOps para el sistema de gestión de laboratorios: reducción de más de 70% en costes de computación

AWS

Web

El equipo de Innowise optimizó la infraestructura en la nube y automatizó los procesos de CI/CD para un líder del mercado en pruebas de ADN, aumentando la escalabilidad y la eficiencia de sus operaciones de procesamiento de datos.

Cliente

Industria

Sanidad

Región

USA

Cliente desde

2023

Nuestro cliente es un líder en el campo de la biotecnología, especializado en pruebas de ADN y análisis del microbioma. Son conocidos por proporcionar análisis rápidos y fiables utilizando técnicas moleculares avanzadas, atendiendo a un amplio espectro de aplicaciones en salud humana, agricultura y estudios medioambientales. Sus servicios abarcan desde el diseño de estudios hasta el análisis exhaustivo de datos, contribuyendo a la investigación y el desarrollo en el sector sanitario.

La información detallada sobre el cliente no puede revelarse en virtud de los términos del acuerdo de confidencialidad.

Desafío

Problemas con las actualizaciones de la infraestructura, la migración a GitHub y la optimización de CI/CD.

Nuestra colaboración con el cliente, iniciada en 2023, se centró principalmente en abordar sus complejos retos de DevOps. El cliente se enfrentaba a un conjunto de problemas multifacéticos, cada aspecto esencial para su eficiencia operativa en la investigación del microbioma:

Ampliación de infraestructuras y migración: El cliente estaba en proceso de ampliar su Entornos AWS con arquitecturas actualizadas. Esta ampliación supuso la migración de varios entornos heredados a nuevos sistemas.
Gestión de infraestructuras heredadas: Otro aspecto de su reto era la gestión del código Terraform heredado y los recursos de clúster de Kubernetes. La configuración existente era engorrosa y obsoleta, y requería una revisión sustancial para satisfacer las demandas actuales y futuras.
Agotamiento del grupo de direcciones IP: Uno de los principales problemas era el agotamiento de las direcciones IP causado por una subred ineficiente en su red. Esto dificultaba la gestión actual de la red y suponía una amenaza importante para sus futuros planes de expansión.
Migración de GitLab a GitHub: El cliente también quería pasar de GitLab a GitHub, lo que incluía la integración de GitHub Codespaces. Este cambio pretendía facilitar el desarrollo remoto y evitar la necesidad de almacenar código en máquinas locales, aumentando la seguridad y la colaboración.

Optimización de procesos CI/CD: Había una necesidad acuciante de optimizar sus procesos de integración continua y despliegue continuo (CI/CD). La mejora de estos procesos era esencial para aumentar la velocidad y la fiabilidad del despliegue.
Aplicación de la estrategia de despliegue Blue/Green: Por último, el cliente quería implantar una estrategia de despliegue Blue/Green. El objetivo de este enfoque era minimizar los riesgos de despliegue y garantizar un despliegue fluido de las nuevas funciones y actualizaciones.

El cliente esperaba que nuestro equipo abordara estos retos y mejorara su eficiencia operativa, redujera costes y acelerara su proceso de desarrollo. Como se especializaban en la investigación del microbioma con grandes necesidades de procesamiento de datos, las mejoras en sus prácticas DevOps eran esenciales para reforzar su capacidad de prestar servicios con rapidez.

Solución

Automatización DevOps para LMS

Nuestra solución para el cliente se centró en tres áreas principales: optimización de la infraestructura, automatización de DevOps y mejora de los procesos de CI/CD.

Optimización de las infraestructuras

Comenzamos nuestra colaboración revisando la infraestructura del cliente. Nuestro equipo optó por una arquitectura sin servidor con servicios de AWS. Este enfoque era fundamental para gestionar las enormes cantidades de datos procesados en el análisis del microbioma.

Entorno AWS y migración de legados: Ampliamos los entornos de AWS, incorporando nuevas arquitecturas que respaldaban el crecimiento y las necesidades diversificadas del cliente. Los sistemas heredados se trasladaron sin problemas a estos nuevos entornos sin interrumpir las operaciones en curso.
Gestión de redes y asignación de direcciones IP: El problema de la escasez de direcciones IP se resolvió aplicando un enfoque estratégico de subredes. Así se resolvió el problema inmediato de escasez de direcciones y se agilizó la futura ampliación de la red.
Refactorización de IaC con Terraform y Terraspace: Nuestro equipo reestructuró la configuración de la Infraestructura como Código (IaC), migrando de Terraform a Terraspace. Este cambio mejoró la capacidad de gestión y escalabilidad del código de la infraestructura, permitiendo la gestión multicuenta.

Automatización DevOps

Las prácticas de las operaciones de desarrollo fueron el núcleo de nuestra solución, destinada a mejorar Automatización de infraestructuras DevOps y simplificando los procesos.

Aplicación de Karpenter: La introducción de Karpenter marcó un hito importante en la optimización de recursos. Esta herramienta redujo el número de máquinas necesarias y recortó los costes de computación en 70%.
Integración de las herramientas de proyecto Argo: Utilizamos ArgoCD, Argo Rollouts y ArgoCD Image Updater para automatizar los procesos de despliegue. Esta configuración liberó a los desarrolladores de la gestión manual de canalizaciones, lo que les permitió centrarse en las tareas principales de desarrollo.
Modelo de despliegue Blue-Green-Canary: Nuestra estrategia de implantación combinó los puntos fuertes de los modelos Blue-Green-Canary. Este enfoque híbrido aceleró los ciclos de desarrollo y minimizó los riesgos de implantación, lo que supuso un avance significativo en las capacidades operativas del cliente.

Mejora del proceso CI/CD

El último pilar de nuestro Servicios de automatización DevOps se centró en perfeccionar los procesos CI/CD. Esto implicó una serie de implementaciones estratégicas destinadas a impulsar el rendimiento.

Migración a GitHub e integración con Codespaces: Facilitamos la transición del cliente de GitLab a GitHub, configurando GitHub Codespaces para una gestión del código más segura y eficiente. Este cambio mejoró la seguridad del código y agilizó los flujos de trabajo de desarrollo.
Refactorización y automatización de canalizaciones: Reestructuramos las canalizaciones CI/CD para separar el despliegue continuo de la integración. Esta segmentación mejoró la eficacia del proceso de despliegue y redujo los posibles errores.
Seguimiento y optimización de costes: La implementación de Grafana Stack y Prometheus nos permitió establecer un sistema de monitorización integral. Este sistema ayudó a realizar un seguimiento de los costes de AWS y a optimizar el uso de los recursos para lograr operaciones rentables.

Tecnologías

Parte trasera

Python; FastAPI

Parte delantera

React; Node.js; Material UI

Bases de datos

PostgreSQL

Plataformas

Web

Cloud Servicios y plataformas

AWS; Funciones Lambda; EKS; ECR

Contenedores y gestión

Docker; Kubernetes

Infraestructura como código (IaC)

Helm; Terraform; Terraspace

Integración y despliegue continuos

ArgoCD; Argo Rollouts; ArgoCD Image Updater; GitLab; GitHub; Karpenter; Kubecost

Supervisión y registro

Grafana; Grafana Loki; Promtail; Prometheus

Gestión de redes

Complemento CNI para Kubernetes

Supervisión de servidores

Prometheus

Garantía de calidad

Playwright

Sistemas operativos

Linux; amd64; arm64

Sistemas de control de versiones

GitHub; ArgoCD

Integraciones

Microsoft AD SSO

Proceso

Nuestro proceso se basó en la metodología Agile con un marco Scrum que hacía hincapié en la flexibilidad, la mejora continua y la entrega rápida. Organizamos nuestro trabajo en sprints de una semana, con reuniones diarias a las 18:00 CET para asegurar la alineación y abordar cualquier preocupación inmediata. Todos los viernes celebrábamos sesiones de planificación de sprints, en las que el equipo revisaba y planificaba colectivamente las tareas para la semana siguiente. Estas sesiones iban acompañadas de retrospectivas y presentaciones.

Gestión de tareas y comunicación

Nuestros desarrolladores tenían plena propiedad del backlog, lo que les daba autonomía para gestionar y planificar las tareas. La comunicación directa con el Product Owner (PO) era poco frecuente, ya que los principales objetivos y requisitos de las tareas los fijaba y a menudo detallaba el diseñador jefe del proyecto.

Desarrollo y documentación

Nuestro enfoque de la ejecución de las tareas consistió en desarrollar modelos de prueba de concepto (POC) para la mayoría de las tareas, seguidos de la creación de diagramas detallados revisados por el equipo. Esta práctica nos permitió validar ideas y garantizar la viabilidad antes del desarrollo a gran escala. Llevamos a cabo un mantenimiento exhaustivo de la documentación del proyecto para garantizar la correcta ejecución de nuestras tareas.

Cloud retos de seguridad y automatización DevOps

Un aspecto significativo de nuestro proyecto fue la administración y optimización de los extensos informes de datos de laboratorio del cliente, que ascendían a petabytes de datos. Este enorme tamaño de los datos se tradujo en importantes costes de AWS.

Revisión y adaptación de los sprints

Al final de cada semana realizábamos revisiones del sprint, que incluían demostraciones de las nuevas funciones y debates sobre el sprint siguiente. Estas reuniones fueron cruciales para adaptar nuestras estrategias a cualquier cambio en los requisitos.

Equipo

Ingenieros DevOps

Desarrollador de Front-End

Desarrollador Full-Stack

Resultados

70% de reducción de costes de computación

Nuestra colaboración con el cliente ha dado lugar a mejoras significativas en su infraestructura y procesos DevOps. Los principales resultados obtenidos son los siguientes:

Optimización de costes: La implantación de Karpenter redujo con éxito el número de máquinas utilizadas en el clúster de 15 a 6, lo que supuso una reducción de 70% en los costes de computación. Este importante ahorro de costes ha mejorado enormemente la rentabilidad de sus operaciones.
Aceleración del proceso de desarrollo: La introducción del modelo de lanzamiento Blue-Green-Canary aceleró enormemente el proceso de desarrollo. Esta implantación estratégica agilizó el desarrollo y añadió una capa de seguridad al proceso de liberación.
Mejoras mediante la automatización DevOps: La utilización de las herramientas de Argo Project ha mejorado notablemente el proceso de desarrollo. Ahora, el equipo de desarrollo del cliente puede actualizar el clúster Kubernetes con nuevas versiones de la aplicación simplemente enviando código y automatizando todo el proceso de creación y despliegue. Esto ha reducido en gran medida la intervención manual en tareas rutinarias, lo que permite a los ingenieros centrarse más en actividades de desarrollo estratégicas.
Simplificación de la gestión de infraestructuras: La migración del código de Terraform al marco Terraspace, junto con la refactorización de la gestión de clústeres Kubernetes, ha simplificado la gestión de la infraestructura. Estos cambios han hecho que la gestión de la infraestructura sea más sencilla y eficiente.
Mayor observabilidad: La integración de Grafana Stack y Prometheus para métricas adicionales ha mejorado significativamente la observabilidad del sistema. Esta mejora se ha traducido en una mejor supervisión de los datos, lo que facilita una toma de decisiones y una gestión del sistema más informadas.

Actualmente, nos encontramos en las fases finales de configuración de los entornos de AWS, asegurándonos de que se adaptan a los requisitos del cliente. De cara al futuro, hay planes para mejorar aún más el modelo de lanzamiento, basándose en la exitosa implementación de la estrategia Blue-Green-Canary.

Duración del proyecto

Julio 2022 - En curso

70%

reducción de los costes informáticos

aumento de la velocidad de desarrollo

50%

disminución de la intervención manual

Casos relacionados

Póngase en contacto con nosotros

Reservar una llamada o rellene el siguiente formulario y nos pondremos en contacto con usted cuando hayamos procesado su solicitud.

Nombre

Empresa

Correo electrónico

Teléfono

Mensaje Por favor, facilítenos detalles del proyecto, duración, tecnologías, especialistas informáticos necesarios y otra información relevante.

Grabe un mensaje de voz sobre su proyecto
para ayudarnos a comprenderlo mejor.

Adjunte los documentos adicionales si es necesario

Cargar archivo

Puede adjuntar hasta 1 archivo de 2 MB en total. Archivos válidos: pdf, jpg, jpeg, png

Le informamos de que cuando haga clic en el botón Enviar, Innowise procesará sus datos personales de acuerdo con nuestra Política de privacidad con el fin de proporcionarle la información adecuada.

Qué pasa después?

Una vez recibida y procesada su solicitud, nos pondremos en contacto con usted para detallar las necesidades de su proyecto y firmar un acuerdo de confidencialidad que garantice la confidencialidad de la información.

Después de examinar los requisitos, nuestros analistas y desarrolladores elaboran una propuesta de proyecto con el alcance de las obras, el tamaño del equipo, el tiempo y las estimaciones de costos.

Concertamos una reunión con usted para discutir la oferta y llegar a un acuerdo.

Firmamos un contrato y comenzamos a trabajar en su proyecto lo más rápido posible.

Automatización DevOps para el sistema de gestión de laboratorios: reducción de más de 70% en costes de computación

Cliente

Desafío

Problemas con las actualizaciones de la infraestructura, la migración a GitHub y la optimización de CI/CD.

Solución