DevOps-automatisering voor laboratoriumbeheersysteem: meer dan 70% reductie in computerkosten

AWS

Web

Het Innowise team optimaliseerde de cloudinfrastructuur en automatiseerde CI/CD-processen voor een marktleider in DNA-testen, waardoor de schaalbaarheid en efficiëntie van hun gegevensverwerkingsactiviteiten toenam.

Klant

Industrie

Gezondheidszorg

Regio

USA

Klant sinds

2023

Onze klant is een leider op het gebied van biotechnologie, gespecialiseerd in DNA-tests en microbiome analyse. Ze staan bekend om hun snelle en betrouwbare analyses met behulp van geavanceerde moleculaire technieken, voor een breed spectrum aan toepassingen in de menselijke gezondheid, landbouw en milieustudies. Hun diensten variëren van studieontwerp tot uitgebreide gegevensanalyse en dragen bij aan onderzoek en ontwikkeling in de gezondheidszorg.

Gedetailleerde informatie over de klant kan niet worden vrijgegeven onder de voorwaarden van de NDA.

Uitdaging

Problemen met infrastructuurupdates, migratie naar GitHub en CI/CD-optimalisatie

Onze samenwerking met de klant, die begon in 2023, was voornamelijk gericht op het aanpakken van hun complexe DevOps-uitdagingen. De klant had te maken met een veelzijdige probleemstelling, waarbij elk aspect essentieel was voor hun operationele efficiëntie in microbiome onderzoek:

Infrastructuuruitbreiding en migratie: De klant was bezig met het uitbreiden van hun AWS-omgevingen met verbeterde architecturen. Deze uitbreiding bracht de migratie van verschillende legacy-omgevingen naar nieuwe systemen met zich mee.
Beheer van legacy-infrastructuur: Een ander aspect van hun uitdaging was het beheer van oude Terraform-code en Kubernetes-clusterbronnen. De bestaande setup was omslachtig en verouderd en moest grondig worden herzien om aan de huidige en toekomstige eisen te voldoen.
IP-adrespool uitgeput: Een belangrijk punt van zorg was de uitputting van IP-adressen door inefficiënte subnetting in hun netwerk. Dit belemmerde hun huidige netwerkbeheer en vormde een aanzienlijke bedreiging voor hun toekomstige uitbreidingsplannen.
Migratie van GitLab naar GitHub: De klant wilde ook overstappen van GitLab naar GitHub, inclusief de integratie van GitHub Codespaces. Deze overstap was bedoeld om ontwikkeling op afstand te vergemakkelijken en de noodzaak voor het opslaan van code op lokale machines te voorkomen, waardoor de veiligheid en samenwerking werden verbeterd.

Optimalisatie van CI/CD-processen: Er was dringend behoefte aan het optimaliseren van hun continue integratie- en uitrolprocessen (CI/CD). Het verbeteren van deze processen was essentieel om de uitrolsnelheid en betrouwbaarheid te verbeteren.
Implementatie van Blue/Green implementatiestrategie: Tot slot wilde de klant een Blue/Green implementatiestrategie implementeren. Deze aanpak was gericht op het minimaliseren van implementatierisico's en een naadloze uitrol van nieuwe functies en updates.

De klant verwachtte dat ons team deze uitdagingen zou aanpakken en hun operationele efficiëntie zou verbeteren, kosten zou verlagen en hun ontwikkelingsproces zou versnellen. Aangezien ze gespecialiseerd zijn in microbiome-onderzoek met enorme behoeften op het gebied van gegevensverwerking, waren verbeteringen in hun DevOps-praktijken essentieel om hun vermogen om snel services te leveren te versterken.

Oplossing

DevOps automatisering voor LMS

Onze oplossing voor de klant richtte zich op drie kerngebieden: optimalisatie van de infrastructuur, automatisering van DevOps en verbetering van CI/CD-processen.

Infrastructuur optimalisatie

We begonnen onze samenwerking met het herzien van de infrastructuur van de klant. Ons team koos voor een serverloze architectuur met behulp van AWS-services. Deze aanpak was cruciaal voor het verwerken van de enorme hoeveelheden gegevens die worden verwerkt in microbioomanalyse.

AWS-omgeving & legacy-migratie: We breidden de AWS-omgevingen uit met nieuwe architecturen die de groei en gediversifieerde behoeften van de klant ondersteunden. De legacysystemen werden probleemloos gemigreerd naar deze nieuwe omgevingen zonder onderbreking van de lopende werkzaamheden.
Netwerkbeheer en toewijzing van IP-adressen: De uitdaging van uitgeputte IP-adressen werd aangepakt door een strategische subnetbenadering te implementeren. Dit loste het directe probleem van het adrestekort op en stroomlijnde de toekomstige netwerkuitbreiding.
IaC refactoring met Terraform en Terraspace: Ons team herstructureerde de Infrastructure as Code (IaC) setup en migreerde van het oude Terraform naar Terraspace. Deze overstap verbeterde de beheerbaarheid en schaalbaarheid van de infrastructuurcode en maakte multi-account management mogelijk.

DevOps automatisering

Ontwikkelingspraktijken vormden de kern van onze oplossing, gericht op het verbeteren van DevOps infrastructuur automatisering en het vereenvoudigen van processen.

Implementatie van Karpenter: De introductie van Karpenter betekende een belangrijke mijlpaal in resourceoptimalisatie. Deze tool verminderde het aantal benodigde machines en verlaagde de computerkosten met 70%.
Integratie van Argo Projecttools: We gebruikten ArgoCD, Argo Rollouts en ArgoCD Image Updater om de implementatieprocessen te automatiseren. Deze opzet bevrijdde de ontwikkelaars van handmatig pijplijnbeheer, zodat ze zich konden richten op hun kerntaken bij de ontwikkeling.
Blauw-Groen-Canarisch inzetmodel: Onze implementatiestrategie combineerde de sterke punten van de modellen Blue/Green en Canary. Deze hybride aanpak versnelde ontwikkelingscycli en minimaliseerde implementatierisico's en betekende een aanzienlijke vooruitgang in de operationele capaciteiten van de klant.

CI/CD procesverbetering

De laatste pijler van onze DevOps automatiseringsdiensten gericht op het verfijnen van de CI/CD-processen. Dit omvatte een reeks strategische implementaties gericht op het verbeteren van de prestaties.

Migratie naar GitHub en Codespaces-integratie: We hebben de overgang van GitLab naar GitHub voor de klant vergemakkelijkt door GitHub Codespaces in te stellen voor veiliger en efficiënter codebeheer. Deze overstap verbeterde de codebeveiliging en stroomlijnde ontwikkelingsworkflows.
Pipeline refactoring en automatisering: We hebben de CI/CD-pijplijnen geherstructureerd om de continue implementatie te scheiden van de integratie. Deze segmentatie verbeterde de efficiëntie van het deploymentproces en verminderde potentiële fouten.
Monitoring en kostenoptimalisatie: Door de implementatie van Grafana Stack en Prometheus konden we een uitgebreid monitoringsysteem opzetten. Dit systeem hielp bij het bijhouden van AWS-kosten en het optimaliseren van resourcegebruik voor kosteneffectieve activiteiten.

Technologieën

Back end

Python; FastAPI

Front end

React; Node.js; Material UI

Databases

PostgreSQL

Platformen

Web

Cloud Diensten en platforms

AWS; Lambda Functies; EKS; ECR

Containerisatie en beheer

Docker; Kubernetes

Infrastructuur als code (IaC)

Helm; Terraform; Terraspace

Continue integratie en implementatie

ArgoCD; Argo Rollouts; ArgoCD Image Updater; GitLab; GitHub; Karpenter; Kubecost

Bewaking en registratie

Grafana; Grafana Loki; Promtail; Prometheus

Netwerkbeheer

Kubernetes CNI plugin

Serverbewaking

Prometheus

Kwaliteitsborging

Playwright

Besturingssystemen

Linux; amd64; arm64

Versiebeheersystemen

GitHub; ArgoCD

Integraties

Microsoft AD SSO

Proces

Ons proces was gebaseerd op de Agile-methodologie met een Scrum-raamwerk dat de nadruk legde op flexibiliteit, voortdurende verbetering en snelle levering. We organiseerden ons werk in sprints van een week, met dagelijkse stand-up meetings om 18:00 CET om afstemming te garanderen en directe problemen aan te pakken. Elke vrijdag hielden we sprintplanningssessies, waar het team gezamenlijk de taken voor de komende week beoordeelde en plande. Deze sessies werden gekoppeld aan retrospectives en presentaties.

Taakbeheer en communicatie

Onze ontwikkelaars waren volledig eigenaar van de backlog, waardoor ze de autonomie hadden om taken te beheren en te plannen. Directe communicatie met de Product Owner (PO) kwam niet vaak voor, omdat de primaire doelen en vereisten voor taken werden bepaald en vaak gedetailleerd door de hoofdontwerper van het project.

Ontwikkeling en documentatie

Onze benadering van taakimplementatie bestond uit het ontwikkelen van Proof of Concept (POC) modellen voor de meeste taken, gevolgd door het maken van gedetailleerde diagrammen die door het team werden beoordeeld. Op deze manier konden we ideeën valideren en de haalbaarheid garanderen voordat we overgingen tot volledige ontwikkeling. We onderhielden de projectdocumentatie grondig om een soepele uitvoering van onze taken te garanderen.

Cloud uitdagingen op het gebied van beveiliging en DevOps-automatisering

Een belangrijk aspect van ons project was het beheren en optimaliseren van de uitgebreide laboratoriumdatarapporten van de klant, wat neerkwam op petabytes aan gegevens. Deze enorme gegevensomvang resulteerde in aanzienlijke AWS-kosten.

Sprintbeoordelingen en aanpassing

Aan het einde van elke week hielden we sprintbesprekingen, met demonstraties van nieuwe functies en discussies over de komende sprint. Deze vergaderingen waren cruciaal om onze strategieën aan te passen aan veranderende vereisten.

Team

DevOps Ingenieurs

Front-End Ontwikkelaar

Full-Stack Ontwikkelaar

Resultaten

70% reductie in computerkosten

Onze samenwerking met de klant heeft geleid tot aanzienlijke verbeteringen in hun DevOps-infrastructuur en -processen. De belangrijkste behaalde resultaten zijn als volgt:

Kostenoptimalisatie: De implementatie van Karpenter heeft met succes het aantal machines in het cluster teruggebracht van 15 naar 6, wat leidde tot een verlaging van de computerkosten met 70%. Deze aanzienlijke kostenbesparing heeft de kosteneffectiviteit van hun activiteiten sterk verbeterd.
Versnelling van het ontwikkelingsproces: De introductie van het Blue-Green-Canary releasemodel versnelde het ontwikkelingsproces aanzienlijk. Deze strategische implementatie versnelde de ontwikkeling en voegde een beveiligingslaag toe aan het releaseproces.
Verbeteringen door automatisering van DevOps: Het gebruik van Argo Project tools heeft de ontwikkelingspijplijn aanzienlijk verbeterd. Het ontwikkelteam van de klant kan nu het Kubernetes-cluster updaten met nieuwe applicatieversies door simpelweg code te pushen, waarbij het hele build- en deploymentproces is geautomatiseerd. Dit heeft handmatige interventie in routinetaken sterk verminderd, waardoor engineers zich meer kunnen richten op strategische ontwikkelingsactiviteiten.
Vereenvoudiging van infrastructuurbeheer: De migratie van de Terraform-code naar het Terraspace-framework, samen met de refactoring van het Kubernetes-clusterbeheer, heeft het beheer van de infrastructuur vereenvoudigd. Deze veranderingen hebben het beheer van de infrastructuur eenvoudiger en efficiënter gemaakt.
Verbeterde observeerbaarheid: De integratie van Grafana Stack en Prometheus voor aanvullende statistieken heeft de waarneembaarheid van het systeem aanzienlijk verbeterd. Deze verbetering heeft geresulteerd in betere datamonitoring, waardoor beter geïnformeerde besluitvorming en systeembeheer mogelijk zijn.

Momenteel leggen we de laatste hand aan het opzetten van de AWS-omgevingen, waarbij we ervoor zorgen dat ze zijn afgestemd op de eisen van de klant. Voor de toekomst zijn er plannen om het releasemodel verder te verbeteren, voortbouwend op de succesvolle implementatie van de Blue-Green-Canary strategie.

Duur van het project

Juli 2022 - Doorlopend

70%

verlaging van computerkosten

verhoging van de ontwikkelingssnelheid

50%

minder handmatige interventie

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken mogelijk.

DevOps-automatisering voor laboratoriumbeheersysteem: meer dan 70% reductie in computerkosten

Klant

Uitdaging

Problemen met infrastructuurupdates, migratie naar GitHub en CI/CD-optimalisatie

Oplossing