DevOps-automatisering for laboratorieadministrasjonssystem: over 70% reduksjon i beregningskostnader

Innowise-teamet optimaliserte skyinfrastrukturen og automatiserte CI/CD-prosesser for en markedsleder innen DNA-testing, noe som økte skalerbarheten og effektiviteten i databehandlingen.

Kunde

Industri

Helsevesen

Region

USA

Kunde siden

2023

Vår kunde er ledende innen bioteknologi og spesialiserer seg på DNA-testing og mikrobiomanalyse. De er kjent for å levere raske og pålitelige analyser ved hjelp av avanserte molekylærteknikker, og de dekker et bredt spekter av bruksområder innen helse, landbruk og miljøstudier. Tjenestene spenner fra studiedesign til omfattende dataanalyse, og bidrar til forskning og utvikling i helsevesenet.

Detaljert informasjon om kunden kan ikke utleveres i henhold til vilkårene i taushetserklæringen.

Utfordring

Problemer med infrastrukturoppdateringer, migrering til GitHub og CI/CD-optimalisering.

Samarbeidet vårt med kunden, som startet i 2023, dreide seg først og fremst om å løse komplekse DevOps-utfordringer. Kunden sto overfor et mangesidig problemkompleks, der hvert aspekt var avgjørende for effektiviteten i mikrobiomforskningen:

Utbygging av infrastruktur og migrasjon: Kunden var i ferd med å utvide virksomheten. AWS-miljøer med oppgraderte arkitekturer. Denne utvidelsen innebar migrering av flere eldre miljøer til nye systemer.
Forvaltning av eldre infrastruktur: Et annet aspekt av utfordringen var håndteringen av eldre Terraform-kode og Kubernetes-klyngeressurser. Det eksisterende oppsettet var tungvint og utdatert, og krevde en omfattende revisjon for å møte dagens og fremtidens krav.
Tømming av IP-adressepoolen: Et stort problem var at det var for få IP-adresser på grunn av ineffektiv subnetting i nettverket. Dette vanskeliggjorde den nåværende nettverksadministrasjonen og utgjorde en betydelig trussel mot fremtidige ekspansjonsplaner.
Migrering fra GitLab til GitHub: Kunden ønsket også å gå over fra GitLab til GitHub, noe som inkluderte integrering av GitHub Codespaces. Målet var å legge til rette for ekstern utvikling og unngå behovet for å lagre kode på lokale maskiner, noe som øker sikkerheten og samarbeidet.

Optimalisering av CI/CD-prosesser: Det var et presserende behov for å optimalisere prosessene for kontinuerlig integrasjon og kontinuerlig distribusjon (CI/CD). Det var viktig å forbedre disse prosessene for å øke distribusjonshastigheten og -påliteligheten.
Implementering av blå/grønn implementeringsstrategi: Til slutt ønsket kunden å implementere en blå/grønn implementeringsstrategi. Målet var å minimere risikoen ved distribusjon og sikre sømløs utrulling av nye funksjoner og oppdateringer.

Kunden forventet at teamet vårt skulle løse disse utfordringene og forbedre driftseffektiviteten, redusere kostnadene og akselerere utviklingsprosessen. Ettersom de spesialiserte seg på mikrobiomforskning med store databehandlingsbehov, var det viktig å forbedre DevOps-praksisen for å styrke evnen til å levere tjenester raskt.

Løsning

DevOps-automatisering for LMS

Løsningen vår for kunden fokuserte på tre kjerneområder: optimalisering av infrastruktur, DevOps-automatisering og forbedring av CI/CD-prosesser.

Optimalisering av infrastruktur

Vi startet samarbeidet med å revidere kundens infrastruktur. Teamet vårt valgte en serverløs arkitektur ved hjelp av AWS-tjenester. Denne tilnærmingen var avgjørende for å kunne håndtere de enorme datamengdene som behandles i mikrobiomanalysen.

AWS-miljø og eldre migrering: Vi utvidet AWS-miljøene med nye arkitekturer som støttet kundens vekst og diversifiserte behov. De gamle systemene ble migrert til disse nye miljøene uten avbrudd i den løpende driften.
Nettverksadministrasjon og tildeling av IP-adresser: Utfordringen med få IP-adresser ble løst ved å implementere en strategisk subnetting-tilnærming. Dette løste det umiddelbare problemet med adressemangel og effektiviserte fremtidig nettverksutvidelse.
IaC-refactoring med Terraform og Terraspace: Teamet vårt omstrukturerte Infrastructure as Code (IaC)-oppsettet og migrerte fra Terraform til Terraspace. Dette gjorde det enklere å administrere og skalere infrastrukturkoden, og gjorde det mulig å administrere flere kontoer.

DevOps-automatisering

Utviklingsoperasjoner var kjernen i løsningen vår, som hadde som mål å forbedre Automatisering av DevOps-infrastruktur og forenkle prosesser.

Implementering av Karpenter: Introduksjonen av Karpenter markerte en viktig milepæl innen ressursoptimalisering. Dette verktøyet reduserte antall nødvendige maskiner og reduserte beregningskostnadene med 70%.
Integrering av Argo Project Tools: Vi brukte ArgoCD, Argo Rollouts og ArgoCD Image Updater til å automatisere distribusjonsprosessene. Med dette oppsettet slapp utviklerne å håndtere pipelinen manuelt, slik at de kunne fokusere på kjerneoppgaver innen utvikling.
Blå-grønn-kanarisk distribusjonsmodell: Implementeringsstrategien vår kombinerte styrkene til Blue/Green- og Canary-modellene. Denne hybride tilnærmingen førte til raskere utviklingssykluser og minimerte distribusjonsrisikoen, noe som innebar en betydelig forbedring av kundens driftskapasitet.

Forbedring av CI/CD-prosesser

Den siste pilaren i vår DevOps-automatiseringstjenester fokuserte på å forbedre CI/CD-prosessene. Dette innebar en rekke strategiske implementeringer med sikte på å øke ytelsen.

Migrering til GitHub og Codespaces-integrering: Vi la til rette for kundens overgang fra GitLab til GitHub og opprettet GitHub Codespaces for sikrere og mer effektiv kodehåndtering. Overgangen bidro til økt kodesikkerhet og strømlinjeformet arbeidsflyt i utviklingsarbeidet.
Refaktorering og automatisering av pipelines: Vi omstrukturerte CI/CD-pipelines for å skille kontinuerlig distribusjon fra integrasjon. Denne segmenteringen gjorde distribusjonsprosessen mer effektiv og reduserte risikoen for feil.
Overvåking og kostnadsoptimalisering: Ved å implementere Grafana Stack og Prometheus kunne vi etablere et omfattende overvåkingssystem. Dette systemet bidro til å spore AWS-kostnader og optimalisere ressursbruken for kostnadseffektiv drift.

Teknologier

Back end

Python; FastAPI

Front end

React; Node.js; Material brukergrensesnitt

Databaser

PostgreSQL

Plattformer

Web

Cloud Tjenester og plattformer

AWS; Lambda-funksjoner; EKS; ECR

Containerisering og administrasjon

Docker; Kubernetes

Infrastruktur som kode (IaC)

Helm; Terraform; Terraspace

Kontinuerlig integrering og distribusjon

ArgoCD; ArgoCD Image Updater; GitLab; GitHub; Karpenter; Kubecost; ArgoCD Rollouts; ArgoCD Image Updater; GitLab; GitHub

Overvåking og logging

Grafana; Grafana Loki; Promtail; Prometheus

Nettverksadministrasjon

Kubernetes CNI-plugin

Serverovervåking

Prometheus

Kvalitetssikring

Playwright

Operativsystemer

Linux; amd64; arm64

Versjonskontrollsystemer

GitHub; ArgoCD

Integrasjoner

Microsoft AD SSO

Prosess

Prosessen vår var basert på Agile-metodikken med et Scrum-rammeverk som la vekt på fleksibilitet, kontinuerlig forbedring og rask levering. Vi organiserte arbeidet i sprinter som varte i én uke, med daglige standup-møter kl. 18.00 CET for å sikre samkjøring og løse eventuelle umiddelbare problemer. Vi holdt sprintplanleggingsmøter hver fredag, der teamet sammen gjennomgikk og planla oppgavene for den kommende uken. Disse øktene ble kombinert med retrospektiver og presentasjoner.

Oppgavestyring og kommunikasjon

Utviklerne våre hadde fullt eierskap til etterslepet, noe som ga dem frihet til å styre og planlegge oppgavene. Direkte kommunikasjon med produkteieren (PO) var sjelden, ettersom de primære målene og kravene til oppgavene ble satt og ofte beskrevet av prosjektets hoveddesigner.

Utvikling og dokumentasjon

Vår tilnærming til oppgaveimplementering innebar at vi utviklet Proof of Concept-modeller (POC) for de fleste oppgavene, etterfulgt av detaljerte diagrammer som ble gjennomgått av teamet. På denne måten kunne vi validere ideer og sikre gjennomførbarhet før fullskala utvikling. Vi sørget for grundig vedlikehold av prosjektdokumentasjonen for å sikre en smidig gjennomføring av oppgavene.

Cloud sikkerhets- og DevOps-automatiseringsutfordringer

En viktig del av prosjektet vårt var å administrere og optimalisere kundens omfattende laboratoriedatarapporter, som utgjorde petabyte med data. Denne enorme datamengden resulterte i betydelige AWS-kostnader.

Sprintgjennomgang og tilpasning

Vi gjennomførte sprintgjennomganger på slutten av hver uke, der vi demonstrerte nye funksjoner og diskuterte den kommende sprinten. Disse møtene var avgjørende for at vi kunne tilpasse strategiene våre til eventuelle endrede krav.

Team

DevOps-ingeniører

Front-end-utvikler

Full-stack-utvikler

Resultater

70% reduksjon i beregningskostnader

Vårt samarbeid med kunden har ført til betydelige forbedringer i DevOps-infrastrukturen og -prosessene. De viktigste resultatene er som følger:

Kostnadsoptimalisering: Implementeringen av Karpenter reduserte antallet maskiner i klyngen fra 15 til 6, noe som førte til en reduksjon i beregningskostnadene på 70%. Denne betydelige kostnadsbesparelsen har i stor grad forbedret kostnadseffektiviteten i driften.
Akselerasjon av utviklingsprosessen: Innføringen av lanseringsmodellen Blue-Green-Canary satte fart på utviklingsprosessen. Denne strategiske implementeringen satte fart på utviklingen og ga et ekstra sikkerhetslag i lanseringsprosessen.
Forbedringer gjennom DevOps-automatisering: Bruken av Argo Project-verktøyene har forbedret utviklingsprosessen betraktelig. Kundens utviklingsteam kan nå oppdatere Kubernetes-klyngen med nye versjoner av applikasjonen ved ganske enkelt å pushe kode, og hele bygge- og distribusjonsprosessen er automatisert. Dette har i stor grad redusert behovet for manuell inngripen i rutineoppgaver, slik at ingeniørene kan fokusere mer på strategiske utviklingsaktiviteter.
Forenkling av infrastrukturforvaltningen: Migreringen av Terraform-koden til Terraspace-rammeverket og omleggingen av Kubernetes-klyngeadministrasjonen har gjort det enklere å administrere infrastrukturen. Disse endringene har gjort det enklere og mer effektivt å administrere infrastrukturen.
Forbedret observerbarhet: Integrasjonen av Grafana Stack og Prometheus for ytterligere beregninger har forbedret systemets observerbarhet betydelig. Denne forbedringen har resultert i bedre dataovervåking, noe som gjør det enklere å ta mer informerte beslutninger og administrere systemet.

For øyeblikket er vi i sluttfasen med å sette opp AWS-miljøene og sikre at de er skreddersydd for å oppfylle kundens krav. Fremover har vi planer om å forbedre releasemodellen ytterligere, med utgangspunkt i den vellykkede implementeringen av Blue-Green-Canary-strategien.

Prosjektets varighet

Juli 2022 - Løpende

70%

reduksjon i beregningskostnader

økt utviklingshastighet

50%

færre manuelle inngrep

Relaterte saker

Ta kontakt med oss!

Bestill en samtale eller fyll ut skjemaet nedenfor, så kontakter vi deg så snart vi har behandlet forespørselen din.

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.