...

Performance

Det følgende beskriver performance test og analyse for

• MinLog2 - Performancetest minlog1 lookup
• MinLog2 - Performancetest medhjælper lookup
• MinLog2 - Performancetest borger lookup
• MinLog 2 - Performancetest registration

Først i dette afsnit beskrives de forskellige typer test data output, og hvordan de anvendes i analysen. Herefter skitseres scope og afvikling af testene samt performance kravene.

Se iøvrigt krav til performance test og rapport på siden https://www.nspop.dk/display/public/web/Performancekrav

Performance analyse

For alle test gælder følgende:

Udover de fremsatte performance krav på svartid, er der en række andre punkter, som bør analyseres for at vurdere servicens sundhed.

Følgende punkter undersøges derfor:

• Svartid per kald
• Antal kald per sekund
• Cpu status
• io på netværk
• Hukommelses forbrug
• Garbage collection
• Kafka Consumer Lag

Disse undersøgelser foretages vha. de forskellige log filer, som genereres under performance testen. De følgende afsnit gennemgår de vigtigste tal fra disse filer:

• JMeter log data belyser
  • Faktisk antal test iteration kørt
  • Throughput
  • (Ex: docker01.bo.stage.nsp.netic.dk-perflogs/minlog_listlogstatements_borger_stress01.nsp-test.netic.dk_master_20200309_110341.tar.gz.log)
    
• Access log (applikations server information) belyser
  • Antal kald per sekund
  • Svartid
  • For rapporten vedr. forespørgsler gælder
    • De nedenstående grafer som er dannet fra denne log er lavet i splunk af Arosii.
    • (Denne log er ikke inkluderet da den indeholder personfølsomme data) 
      
• vmstat log (system information) belyser
  • cpu status
  • skrivning til disk
  • Logning sker hver 10. sekund
  • (Ex: docker01.bo.stage.nsp.netic.dk/docker01.bo.stage.nsp.netic.dk-vmstat-20200309101455.log)
    
• jstat log (JVM information) belyser
  • Hukommelse (heap) forbrug 
  • Garbage collection
  • Der er tidsstempel per log linie
  • (Ex: docker01.bo.stage.nsp.netic.dk/docker01.bo.stage.nsp.netic.dk-docker-jstat-gc-stage_bo_comp_minlog_backend_lookup.log)
    
• docker stats log (container information) belyser
  • Hukommelse
  • io på netværk
  • Der er ikke noget fast logningsinterval
  • (Ex: docker01.bo.stage.nsp.netic.dk/docker01.bo.stage.nsp.netic.dk-docker-jstat-gc-stage_bo_comp_minlog_backend_lookup.log)
• Kafka Consumer lag
  • Relevant ved registrering af data
  • Offsets og lag fordelt per topic og partition
  • Der er tidsstempel per log linie
  • (Ex kafka01.stage.nsp.netic.dk-kafka-consumer-group/minlog-kafka-backend.log)

Hver kørsel/iteration (øgning af belastning) har en start og slut tid. Filerne access.log og jstat.log indeholder tidstempler. Dette muliggør at de kan mappes til en given iteration. Filen vmstat har ikke tidstempel. Men da den starter samtidig med jstat loggen og logintervallet er kendt på 10 sekunder, kan iterationernes placering i data beregnes. Docker stats loggen har hverken tidsstempel eller fast logninginterval, hvorfor tallene/graferne kun kan bruges som en generel betragtning over hele test perioden.

I det nedenstående kan man klikke på de enkelte grafer for større billede. De enkelte iterationer er tegnet ind som lodrette mørke streger; 2 streger per iteration (start og slut tidspunkt).

Scope og afvikling

Scope

Testene involverer følgende komponenter

• MinLog 2 service
• NSP kafka
• Galera MariaDB cluster
• NSP standard performance test framework

Versionen af MinLog2 og test frameworket varierer for hver test og fremgår nedenfor.

MinLog 2's overordnede arkitektur ses af følgende figur (kilde: arkitektur dokumentet)

Image Modified

Lookup/forespørgsler test vedrører kun "lookup" komponenten, da der ingen opdateringer (registration ) foregår imens, og der dermed heller ingen aktivitet er på "consumer" komponenten.  Dette betyder konkret, at de tilsendte log filer, som vedrører "consumer" komponenten ikke analyseres for lookup rapporterne.

Registration består af 2 komponenter: registration komponenten, som modtager input og gemmer data ned i sin "lokale" kafka. Data herfra flyttes af mirrorMaker over på den centrale kafka i backoffice. Og den anden komponent kafka-consumer, der tager fra den centrale kafka og flytter data i databasen.

Der er ikke målinger på database serveren (MariaDB).

MinLog2 - Performancetest minlog1 lookup

MinLog2 - Performancetest medhjælper lookup

MinLog2 - Performancetest borger lookup

MinLog2 - Performancetest registration

Afvikling

Performance testen afvikles på følgende måde

• Testen køres på et test system opsat at Netic
• Testen laves i standard NSP performance frameworket, udviklet af Arosii i JMeter.
• Der køres en testplan med stadig øget belastning ved at øge antallet af tråde og noder indtil det målte throughput ikke længere vokser med tilsvarende mængde.
• Testplanerne kører 15 minutter per iteration og for læsning hentes 30 entries per side.
• System under test køres på 2 docker containere for lookup, og 4 containere for registration (docker01 og docker02 henholdsvis docker01, docker02, docker03 og docker04 i nedenstående)

Se iøvrigt MinLog 2 test performancetestvejledning for detaljer.

Krav

Servicemålene herunder er for henholdsvis MinLog 2 registreringsservices (svartider opdatering) og MinLog opslagsservices (Svartider forespørgsler).

...