Page History

...

1. Svartiderne er målt via access loggen. Dermed er netværkstiden ikke med i resultatet.
2. Dette vil bleve vurderet med udgangspunkt i test resultaterne
3. Forudsætnigner
   1. NSP standard test framework vil blive brugt. Belasningen vil derfor lægge højere end 10 samtidige brugere med et kald hver pr sekund.  Der startes med 2 noder med 7 tråde. Dvs. 14 brugere.
   2. inden testen startes er en database med 50.000 allergier fordelt på 50.000 patiener klargjort
   3. de eksterne servicekald var aktiveret under kørslen. Da svartiderne for disse kan findes i log filerne kan der laves en beregning, der viser svartiderne uden de eksterne servicekald.
   4. der var ikke andet end performance testen, som kaldte noget på test systemet under testen
   5. der er ialt anvendt 4 søjler, hvor LAR og CAVE har kørt på alle 4.
   6. testen blev afviklet på hardware identisk til NSP produktionsmiljøerne

...

Performance testen er afviklet på følgende måde

• der Der er anvendt et test certifikat. Og der trækkes et idkort i setup fasen af testen, dvs hver gang en node startes. Den del er holdt ude af performance målingen
• testen Testen er kørt på et test system opsat at Netic: cstag-lb.cnsp.netic.dk:8080  
• testen Testen er lavet i standard NSP performance frameworket (v.2.0.0), udviklet af Arosii i JMeter.
• Der er kørt en testplan med stadig øget belastning ved at øge antallet af tråde og noder indtil det målte throughput ikke længere vokser med tilsvarende mængde.
• Testplanen, der er kørt, er test900, og den  kører 15 minutter per iteration.
• System under test (LAR og CAVE servicen) er kørt på på 4 docker containere
• Kald til de 3 eksterne service MSB har været aktiveret under testen

...

Testen har kørt i første iteration med 14 samtidige brugere2 noder/7 tråde, anden iteration har 20 samtidige brugere og sidste iteration 30 samtidige brugere2 nodes/10 tråde og sidste iteration 3 nodes/10 tråde. Hvilket ligger over kravet til testen. Da testen også har kørt med MSB servicene aktiveret, hvilket ikke er et krav, har det lagt yderligere pres på testen. 

...

Af tabel og grafer fremgår det, at jo flere brugere nodes og tråde (brugere disse øges per iteration) jo flere kald kommer der igennem per sekund. Tallene svarer overens med de tal JMeter kom frem til som throughput.

Det ses (tydligst i tabellen), at jo flere brugere nodes/tråde jo højere bliver svar tiden.  Performance kravet er 200 ms ved 10 brugere uden MSB services slået til. Ovenstående tabel viser, at ved 14 brugere ( iteration 1 ) er svartiden 155 ms. Vi er inden for performance kravet.

...

• Svartid per kald til servicen: 155 ms for 14 brugere2 nodes og 7 tråde
  Kravet er, at et kald skal tage mindre end 200 ms
  Dette opfyldes, endda under øget belastning med flere brugerenodes og tråde.
  
  
• Antal kald per sekund til servicen: 20,4 med 14 brugere2 nodes og 7 tråde
  
  
• Cpu status: for både LAR og CAVE  er cpu forbruget konstant over test perioden. Det svinger inden for et interval og rammer aldrig i nærheden af loftet.
  
  
• io på netværk: for både LAR og CAVE er der er en jævn strøm af læs og skriv via netværket
  
  
• Hukommelses forbrug: både LAR og CAVE håndterer brug af hukommelse fint
  
  
• Garbage collection: både LAR og CAVE servicen kører jævnligt garbage collection og dermed stiger hukommelses forbruget ikke over tid. Dette er et tegn på, at vi ikke har memory leaks.

...