Page History
...
- Tjek "?" og se om rigtigt eller manglende
- Alle grafer efter access log skal ændre x akse fra kald til tid. tjek hvilke der kræver forhøjning af runde markør
- Hvad hedder young og old space på dansk? afsnittet omkring jstat skal justeres på denne baggrund
- prøv at se grafer for lar container kørt med interval 1200 (ikke 900) . De har ligesom 4 runder
- container grafer skal skiftes ud. interval kan ikke genberegnes. skal være enten 900 (1 linie pr sek) eller 1896 (hele loggen fordelt ud på 3 intervaller)
- vurderinger
- konklusion
.
Scope
Performancetesten består af et antal kald til læsning af allergier for en liste af 50.000 personer (cpr numre).
...
- LAR service som første led (v. 1.0.2)
- CAVE service som andet led (v. 1.0.2)
- FHIR database som tredie led (v. 3.7.0)
- Derforuden har integrationen til minlog, MinSpæring og behandler relation check være aktiveret under kørslen (Herefter benævnt som MSB)
Performance krav
Kravene fra fra kravspecifikationen lyder som følger:
...
3f: går ud fra dette er tilfældet?
Afvikling
Performance testen er afviklet på følgende måde
...
Se iøvrigt LAR test vejledning afsnit 2.3 performance test for detaljer.
Performance tal
(vedhæft filerne?)
Udover det fremsatte performance mål med en svartid på under 200 ms, er der en række andre punkter som bør analyseres for at vurdere servicens sundhed.
...
- JMeter log data belyser
- Faktisk test runder kørt
- Throughput
- Access log og sla log (applikations server information) belyser
- Antal kald per sekund
- Svartid per kald
- vmstat log (system information) belyser
- cpu status
- jstat log (JVM information) belyser
- Hukommelse (heap) forbrug
- Garbage collection
- docker stats log (container information) belyser
- Hukommelse
- io på netværk ?50
JMeter log data
JMeter hoved filen beskriver overordnet testens resultet.
...
Samt at fejlprocentet på den fulde kørsel er 0,01 %.
Vurdering
Kravet til testen er, at der skal køres med 10 samtidige brugere med hver et kald per sekund. NSP's test framework fungerer med en bestemt belastning i testen som gradvis øges.
...
Derfor konkluderes at ud fra JMeter loggens data ser testens resultat fornuftig ud i forhold til performance målet.
Access log data
For hver applikations server (docker container) er der en access log for både LAR og CAVE servicen.
...
| Applikations server | Runde | HttpCode svar | Antal kald | Kald per sekund | Tidsforbrug (ms) | |
|---|---|---|---|---|---|---|
| Med MSB | Uden MSB | |||||
| docker01.cnsp.stage.nsp.netic.dk-lar/ | 1 | 200 | 4597 | 5,1 | 623 | 154 |
| 2 | 200 | 4693 | 5,2 | 868 | 177 | |
| 3 | 200 | 5650 | 6,3 | 1123 | 206 | |
| 500 | 1 | 0 | 32257 | 32189 | ||
| docker02.cnsp.stage.nsp.netic.dk-lar/ | 1 | 200 | 4597 | 5,1 | 612 | 149 |
| 2 | 200 | 4693 | 5,2 | 900 | 193 | |
| 3 | 200 | 5650 | 6,3 | 1125 | 197 | |
| 500 | 1 | 0 | 31634 | 31579 | ||
| docker03.cnsp.stage.nsp.netic.dk-lar/ | 1 | 200 | 4598 | 5,1 | 620 | 153 |
| 2 | 200 | 4693 | 5,2 | 885 | 173 | |
| 3 | 200 | 5650 | 6,3 | 1114 | 185 | |
| 500 | 1 | 0 | 33109 | 32917 | ||
| docker04.cnsp.stage.nsp.netic.dk-lar/ | 1 | 200 | 4598 | 5,1 | 624 | 162 |
| 2 | 200 | 4692 | 5,2 | 904 | 192 | |
| 3 | 200 | 5652 | 6,3 | 1124 | 197 | |
| Total | 59766 | 896 | 181 | |||
| Total for alle 4 servere | 1 | 200 | 18390 | 20,4 | 620 | 155 |
| 2 | 200 | 18771 | 20,9 | 889 | 184 | |
| 3 | 200 | 22602 | 25,1 | 1122 | 196 | |
| 3 | 500 | 3 | 0 | 32333 | 32228 | |
Vurdering
Af tabellen fremgår det, at jo flere brugere (brugere øges per runde) jo flere kald kommer der igennem per sekund. Tallene svarer overens med de tal JMeter kom frem til som throughput.
...
Man kan undres over, hvorfor det skal tages så meget mere tid når MSB servicene medtages. Det har vist sig at kaldet til BRS er lavet uhensigtmæssigt, hvilket bliver rettet på Jira CAVE-78. Dette burde give bedre performance.
Vmstat log
For hver applikations server (docker container) findes der en log, som viser resulatet af kommandoen vmstat. Kommandoen er kørt hver 10. sekund. Udtræk omkring cpu fra denne log vises i de følgende 4 grafer.
...
De 4 dataserier i graferne er meget stabile. Man fornemmer aktivitet omkring start og slut af de 3 runder. Størst udsving er der ved opstart af testen, hvor den cpu der bliver brugt af applikationen (cpuNonKernel) striger meget og idle cpu tilsvarende falder. Men det er kun kortvarigt.
Vurdering
Graferne ser fornuftige ud. Der er intet at bemærke omkring cpu forbrug.
Jstat log
For hver applikations server (docker container) findes der 2 logge, som viser resulatet af kommandoen jstat. En for LAR og en for CAVE. Jstat siger noget om, hvordan JVM'en har det. Udtræk omkring hukommelse og garbage collection fra denne log vises i de følgende 4 grafer.
...
[hvad kan man udlede af heapC?]
Vurdering
Den forbrugte hukommelse eskalerer ikke for hverken LAR eller CAVE.
docker stats log
For hver applikations server (docker container) findes der 2 logge, som viser resulatet af kommandoen docker stats. En for LAR og en for CAVE. Kommandoen er kørt hvert sekund. Docker stats siger noget om, hvordan containeren forbruger sine ressourcer. Udtræk omkring hukommelse, cpu netværkstrafik vises i følgende 3 * 4 grafer.
...
De 2 grafer for ind- og udsendt data følges pænt, hvilket er forventligt.
Vurdering
Placeringen af rundernes markering kunne umiddelbart godt se forkert ud når man generelt ser på graferne. Der er ændret adfærd ca. 150 enheder før den angivne markering første gang, og den bliver længere og længere til venstre.
Konklusion
TBD
Fejlprocess vurdering,
...