Page History
...
Analysen af performance test data har ikke givet anledning til bekymring eller identificering af flaskehalse.
MinLog2 - Performancetest rapport registration
Performance testen består af en række kald til registrering af minlog2 data med forskellige cpr numre.
Testen, som er udført er, komponent "minlog2", testplan "registration" og distribution "test900".
MinLog 2 service er version 2.0.25 og NSP standard performance test framework version 2.0.22.
Der analyseres access og stats log fra registration komponenten, samt stats log fra kafka-consumer komponenten. Derudover ses der på kafka consumer lag for begge.
Det har kun været muligt at få adgang til log filerne for 2 ud af de 4 testede applikationer (docker containere), hvorfor analysen af disse filer kun baserer sig på docker01 og docker02. Typisk er der ikke den store forskel på resultatet fra de forskellige applikationer.
De rå test resultater er vedhæftet denne side (minlog2-registration-test900-run3.tar.gz).
JMeter log data
JMeter hoved filen beskriver overordnet testens resultat. Her kan kan ses, at der er kørt 8 iterationer med test, belastningen i form af tråde og nodes, deres tidsinterval , throughput og fejlprocent for hver.
Iteration | Tråde | Nodes | Starttid | Sluttid | Throughput | Fejlprocent |
|---|---|---|---|---|---|---|
| 1 | 1 | 2 | 2020-05-06_11-57-39 | 2020-05-06_12-12-43 | 5,89 kald per sekund | 2,645% |
| 2 | 2 | 2 | 2020-05-06_12-13-03 | 2020-05-06_12-28-06 | 12,28 kald per sekund | 1,465% |
| 3 | 3 | 2 | 2020-05-06_12-28-24 | 2020-05-06_12-43-29 | 20,14 kald per sekund | 0,53% |
| 4 | 4 | 2 | 2020-05-06_12-43-49 | 2020-05-06_12-58-55 | 27,33 kald per sekund | 0,215% |
| 5 | 5 | 2 | 2020-05-06_12-59-26 | 2020-05-06_13-14-31 | 34,4 kald per sekund | 0,145% |
| 6 | 6 | 2 | 2020-05-06_13-14-47 | 2020-05-06_13-29-51 | 37,73 kald per sekund | 0,135% |
| 7 | 6 | 3 | 2020-05-06_13-30-12 | 2020-05-06_13-45-16 | 51,48 kald per sekund | 0,157% |
| 8 | 6 | 4 | 2020-05-06_13-45-43 | 2020-05-06_14-00-55 | 52,96 kald per sekund | 0,49% |
Det fremgår også af filen, at den endelige måling af throughput er 52,96 kald per sekund.
Samt at fejlprocentet på den fulde kørsel er 0,49 %.
Access log data
Denne log findes for hver applikations server (docker container) hvor registration komponenten har kørt.
Her findes data for hvert enkelt kald, der er lavet til minlog servicen, herunder hvor lang tid et kald har taget (Duration) samt hvornår kaldet er udført. Ud fra loggens data kan man også beregne hvor mange kald, der udføres i en given periode.
Følgende tabel viser en række beregnede data fra access loggen fordelt på applikations server (container) og test iteration. Nederst i tabellen er tallene for hver applikations server lagt sammen. Test iteration er beregnet ved at sammenligne tidstempel fra access log med start og sluttidspunktet for iterationen.
De beregnede data er antal kald, kald per sekund i gennemsnit (hver iteration er 900 sekunder) samt tidsforbrug per kald i millisekunder. Derudover er antal kald der tager 6,5 sekund eller mere samt 15,5 sekund eller mere talt sammen for at kunne vurdere performance kravene.
| Application server | Iteration | Antal kald | Kald per sekund | Tidsforbrug (ms) | Kald >= 6,5 sekund | Kald >=15,5 sekund |
|---|---|---|---|---|---|---|
| docker01.cnsp.stage.nsp.netic.dk | 1 | 1325 | 1,5 | 198 | 0 = 0 % | 0 = 0 % |
| 2 | 2765 | 3,1 | 211 | 0 = 0 % | 0 = 0 % | |
| 3 | 4540 | 5,5 | 178 | 0 = 0 % | 0 = 0 % | |
| 4 | 6159 | 6,8 | 157 | 0 = 0 % | 0 = 0 % | |
| 5 | 7748 | 8,6 | 150 | 0 = 0 % | 0 = 0 % | |
| 6 | 8494 | 9,4 | 167 | 0 = 0 % | 0 = 0 % | |
| 7 | 11582 | 12,9 | 240 | 15 = 0,13 % | 15 = 0,13 % | |
| 8 | 12132 | 13,5 | 369 | 52 = 0,43 % | 51 = 0,42 % | |
| docker02.cnsp.stage.nsp.netic.dk | 1 | 1325 | 1,5 | 236 | 0 = 0 % | 0 = 0 % |
| 2 | 2765 | 3,1 | 211 | 0 = 0 % | 0 = 0 % | |
| 3 | 4540 | 5,0 | 168 | 0 = 0 % | 0 = 0 % | |
| 4 | 6159 | 6,8 | 154 | 0 = 0 % | 0 = 0 % | |
| 5 | 7748 | 8,6 | 148 | 0 = 0 % | 0 = 0 % | |
| 6 | 8494 | 9,4 | 153 | 0 = 0 % | 0 = 0 % | |
| 7 | 11582 | 12,9 | 214 | 11 = 0,09 % | 11 = 0,09 % | |
| 8 | 12105 | 13,5 | 414 | 62 = 0,51 % | 61 = 0,50 % | |
| Total | 109463 | 228 | 140 = 0,13 % | 138 = 0,13 % |
Udtræk af svartid og antal kald fordelt over testens løbetid vises i følgende 4 grafer:
Data serier i grafen er:
- DurationAverage (rød): den gennemsnitlige svartid (ms) for hvert minut
- NoOfCalls (blå): det gennemsnitlige antal kald hvert minut
- De 8 iterationer (sort) er baseret på det tidstempel, som findes i access loggen
Vurdering
Af tabel og grafer fremgår det, at jo flere nodes og tråde (disse øges per iteration) jo flere kald kommer der igennem per sekund.
Det ses, at svartiden ikke ændres i starten, fordi antallet af nodes/tråde øges. Først i iteration 7 bliver svartiden forøget.
Performance kravene er
- under 6,50 sekund for 95 % af tilfældende
- under 15,5 sekund for 98 % af tilfældende
Og disse overholdes fint qua ovenstående tabeloversigt. I iteration 8 på docker02, hvor tallene er højest, er 99,5 % under 6,5 og 15,5 sekunder.