Indledning

Alle komponenter der skal køre på NSP skal igennem en performancetest der som minimum skal belyse hvor mange forespørgelser per sekund komponenten kan håndtere og hvad den forventede svartid er ved forskellige belastninger. Yderligere performance tests kan være stillet som krav i det udbud eller den kravspecifikation som et projekt arbejder med.

Formålet med performancetesten er at give NSP Driften en mulighed for at overvåge belastningen af komponenten og reagere inden dens maksimum er nået. Ligeledes kan svartiden overvåges for at sikre at slutbrugerne får den forventede oplevelse.

Udvikling, kvalitetssikring, afvikling og alle andre aspekter af en performancetest afklares ifm OAT processen. Det er i denne process at eventuelle afvigelser skal aftales og den samlede plan for performancetesten skal lægges. I denne process indgår alle deltagene parter. Arbejdet med en performancetest påbegyndes på det første OAT møde.

Definitioner

...

Alle performancetests udføres på NSP's Staging miljø. Miljøet består af 2 applikationsnoder, en loadbalancher samt et database cluster og et Kafka cluster. Miljøet er hardwaremæssigt identisk med produktion. Hvis komponenten har særlige miljø-mæssige krav skal disse afklares i OAT processen. Staging miljøet kan indeholde kopier af produktionsdata og der gives derfor ikke direkte adgang til miljøet. Dette betyder at selve afviklingen af en performancetest udføres af driften.

Roller

I forbindelse med en performancetest findes der en et antal aktører der har forskellige roller undervejs. I det følgende gennemgåes hver rolle og dens aktioner

...

• Det maksimale Throughput målt under testen og hvorledes dette forholder sig til det forventede brug.
• Gennemsnitlig svartid (100% og 95% fraktil) for de forskellige iterationer samt hvilket Throughput der skabte denne svartid.
• Bevist for at svartidskravene i kravspecifikationen er overholdt.
• Grafer over Throughput, Gennemsnitlig svartid, CPU belastning, Heap forbrug, IO wait time.
• En analyse af hvad der er den begrænsende faktor for Throughput og svartid.
• Foreslag til hvorledes Throughput kan øges og svartid kan mindskes baseret på de observationer der er foretaget.

Logs og målinger

Under en performancetest opsamles de logfiler som komponenten producere samt følgende målinger:

• vmstat - Opsamler målinger af virtuel memory-forbrug på process niveau.
• dockerstat - Opsamler målinger af resource-forbrug for en Docker process.
• jstat - Opsamlinger målinger af f.eks. Garbage Collection i en Java process.
• iostat - Opsamlinger målinger af io-forbrug (f.eks. disk) på et system.

Alle disse logfiler og målinger samles med de logfiler som NSP Performance Framework producerer og udleveres til komponentleverandøren, så denne kan producere grafer mv. til performancetestrapporten.