Page History
| Info | ||
|---|---|---|
| ||
- Der mangler noget overordnet om test setup’et, herunder infrastruktur, og testdata - testdata skal hænge sammen på tværs af komponenter. Infrastruktur er en kopi af produktion - Det er ikke kun svartider der er afgørende. Det skal sikres at servicen ikke fejler ved kald. - Tilføj assertion. - En testplan indeholder mere end opskriften på hvordan testen skal udføres. - Med testplan menes den JMeter fil, ikke den store samlede testplan for projektet. + Nævn OAT processen og hvad der sker hvornår. Miljø afklares også på OAT + Beskriv den vmstat mv. der laves. |
...
| Info | ||
|---|---|---|
| ||
Testdata er de data der genereres under en performancetest og/eller anvendes som input til en performancetest |
...
- Der skal foretages kald af alle komponentens forskellige funktioner der matcher det forventede virkelige brugs-scenarie.
- Antallet af kald til hver funktion skal ske ud fra en redegørelse over det forventede brug
- Input til funktionerne skal være ligeligt fordelt over et stort nok udfaldsrum til at sikre at svartiderne ikke bliver kunstigt lave grundet en "varm" cache mv.
- Baggrundsdata skal være realistiske i både mængde og diversitet.
- Testdata skal hænge sammen på tværs af alle komponenter.
- Testen skal undersøge at komponenten svarer som forventet og uden fejl.
- Hver iteration af testen skal vare længe nok til at kunne give realistiske gennemsnitlige svartider
- Belastningen skal øges for hver iteration af testen.
...
Udvikling af en performancetest sker ved at der laves udvidelser af de klasser som frameworket indeholder. Udvidelserne laves således at de kan kalde de enkelte funktioner der findes i komponenten. Ligeledes laves der JMeter Assertions der verificerer at komponenten svarer som forventet.
Testplan vs Distribution
...
En JMeter testplan har et fast antal tråde der kalder komponenten og en veldefineret løbetid som en iteration tager. For at kunne øge belastningen langsomt samt kører testen fra flere samtidige noder indeholder NSP Performance Framework et programmel der synkronisere afvikling på flere noder og øger antallet af tråde mellem hver iteration. Programmet sørger også for at angive hvilken host komponenten kan kaldes på og står for opsamling af logs.
Staging miljø
Alle performanceperformancetests udføres på NSP's Staging miljø. Miljøet består af 2 applikationsnoder, en loadbalancher samt et database cluster og et Kafka cluster. Miljøet er hardwaremæssigt identisk med produktion.
Roller
I forbindelse med en performancetest findes der en et antal aktører der har forskellige roller undervejs. I det følgende gennemgåes hver rolle og dens aktioner
...