Begrebsliste
| Betegnelse | Beskrivelse |
|---|---|
| Regressionstest | En test som tester at eksisterende funktionalitet ikke er blevet påvirket af nye releases. |
| Feature | Feature er det element, som testes af et antal testcases. I NSP projektet er de enkelte komponenter valgt som features for at gruppere testcases på samme måde som øvrig dokumentation på MSPOP er grupperet. |
| Testcase | En testcase er en sekvens af trin med specifikke data og forudsætninger for at teste den korrekte adfærd/funktionalitet i komponenter på NSP platformen. |
| Testscenarie | Er ækvivalent med en testcase, såfremt de pågældende trin kun skal testes med et sæt af data. Et Jira testissue kan være et testscenarie eller et testscenarie outline. |
| Testscenarie outline | I de tilfælde hvor samme trin skal gennemføres med forskellige datasæt, har vi et testscenarie outline. Et testscenarie outline indeholder potentielt mange testcases. Et Jira testissue kan være et testscenarie eller et testscenarie outline. |
| Fixture | Den enkelte linie i en Gherkin testcase, som refererer til en bestemt kodestump ofte med variable som input. |
Dokumentation af testcases
Alle testcases til den automatiserede regressionstest er dokumenteret i Jira projektet NSP Regressionstest - SDS JIRA (nspop.dk) ved anvendelse af Jira testmanagement plugin'et XRay.
Testcasene er struktureret i et Testrepository i forhold til den komponent som er omdrejningspunktet for testcasen.
De har alle testtypen Cucumber og er beskrevet i Gherkin syntaks, se Gherkin Reference - Cucumber Documentation.
Testcases bygger på fixtures som er kodet i Javascript og koden ligger i git.nspop.dk/nsp-regressionstest/cucumber.
Det er muligt at skrive yderligere testcases i Jira, såfremt man anvender fixtures som allerede eksisterer (se Automated test library).
Status på testissues
Testissues har 2 status'er.
- Den normale Issuestatus som angiver hvilket stadie selve testissuet er i. Den kan antage værdierne:
| Status | Beskrivelse |
|---|---|
| Defineret | Testcasen er oprettet og i gang med at blive beskrevet. Testcases i denne tilstand kan endnu ikke afvikles og er sandsynligvis endnu ikke korrekt designet |
| Beskrevet | Testcasen er skrevet færdig i Jira og kan implementeres i koden. Denne status anvendes indtil testcasen frigives af den tekniske tester, som koder de enkelte fixtures |
| Implementeret | Testcasen er implementeret i koden og kan afvikles |
| Fejler | Testcasen er implementeret i koden og kan afvikles, men pt blokerer en kendt fejl for succesfuld afvikling |
- Testeksekveringsstatus, der angiver resultatet af seneste afvikling. Den kan antage værdierne
| Status | Beskrivelse |
|---|---|
| TODO | Testen kunne ikke gennemføres, da den indeholder fixtures som ikke findes eller ikke er færdigimplementerede endnu |
| PASS | Testen er afviklet uden fejl |
| FAIL | Testen er afviklet med fejl |
Afvikling af test
Den automatiserede test afvikles hver nat som et Jenkins job, se NSP_REGRESSIONSTEST_CUCUMBER [Test] [Jenkins] (nspop.dk).
Jenkins jobbet trækker de nyeste testcases ud fra Jira og afvikler dem en for en med brug af de implementerede fixtures.
Der dannes en rapport i Jenkins, som giver overblik over den aktuelle kørsel.
Resultaterne af de enkelte tests fødes automatisk ind i Jira projektet, så man på den enkelte testcase kan se afviklingsstatus.
De er også muligt i Jira at se den samlede Testkørsel som et Testexecution issue.
Det er kun testcases med status "Implementeret" som er med i Jenkins afviklingen.
Status på testdesign
Herunder ses hvor langt testdesignet er kommet for de enkelte komponenter. Hvis komponenten ikke findes i listen, så er der endnu ikke taget stilling til testdesign og komponenten er ikke inkluderet i regressionstesten.