Der foretages følgende test i forbindelse med idriftsættelser på NSP platformen:
1.1. Manuel test i forbindelse med udviklingsprojekter
Under udviklingsprojekter til NSP bliver der udført manuel test af nye features og services.
Det er projekternes ansvar at planlægge og udføre testen.
Projekterne er ansvarlige for at beslutte, om testen skal foretages specifikt mod den nye/ændrede komponent, eller om den skal foretages End-to-End (E2E) med anvendere af komponenten. Der foretages ikke E2E test ud over det projekterne gennemfører.
Projekternes test bliver dokumenteret på projekternes egne Confluence sites eller i Jira Wray. Testdokumentationen bliver ikke vedligeholdt efter projektets afslutning.
Ved afslutning af projektet skal projektet udpege et antal testcases, som bør indgå i regressionstest. Testcases skal som minimum indeholde:
- Forudsætninger
- Testdata (enten specifikke allerede genererede data eller beskrivelse af tilvejebringelse)
- Testcase beskrivelse med navn og formål
- Trin med
- Handling og
- Forventet resultat
1.2. Integrationstest
Der udvikles automatiseret integrationstest for alle komponenter, som både kan køre lokalt og på NSPs testmiljøer. Beskrivelse af dem ligger under siden Testvejledning for de enkelte komponenter.
Integrationstests vedligeholdes, udbygges og versionsstyres sammen med ændringer til servicen.
Det er Leverandørernes ansvar at vedligeholde integrationstests og sikre forudsætninger for succesfuld afvikling.
Integrationstests vil altid blive afviklet før deploys på NSPs testmiljøer, og det er en forudsætning for accept af leverancen, at integrationstesten afvikles uden fejl.
1.3. Regressionstest
Regressionstesten tester de forskellige services i kombination med de øvrige NSP services.
Der er et vist overlap mellem Integrationstest og Regressionstest, og visse scenarier vil findes i begge testsuiter. Forskellene er:
| Integrationstest | Regressionstest | |
|---|---|---|
| Type | Whitebox | Blackbox |
| Udvikling | Løbende sammen med nye/ændrede features | Løbende efter risikovurdering og samlet prioritering af NSP platformens testniveau. |
| Scope | Den enkelte komponent/service | Hele NSP platformen, der testes på tværs af komponenter og services, hvor det giver mening |
| Data | Datagenerering indeholdt i testen | Data kan være indeholdt i testen men visse data er forudgenereret og genbruges fra kørsel til kørsel |
| Afvikling | Ifm QA før deploy af komponentændringer på den specifikke komponent til Testmiljøerne | Dagligt eller on demand |
| Succeskriterie | 0 fejl | 0 kritiske fejl |
| Dokumentation | Teknisk beskrevet, ligger i koden | Forretningsmæssigt beskrevet, ligger i Jira |
| Ansvarlig | Leverandør | Systemforvalter |
Regressionstesten afspejler den aktuelle tilstand på testmiljøet og testcases går på tværs af komponenter.
Regressionstesten vil ofte køre og fail'e på kendte fejl. Hvis en testcase fejler, så analyseres det, om det er en kendt fejl i servicen, og i så fald oprettes en Request For Change (RFC) i NSP jiraprojektet.
RFC'en linkes til testcasen, så det er tydeligt hvilke testcases, den pågældende fejl påvirker. Når fejlen er rettet og deployet, skulle testcasen gerne kunne pass'e.
Det er Systemforvalterens ansvar at vedligeholde integrationstests og sikre forudsætninger for succesfuld afvikling.
Regressionstesten er beskrevet yderligere her: BRS - Regressionstest