Introduktion

Formål

Formålet med dette dokument er at beskrive de tests, som er udviklet og afviklet forud for release af NAS 2 komponenterne.

Følgende typer af test bruges indgår i udviklingsarbejdet:

• Unittests: Unittests tester, at de individuelle/isolerede enheder (klasser) i kildekoden virker som de skal.

• Integrationstest: Integrationstests afvikles op i mod en kørende NAS 2 service til verifikation af funktion og deployment. Herved verificeres det, at de individuelle enheder kan integreres og arbejde sammen i en kørende service.

• Performancetest: Verificerer, at servicen performer med hensyn til svartider og er stabil under et specifikt load.

Andre typer af tests (ikke en del af udviklingen af NAS 2):

• Endurancetests, der verificerer at servicen fungerer under længerevarende belastning og ikke har f.eks. memory leaks, som kan udføres i stagning/produktionslignende miljø.

De i NAS 2 anvendte tests gennemgåes i det følgende.

Læsevejledning

Dokumentet henvender sig til udviklere og testere.

Læseren forventes at have kendskab til Java software udvikling, herunder unittesting ved anvendelse af JUnit og Maven.

Afviklede komponenttest

I de følgende afsnit beskrives de tests der afviklet som en del af udviklingen af NAS 2 komponenterne.

Der henvises i øvrigt til NAS 2.0 Udviklerguide for udførselsvejledning og NAS 2.0 Testrapport for resultat.

UnitTests

Der findes UnitTests af alle centrale enheder (klasser) i NAS 2.

Placeringen af disse følger standarden foreskrevet af Maven og er placeret i src/test/java i hvert af NAS 2s moduler.

Unittests er navngivet med navnet på den klasse, som de tester, efterfulgt af Test.

Således ligger unittesten for klassen:

./notificationbroker/src/main/java/dk/nsp/nas/notificationbroker/service/NotificationBrokerServiceImpl.java

implementeret i:

./notificationbroker/src/test/java/dk/nsp/nas/notificationbroker/service/NotificationBrokerServiceImplTest.java

Unittests er stilmæssigt opbygget på følgende måde:

• Hver testcase er implementeret som en metode i den relevante testklasse
• Testcasen er navngivet, så det tydeligt fremgår, hvad formålet med testen er
• Kommentarer i testcasen inddeler tydeligt i præcondition (Given), udførsel (When), tjek (Then) som beskrevet f.eks. Martin Fowler: Given-When-Then

Unittests er implementeret vha JUnit og kan eksekveres af Mavens standard testplugin SureFire.

Til udregning af testcoverage anvendes Jacoco Maven Plugin (se JaCoCo Maven plug-in).

Testcoverage udregnes i de enkelte Maven moduler i NAS2 og aggregeres til en samlet rapport i modulet testreport.

Således er en samlet rapport over testcoverage tilgængelig i

./testreport/target/site/jacoco-aggregate/

Unittests og tilhørende udregning af testcoverage udføres som en integreret del af byg af komponenten (se i øvrigt NAS 2.0 Udviklerguide).

Integrationstest til verifikation af funktionalitet og deployment

Integrationstestene for NAS 2 er implementeret vha JUnit i modulet integration-test, og er beregnet til afvikling mod en kørende udgave af NAS 2.

Integrationstestene kan udvikles i to modes: Een mod en ekstern NAS 2 og een mod en lokal deployet (på Undertow) NAS 2.

Strategien med lokalt deployet NAS 2 afvikles som en del af build fasen for NAS 2 komponenterne.

Afvikling af Integrationstests mod eksternt kørende NAS aktiveres via Maven ved følgende kommando i modulet integration-test:

mvn test -Dvariabel=value

Det kræves at følgende properties angives ved afvikling af integrationstesten

For nemheds skyld er der angivet følgende profiler (kan angives med -P), med variabeldefinitioner for et givent miljø

Testrapporter kan genereres i HTML med kommandoer: mvn surefire-report:report; mvn site -DgenerateReports=false

Sammenhæng mellem integrationstests og user stories

I NAS 2.0 Design og Arkitekturbeskrivelse findes en liste over, hvilke user stories, der er relevante for hvilke delkomponenter i NAS 2.0.

Navngivningen af integrationstestene er sket udfra navngivningen i design og arkitekturbeskrivelsen.

F.eks. findes tests for NAS-NB-1 i klassen:

./integration-test/src/test/java/dk/sds/nsp/nas/notificationbroker/NasNb1IntegrationTest.java

Ved at sammenholde testrapporten NAS 2.0 Testrapport med listen af user stories kan det verificeres, hvorledes dækningen er.

Performancetests

Performance krav

Der er følgende performance krav til NAS servicen:

Notifications broker

• Forudsætninger:
  • Test: 10 adviseringer per sekund (1 advisering per kald)
• Krav:
  • Gennemsnitlig svartid skal være under 250 millisekunder
  • 95 % skal være under 500 millisekunder
  • 99 % skal være under 2.000 millisekunder

Pullpoint

• Forudsætninger:
  • Baggrundsdata:
    • 1 topic
    • 1.000 pullpoints på dette topic (20 af disse bruges aktivt under testen)
    • Hver pullpoint har en unik idliste med hver 3000 id'er
    • Der behøver ikke være beskeder på tipic inden testen starter
  • Baggrundsbelastning
    • Notifikation broker skal lave 40 adviseringer per sekund fordelt ligeligt på 20 udvalgte pullpoints
    • Dvs. 2 adviseringer per pullpoint per sekund
  • Test: 1 kald til getMessage på hver af de 20 udvalgte pullpoints hver 10. sekund. Dvs. 2 kald per sekund
• Krav:
  • Gennemsnitlig svartid skal være under 5.000 millisekunder
  • 95 % skal være under 10.000 millisekunder
  • 99 % skal være under 20.000 millisekunder

Disse belyses ved 2 test. En for notification broker og en for pullpoint. I nedenstående afsnit skal der skelnes mellem disse, da baggrundsdata og udførsel af test ikke er ens for de to, 

Baggrundsdata

Notification broker

Der er kun krav om, at der findes et topic i databasen. Dette oprettes med:

insert into topic_mapping(topic, internal_topic) values('TESTNAS-TOPIC-PERFORMANCE-01', 'TESTNAS-TOPIC-PERFORMANCE-01');

Det anvendte topic skal også være oprettet i Kafka.

Pullpoint

Vedlagt sql script

Et sql script med insert statements til baggrundsdata til performance testen for pullpoint, er attached på dette dokument (nas_performancetest.sql).

Scriptet indeholder følgende dele, der samlet opfylder forudsætningerne til de 2 performance teste:

• 1 topic (topic_mapping)
• 1.000 idlister (id_list)
• 3.000.000 (1.000*3.000) idliste indhold (id_list_content)
• 1.000 pullpoints (pull_point)
• 1.000 subscriptions (subscription)
• 1.000 consumers (nas_consumer) 

Før test kørslen for pullpoint skal dette sql script indlæses til en tom NAS database. Det anvendte topic skal også være oprettet i Kafka.

Ændring af sql insert fil

Ønskes et andet datagrundlag til pullpoint testen, kan sql filen skabes vha. java klassen GenerateTestdataSql, der findes i NSP performance test sourcen under NAS (https://svn.nspop.dk/svn/components/performance/trunk).

Den nuværende sql fil er skabt med parametrene: pullPoint 1000 3000 idtype01 TESTNAS-TOPIC-PERFORMANCE-01 30808460SOSITEST .

Udførsel af test

Forberedelse

Testen hentes fra https://svn.nspop.dk/svn/components/performance/trunk i den revision, der er angivet nedenfor per release af NAS servicen.

Databasen klargøres. Tom NAS database, de respektive scripts, som nævnt under baggrundsdata, køres.

Der skal være en kørende version af NAS servicen, man kan teste imod. Og host.properties skal være sat korrekt op jf. arosiis performance test framework.

For at opnå en kørsel så tæt som muligt på 2 kald per sekund på pullpoint testen, skal der her startes med 1 tråd for de 2 noder med en øgning på 3 per iteration. Notification broker testen køres som normalt.

Kørsel

Når databasen er på plads, servicen kørende og testen configureret kan følgende køres:

Notification broker

run_test.sh -h hosts.properties -p 9012 nas notificationbroker nbtest900

Pullpoint

run_test.sh -h hosts.properties -p 9012 nas pullpoint pptest900

(distributionenerne *test900 kører 15 minutter, der findes også kørsler til 10 sekunder (*test10) )

Version

'* ' betyder hvilken som helst

Funktionstest

User stories

Testen den dækker nedenstående user stories

• NAS-PPF-1: Oprette et pullpoint
• NAS-IM-1: Opret id liste
• NAS-SM-1: Oprette subscription
• NAS-NB-1: Aflevering af advisering
• NAS-PP-1: Afhentning af adviseringer
• NAS-IM-2: Opdater id liste
• NAS-PP-2: Slette et pullpoint
• NAS-IM-3: slet id liste
• NAS-SM-2: Nedlægge subscription

Test forløb

Testen deles op i to dele. En del hvor der verificeres at FMK kan aflevere de adviseringer de afleverer i dag uden at få fejl og at det er muligt at hente alle adviseringer ud igen uden at få fejl. Den anden del er en verifikation ved hjælp af en integrationstest. Den test har til formål at verificere at det er muligt at udføre alle de user stories der er beskrevet i afsnit 3.1. 

FMK performance test

Formålet med denne del af testen er at bevise at FMK kan aflevere de adviseringer som de kan i dag uden at få fejl samt  at det er muligt at afhente alle adviseringer uden at der tabes beskeder. 

FMK projektet har en JMeter performance test der kan afvikles. Denne test har et repræsentativt kaldemønster med hensyn til adviseringer til NAS. Dette er jvf. mail fra Trifork d. 22. marts 2019. 

Inden FMK afvikler deres performance test skal de oplyse hvilke topics der sendes notifikationer på. Disse er dokumenteret på https://wiki.fmk.netic.dk/doku.php?id=fmk:advis:topic.

Fra NAS' side udvikles der et selvstændigt program med nedenstående egenskaber. 

1. Programmet skal oprette pull points svarende til det antal topics der er. Der skal oprettes en subscription på hvert topic og der skal ikke være nogen ID liste tilknyttet. 
2. Programmet skal oprette X pull points for hvert topic. For hvert af disse pull points skal der oprettes en subscription med en tilhørende ID liste. ID listerne skal ikke have nogle ID'er tilknyttet.  
3. Programmet skal have mulighed for at opdatere en eksisterende ID liste. 
4. Programmet skal kalde GetMessages på de pull points der er oprettet indtil der ikke er flere beskeder. Hver besked skal logges til en fil. 
5. Det skal være muligt at afvikle ovenstående 3 steps selvstændigt. 

Step 1 og 2 skal afvikles inden FMK må gennemføre deres test. Efter step 3 er afviklet og alle beskeder er hentet skal nedenstående udføres. 

1. For de pull points der blev oprettet i step 1 skal det verificeres at alle beskeder er modtaget. Det gøres ved at sammenligne de ID'er programmet har logget med det FMK har leveret. Alle ID'er FMK har oplyst skal være modtaget. 
2. For de pull points der blev oprettet i step 2 skal det verificeres at de beskeder der er modtaget matcher med dem der er i den givne ID liste og at det matcher med det FMK har leveret. 

NAS integrationstest

For verifikation af at det er muligt at udføre de enkelte user stories er der oprettet en integrations test der hedder NasAnvenderScenarieTest. Denne test udfører nedenstående. Testen afvikles når integrationstesten afvikles mod NAS systemet.

1. Kalder CreatePullPoint på PullPointFactory.
2. Kalder CreateIDList på IDList med ID'erne "ID1" og "ID2". 
3. Kalder Subscribe på SubscriptionManager.
4. Kalder Notify på NotificationBroker med "ID1", "ID2" og "ID3".
5. Kalder GetMessages på PullPoint. 
6. Verificerer at der kun er modtaget to beskeder og at de har ID'erne "ID1" og "ID2".
7. Kalder CretaeIDList på IDList med ID'erne "ID2" og "ID3". 
8. Kalder Notify på NotificationBroker med "ID1", "ID2" og "ID3".
9. Verificerer at der kun er modtaget to beskeder og at de har ID'erne "ID2" og "ID3".
10. Kalder Unsubscribe på SubscriptionManager
11. Kalder DestroyIDList på IDList. 
12. Kalder DestroyPullPoint på PullPoint.

Afvikling af test program

Det selvstændige program til at hente adviseringer afvikles som beskrevet nedenfor. 

1. Oprettelse og/eller opdatering af ID liste.
   mvn -Pverification -Dverification.mode=idlist -Dverification.idlist.endpoint=http://localhost:8090/idlist -Dverification.input=/path/to/file/idlist.txt
   Indholdet i verification.input filen skal være som nedenstående. 
   /*
   * Id list filen den skal være formateret som nedenstående.
   *
   * navn:idliste_navn:id_type
   * id:id_no_1
   * id:id_no_2
   * navn:en_anden_liste
   * id:id_no_4
   * id:id_no_5
   */
2. Oprettelse af pull point og subscription.
   mvn -Pverification -Dverification.mode=subscribe -Dverification.subscriptionmanager.endpoint=http://localhost:8090/subscriptionmanager -Dverification.pullpointfactory.endpoint=http://localhost:8090/pullpointfactory -Dverification.input=/path/to/input/subscription.txt -Dverification.output=/path/to/output/subscription_output.txt
   Indholdet i verification.input skal være som nedenstående. Output filen indeholder liste med pull point id'er. 
   /**
   * Input filen skal være formateret som nedenstående
   * topic:id_liste_navn
   *
   * Id liste navn er optional og hvis det er udeladt oprettes der en subscription uden tilknyttet id liste.
   */
3. Afhentning af adviseringer. 
   mvn -Pverification -Dverification.mode=getmessages -Dverification.pullpoint.endpoint=http://localhost:8090/pullpoint -Dverification.input=/path/to/input/pullpoint.txt -Dverification.output=/path/to/output/pullpoint_output.txt
4. Indholdet i verification.input være et pull point id pr. linie. Output filen indeholder en linie pr afhentet advisering med ID og pull point id. 
   
   

Tidsplan for FMK performance test

Nedenstående tidsplan tager udgangspunkt i at NS2 er klar i test2 miljøet i uge 38. Hvis NAS2 ikke er tilgængelig i test2 miljøet skubbes tidsplanen tilsvarende.