Nærværende dokument udgør driftsvejledningen for Prøvebestillingsindlæseren, også kaldet Batchmotoren. Prøvebestillingsindlæseren er en indlæser som modtager et excel ark med kontrol data og cpr numre, beriger disse med data fra Personer og Sikrede og sender information til hhv. Synlab, for rekvisitioner, og Strålfors, for brevudsendelse, med henblik på at indkalde personer til Covid-19 prøver..
Prøvebestillingsindlæseren er en webapplikation der deployer på en Wildfly applikationsserver.
Distributionen af Prøvebestillingsindlæseren foregår som et Docker image der er bygget på NSP platform Docker imaget (registry.nspop.dk/platform/nsp
)
Alle indlæsere overvåges via en simpel statusservice. (Se evt. https://www.nspop.dk/display/public/web/Husregler+for+udvikling+til+NSP#HusreglerforudviklingtilNSP-Snitfladetilmonitorering(gl4.4)).
Statusservicen kan tilgås på URL http://<host>:<port>/proevebestillingsindlaeser/status hvor <host>
og <port>
peger på den aktuelle installation.
Denne statusservice bliver overvåget ved at den bliver kaldt hver 10. sekund. Denne returnerer en HTTP status kode, som enten er 200 (ok) eller 500 (internal server error). Ved 500 er det tegn på, at en NSP driftleverandøren skal i gang med at undersøge problemet.
Statusservicen giver udslag i følgende situationer, som vil sætte support i gang:
De mulige svar fra statusservicen er:
Ved normal drift vil statusservicen returnere http 200 med denne information
Her vises detaljer om det kørende byg samt, hvilke skabeloner der er kendte.
Opstår som følge af HTTP 500 status kode og kræver NSP driftleverandørens umiddelbare opmærksomhed. De mulige situationer, hvor HTTP 500 status kode leveres er beskrevet herunder.
Hvis der mod forventning ligger CPR batches, som ikke er færdiggjorte pga. manglende kvitteringer fra Synlab vil følgende status vises:
Der er her behov for at NSP driftleverandøren tager fat i Synlab og eftersøger de(n) manglende kvittering(er).
Status siden giver besked hvis der mangler adgang til et eller flere eksterne systemer.
Hvis der ikke er adgang til en eller flere SFTP servere vil status vises som
Der er her behov for at NSP driftleverandøren tager fat i leverandøren af den SFTP server, hvortil der ikke kan opnås forbindelse.
Hvis der ikke er adgang til en af de anvendte databaser vil status vises som
eller
Der er her behov for at NSP driftleverandøren tager fat i NSP leverandøren for at udrede, hvorfor der mangler adgang til en eller flere databaser.
Ingen - ud over den beskrevne statusservice.
Ingen.
Prøvebestillingsindlæseren aflæser en eller flere SFTP servere for nye filer af typen .xlsx (et CPR batch)
, og når der dukker en fil op, hentes den ind til Prøvebestillingsindlæseren og slettes fra SFTP serveren.
Den modtagne fil tjekkes for format og konsistens og derefter påbegyndes behandlingen af de data der findes i den modtagne fil.
Hvis valideringen fejler, leveres der en .fejl
fil tilbage i den SFTP folder hvorfra filen blev hentet. De mulige fejl scenarier er beskrevet her.
Alt afhængig af de kontrol data der er angivet i den modtagne excel fil, leveres der
Hvis der er leveret en fil til Synlab, afventer Prøvebestillingsindlæseren en kvitteringsfil fra Synlab før den videre håndtering, herunder en evt. levering af en fil til Strålfors, foretages.
For hver fil der modtages opsamles der statistik over kontroldata samt de indeholdte personers fordeling på kommune/region, sygesikringsgrupper og cpr-status. Hver nat opdateres en samlet statistik med opsamlede data fra den foregående dag og den opdaterede statistik leveres til en SFTP folder.
Leveringen til Strålfors indeholder de brevskabeloner der skal anvendes, og Prøvebestillingsindlæseren poller en skabelon SFTP folder for filer af typen .docx, og når en sådan fil ankommer lægges den i den interne skabelon folder og kan derefter refereres fra et CPR batch og anvendes ved levering til Strålfors. Prøvebestillingsindlæseren viser på statussiden de kendte skabeloner.
Når statusservicen svarer med en http 500 skal der igangsættes support til hhv.
En detaljeret oversigt over de mulige fejlsituationer, f.eks. hvor i flowet en fejlende SFTP server vil give problemer, er beskrevet her.
Prøvebestillingsindlæseren skriver til 4 forskellige log filer, der alle er placeret lokalt i Docker containeren i Wildfly standard log folderen: /pack/wildfly8/standalone/log
Denne log ligger i filen nsputil-sla.log
og indeholder NSP SLA logninger på formen
12-07-2020 11:39:24,970 [Camel (camel-1) thread #4 - sftp://ssi@proevebestillingsftp:22/ssi/batch] INFO dk.sdsd.nsp.slalogdata - LogPoint="LoggerBean" LogPointUniqId="LoggerBean" StartTime="2020-07-12 11:39:24.970" EndTime="2020-07-12 11:39:24.970" Duration="24 microseconds" MessageId="2a779b79-8682-45cf-aa38-fe879c1d9f62" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="DataSet fetched" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(1)= { ("Input","SSI_Indberetning2.xlsx") } 12-07-2020 11:39:25,308 [Camel (camel-1) thread #5 - file:///tmp/proevebestilling/ssi/batch] INFO dk.sdsd.nsp.slalogdata - LogPoint="LoggerBean" LogPointUniqId="LoggerBean" StartTime="2020-07-12 11:39:24.970" EndTime="2020-07-12 11:39:24.970" Duration="24 microseconds" MessageId="a5cb9287-a861-4aa5-bbc6-a373dba79c13" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="DataSet received" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(1)= { ("Input","SSI_Indberetning2.xlsx") } 12-07-2020 11:39:54,030 [Camel (camel-1) thread #2 - sftp://synlab@proevebestillingsftp:22/synlab] INFO dk.sdsd.nsp.slalogdata - LogPoint="LoggerBean" LogPointUniqId="LoggerBean" StartTime="2020-07-12 11:39:54.030" EndTime="2020-07-12 11:39:54.030" Duration="16 microseconds" MessageId="5235f7f4-f1a8-48ff-b0b1-9fac54e75e16" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="DataSet fetched" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(1)= { ("Input","a5cb9287-a861-4aa5-bbc6-a373dba79c13_rekvisitioner.kvit") } 12-07-2020 11:40:42,441 [Camel (camel-1) thread #1 - sftp://stralfors@proevebestillingsftp:22/stralfors] INFO dk.sdsd.nsp.slalogdata - LogPoint="LoggerBean" LogPointUniqId="LoggerBean" StartTime="2020-07-12 11:40:42.441" EndTime="2020-07-12 11:40:42.441" Duration="23 microseconds" MessageId="8798507e-c9b2-45f3-9805-5dd2c28c598a" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="DataSet fetched" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(1)= { ("Input","SSI_COVID19_SKRX_200712_113954_02_Rapport.csv") } 12-07-2020 11:40:42,804 [Camel (camel-1) thread #7 - file:///tmp/proevebestilling/straalfors] INFO dk.sdsd.nsp.slalogdata - LogPoint="LoggerBean" LogPointUniqId="LoggerBean" StartTime="2020-07-12 11:40:42.441" EndTime="2020-07-12 11:40:42.804" Duration="362860 microseconds" MessageId="8798507e-c9b2-45f3-9805-5dd2c28c598a" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="DataSet completed" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(1)= { ("Input","SSI_COVID19_SKRX_200712_113954_02_Rapport.csv") |
Denne log ligger i filen proevebestilling
Audit.log
og indeholder overordnet logning af Yderindlæserens aktivitet
timestamp="2020-07-13 09:44:00,373" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been validated" timestamp="2020-07-13 09:44:00,998" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been parsed" timestamp="2020-07-13 09:44:01,403" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been enriched for Synlab" timestamp="2020-07-13 09:44:03,351" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file 7ff22650-b2fa-461d-8192-dfd75ffa11b9_rekvisitioner.csv has been distributed to Synlab" timestamp="2020-07-13 09:44:14,794" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Synlab receipt 7ff22650-b2fa-461d-8192-dfd75ffa11b9_rekvisitioner.kvit has been received" timestamp="2020-07-13 09:44:15,122" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been enriched for Strålfors" timestamp="2020-07-13 09:44:17,054" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_COVID19_SKRX_200713_094415_01.zip has been packed and distributed to Strålfors" timestamp="2020-07-13 09:44:33,376" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Strålfors receipt SSI_COVID19_SKRX_200713_094415_01_AfviklingsRapport.csv has been received" timestamp="2020-07-13 09:44:33,420" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been completed with status Completed" timestamp="2020-07-13 09:44:33,606" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Strålfors receipt SSI_COVID19_SKRX_200713_094415_01_Rapport.csv has been received - but is ignored as another Strålfors receipt has already been processed" |
Denne log ligger i filen proevebestilling
Application.log
og indeholder detaljeret logning af Yderindlæserens aktivitet
timestamp="2020-07-13 09:43:59,958" priority="DEBUG" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="The file SSI_Indberetning.xlsx has been fetched" timestamp="2020-07-13 09:44:00,322" priority="DEBUG" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been received" timestamp="2020-07-13 09:44:00,373" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been validated" timestamp="2020-07-13 09:44:00,998" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been parsed" timestamp="2020-07-13 09:44:01,403" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been enriched for Synlab" timestamp="2020-07-13 09:44:03,351" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file 7ff22650-b2fa-461d-8192-dfd75ffa11b9_rekvisitioner.csv has been distributed to Synlab" timestamp="2020-07-13 09:44:14,424" priority="DEBUG" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="The file 7ff22650-b2fa-461d-8192-dfd75ffa11b9_rekvisitioner.kvit has been fetched" timestamp="2020-07-13 09:44:14,794" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Synlab receipt 7ff22650-b2fa-461d-8192-dfd75ffa11b9_rekvisitioner.kvit has been received" timestamp="2020-07-13 09:44:15,122" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been enriched for Strålfors" timestamp="2020-07-13 09:44:17,054" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_COVID19_SKRX_200713_094415_01.zip has been packed and distributed to Strålfors" timestamp="2020-07-13 09:44:32,869" priority="DEBUG" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="The file SSI_COVID19_SKRX_200713_094415_01_Rapport.csv has been fetched" timestamp="2020-07-13 09:44:32,880" priority="DEBUG" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="The file SSI_COVID19_SKRX_200713_094415_01_AfviklingsRapport.csv has been fetched" timestamp="2020-07-13 09:44:33,376" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Strålfors receipt SSI_COVID19_SKRX_200713_094415_01_AfviklingsRapport.csv has been received" timestamp="2020-07-13 09:44:33,420" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The file SSI_Indberetning.xlsx has been completed with status Completed" timestamp="2020-07-13 09:44:33,606" priority="INFO" class="dk.nsi.sdm.proevebestilling.bean.LoggerBean" message="(CPR Batch SSI_Indberetning.xlsx) The Strålfors receipt SSI_COVID19_SKRX_200713_094415_01_Rapport.csv has been received - but is ignored as another Strålfors receipt has already been processed" |
Denne log ligger i filen proevebestillingStat.log
og indeholder statistik logning af Yderindlæserens aktivitet
{"Time to parse":"PT0.601S","Time to Enrich Strålfors":"PT0.304S","Time to pack zip":"PT0.034S","Time to validate":"PT0.014S","Time to Synlab kvittering":"PT0.013S","Application":"Prøvebestillingsindlæser","Timestamp":"2020-07-13 09:44:33,434","Time to Enrich Synlab":"PT0.384S","Time to Strålfors kvittering":"PT0.01S","ExchangeId":"7ff22650-b2fa-461d-8192-dfd75ffa11b9"} |