1. Indhold
2. Indledning
2.1. Læsevejledning
Læseren forventes at have kendskab til National Sundheds-IT's platform NSP, samt generelt kendskab til WildFly applikation server, MariaDB, Kafka 2.11-xx og java.
2.2. Dokumenthistorik
Version | Dato | Ansvarlig | Beskrivelse |
1.0 | 23-09-2019 | Openminds |
2.3. Definitioner og forkortelser
Definition | Beskrivelse |
NSP | Den nationale service platform (inden for sundheds-IT) |
2.4. Monitoreringssnitflade
Løsningen kan overvåges med:
http://<server>:<port>/minlog2-consumer/monitor |
som svarer HTTP OK tilbage, hvis alt fungerer.
2.5. Generel overvågningsflade
Det er muligt at få vist yderligere detaljer med:
http://<server>:<port>/minlog2-consumer/monitor?details |
Eksempel på svar, hvor databasen er til rådighed.
MinLog2 database : OK |
2.6.
Version
Løsningens versioner kan vises med:
http://<server>:<port>/minlog2-consumer/version |
Der er intet krav om at versionerne skal "følges" ad – således kan eksempelvis "Consumer 1.0.1 godt fungere sammen med Lookup 1.5.1. Det bør tilstræbes at versionerne er det samme.
2.7. Service snitflade
Løsningen tilgås på
http://<server>:<port>/minlog2-consumer/start http://<server>:<port>/minlog2-consumer/stop http://<server>:<port>/minlog2-consumer/status |
2.8. Funktionalitet
Dette modul lytter på et kafka topic efter entries til MinLog2 og ved modtagelse indsættes de i databasen. Koden har taget udgangspunkt i Den Gode Brug af Kafka og følger dennes retningslinier.
Consumer kan stoppes ved et HTTP kald til http://<server>:<port>/minlog2-consumer/stop og startes (igen) ved kald http://<server>:<port>/minlog2-consumer/start. Et kald http://<server>:<port>/minlog2-consumer/status giver svar på om consumeren er igang:
Consumer.consuming set to true |
Konfiguration foretage til consumer.properties , module.xml og log4j fil som findes i
<jboss>/modules/nsi/minlog2/kafka/consumer/config/main |
Filen "minlog2-ds.xml" skal være til rådighed i <JBoss>/standalone/deployments.
Target folderen indeholder war arkivet klar til deployment (husk datasource minlog2-ds.xml genereret fra jee bygget)
<jboss>/standalone/deployments |
Producer delen af Kafka kan findes i registreringsdelen af MinLog2 - https://www.nspop.dk/x/XlXeBQ
2.9. Håndtering af fejlsituationer
De eneste eksterne afhængigheder er til databaser. Det må derfor forventes, at den mest sandsynlige kilde til fejlsituationer er problemer med databaseadgang. Det forudsættes at databaseskema, tabeller og brugere herunder rettighederne er på plads:
- SELECT
- INSERT
- UPDATE
- DELETE
Dette vil fremgå af overvågningsfladen og detaljer vil være tilgængelige i applikationsloggen. Yderligere fejl vil også kunne spores i applikationsloggen.
2.10. Logfiler
Consumer har eget sæt af logfiler – alle placeret i <jboss>/standalone/logs. Derudover kan der forekomme logning til server.log.
- minlog2-consumer.log
Logformaterne kan findes i log4j filerne som er placeret i <jboss>/modules/nsi/minlog2/kafka/consumer/config/main/log4j og hjælp til patterns kan findes i forbindelse med Log4J:
https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html
2.10.1. SLA log
nsputil-sla-minlog2.log indeholder SLA loggen. Loggen indeholder målepunkter for service- og databasekald. Databasekaldet foregår inden for servicekaldet og har til formål at gøre det synligt, hvor tiden går.
Logpunkter til servicekald benytter soap operationen som Logpoint og LogPointUniqId, mens database-og kafkakald benytter "Operation" som Logpoint og en tekstuel beskrivelse af opslaget som LogPointUniqId
Service- og databasekald er korrelerede med messageID.
Eksempel GetLogStatementForCPRPerson udløser flere databasekald: Et hvor logentries slåes op, et hvor personnavn hentes fra Stamdata og et opslag på organistationsid'et.
Alle 3 logpunkter deler Messageid hentet fra SOAP headeren.
2017-06-26 08:22:05,751 [default task-4] INFO dk.sdsd.nsp.slalogdata - LogPoint="DB_Operation" LogPointUniqId="lookupPersonName" StartTime="2017-06-26 08:22:05.750" EndTime="2017-06-26 08:22:05.750" Duration="767 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="<empty>" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= { } 2017-06-26 08:22:05,773 [default task-4] INFO dk.sdsd.nsp.slalogdata - LogPoint="DB_Operation" LogPointUniqId="getLogStatements" StartTime="2017-06-26 08:22:05.141" EndTime="2017-06-26 08:22:05.773" Duration="632086 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="<empty>" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= { } 2017-06-26 08:22:05,997 [default task-4] INFO dk.sdsd.nsp.slalogdata - LogPoint="minlog2.GetLogStatementsForCPRPerson" LogPointUniqId="minlog2.GetLogStatementsForCPRPerson" StartTime="2017-06-26 08:22:04.657" EndTime="2017-06-26 08:22:05.997" Duration="1340017 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="127.0.0.1" SOAPOperation="GetLogStatementsForCPRPerson" SOAPEndpoint="http://localhost:8080/minlog2-lookup/LookupService" SOAPAction="GetLogStatementsForCPRPerson" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= { } |
2.10.2. Audit log
Filen minlog2-registration-audit.log og minlog2-lookup-audit.log indeholder logning af alle kald med information om, hvem der har kaldt hvad.
Eksempel fra auditloggen. "Action" udpeger, hvad der er kaldt, "Caller" hvem der har kaldt og "Params" en json repræsentation af inputparametre:
2017-06-26 08:22:04,267 Action=AddRegistrations Caller=46837428 Params={"logDataEntry":[{"source": {"correlationId":"40075148-7b1b-476c-b5c34181a39650c5","systemName":"TestSystem", "source":{"correlationId":"40075148-7b1b-476c-b5c34181a39650c5","systemName":"TestSubSystem", "source":null}},"destination":{"systemName":"Integrationtest","activity":"Inserting","reason":"h","addition":null,"criticality":"Ingen","dateTime":1498458123444,"fromDateTime":null,"toDateTime":null,"organisationId":{"value":"240971000016006","source":"SOR"},"organisationName":"Openminds","personIdentifier":{"value":"2412752045","source":"CPR"},"personName":"Test Tester","correlationId":"40075148-7b1b-476c-b5c3-4181a39650c5","sequenceNumber":"1","userPersonIdentifier":{"value":"2412751044", "source":"CPR"},"userPersonName":"Sygeplejerske Jensen","userRole":"UserRole", "onBehalfOfPersonIdentifier":{"value":"2412751946","source":"CPR"},"onBehalfOfPersonName":"Læge Olsen","onBehalfOfUserRole":"OnBehalfOfUserRole","filter":["Ikke borger","Ikke forældremyndighedsindehaver"]}}]} |
2.10.3. Applikationslog
Filen minlog2-registration-application.log og minlog2-lookup-application.log indeholder applikationsloggen og kan benyttes i fejlsituationer og til statistik. På nuværende tidspunkt anvendes denne primært til logning i forbindelse med batchjob og indlæsning til cache.
2017-06-27 11:31:12,535 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] CleanUp job created. 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Set to run at: ScheduleExpression[second=0 minute=/1 hour= dayOfWeek=* dayOfMonth=* month=* year=* start=null end=null timezone=] 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Batch/limitsize: 10000 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Days to remain in database: 730 2017-06-27 11:32:00,031 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Starting cleanup 2017-06-27 11:32:00,157 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Number of old logentries to be deleted are: 0 2017-06-27 11:32:00,160 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Number of remaining old logentries are: 0 2017-06-27 11:32:00,160 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Ending cleanup |
2.11. Konfigurationer
Databaseadgang konfigureres i datasource filer i:
|
SLA log og øvrige konfigurationer (log og systemspecifikke konfigurationer) findes i:
|
Se i øvrigt installationsvejledningen.
2.12. Batch job
Lookup applikationen indeholder følgende batchjobs:
- Sletning af logentries
- Opdatering af kommune cache
Jobbene initialiseres ved start af Wildfly. minlog2.properties indeholder parametre til konfiguration af jobbet – her markeret med fed:
sql.max.logevents.allowed.in.query=10000 |
Jobbet startes hver dag på et bestemt tidspunkt. Her cleanup job:
Alle rækker som er ældre end days.to.remain.persisted (her 2x365) fra dags dato slettes med en limit på sql.delete.batch.size (her 10000). Jobbet kører indtil der ikke er flere at slette eller der er mindre end 10 minutter til næste job starter.
Kommune cache (kommunekode, kommunenavn) indlæses ved opstart. Se :
<jboss>/standalone/configuration/kommuner.json |
Filen er iøvrigt en kopi af kommuneinformationer taget fra grunddata - https://dawa.aws.dk/kommuner.
Se i øvrigt Applikationslog
2.13. Backup
Der skal tages backup af minlog2 databasen og evt. konfigurationsfilerne nævnt i installationsvejledningen.
2.14. Belastning
Servicemålene herunder er for henholdsvis MinLog 2 RegistrationService og LookupService.
Service | Servicemål |
Svartider opdatering | 95 % af tilfældene ≤ 6,5 sek |
98 % af tilfældene ≤ 15,5 sek | |
Svartider forespørgsler | 95 % af tilfældene ≤ 2,5 sek |
98 % af tilfældene ≤ 5,5 sek |
2.14.1. Baggrund for vurdering af belastning
TBD