1. Indhold


2. Indledning

2.1. Læsevejledning

Læseren forventes at have kendskab til National Sundheds-IT's platform NSP, samt generelt kendskab til WildFly applikation server, MariaDB og java.

2.2. Dokumenthistorik

Version

Dato

Ansvarlig

Beskrivelse

1.709-02-2021KITInformation omkring logning ved for lille pool size.
1.605-08-2020OpenmindsÆndringer til logning
1.526-04-2019OpenmindsTilføjelse af MinLog1 lookup og registrering
1.407-09-2018OpenmindsBeskrivelse af ny borgerservice

1.3

28-10-2017

Openminds

Beskrivelse af organisation job

1.2


Openminds

Beskrivelse af clean up job

1.1

26-06-2017

Openminds

Nærmere specificering af Logning

1.0

09-06-2017

Openminds



2.3. Definitioner og forkortelser

Definition

Beskrivelse

NSP

Den nationale service platform (inden for sundheds-IT)


2.4. Monitoreringssnitflade

Løsningen kan overvåges med:

http://<server>:<port>/minlog2-registration/monitor

http://<server>:<port>/minlog1-registration/monitor


som svarer HTTP OK tilbage, hvis alt fungerer. Dette kald verificerer services samt databaseadgang.

2.5. Generel overvågningsflade

Det er muligt at få vist yderligere detaljer med:


http://<server>:<port>/minlog2-registration/monitor?details

http://<server>:<port>/minlog1-registration/monitor?details


Denne viser status for eventuelle services og konfigurationer.

2.6. Version

Løsningernes versioner kan vises med:


http://<server>:<port>/minlog2-registration/version

http://<server>:<port>/minlog1-registration/version


Der er intet krav om at versionerne skal "følges" ad – således kan eksempelvis "Registration 2.0.1 godt fungere sammen med Lookup 2.5.1. Det bør tilstræbes at versionerne er det samme.

2.7. Service snitflade

Løsningerne tilgås på


http://<server>:<port>/minlog2-registration/RegisterService

http://<server>:<port>/minlog1-registration/RegisterService

2.8. Funktionalitet

Servicene stiller metoder til rådighed til at registrere cpr relaterede hændelser.

Adgang er håndteret med IDCard. Der kan jf. Netic etableres blacklistning i HAProxy og/eller firewall på NSP'erne.

2.9. Håndtering af fejlsituationer

De eneste eksterne afhængigheder er til databaser. Det må derfor forventes, at den mest sandsynlige kilde til fejlsituationer er problemer med databaseadgang. Det forudsættes at databaseskema, tabeller og brugere herunder rettighederne er på plads:

  • SELECT
  • INSERT
  • UPDATE
  • DELETE

Dette vil fremgå af overvågningsfladen og detaljer vil være tilgængelige i applikationsloggen. Yderligere fejl vil også kunne spores i applikationsloggen.

2.10. Logfiler

Registration og Lookup har eget sæt af logfiler – alle placeret i <jboss>/standalone/logs. SLA logning sker til en særlig fil – "nsputil-sla-minlog2.log". Derudover kan der forekomme logning til server.log.

  • minlog2-registration-application
  • minlog2-registration-audit

Logformaterne kan findes i log4j filerne som er placeret i Wildfly – se konfigurationer – og hjælp til patterns kan findes i forbindelse med Log4J:


https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html

2.10.1. SLA log

nsputil-sla-minlog2.log indeholder SLA loggen. Loggen indeholder målepunkter for service- og Kafka kald. Kaldet til Kafka foregår inden for servicekaldet og har til formål at gøre det synligt, hvor tiden går.

Logpunkter til servicekald benytter soap operationen som Logpoint og LogPointUniqId, mens database-og kafkakald benytter "Operation" som Logpoint og en tekstuel beskrivelse af opslaget som LogPointUniqId

Service- og databasekald er korrelerede med messageID.

Eksempel GetLogStatementForCPRPerson udløser flere databasekald: Et hvor logentries slåes op, et hvor personnavn hentes fra Stamdata og et opslag på organistationsid'et.

Alle 3 logpunkter deler Messageid hentet fra SOAP headeren.

2017-06-26 08:22:05,751 [default task-4] INFO  dk.sdsd.nsp.slalogdata - LogPoint="DB_Operation" LogPointUniqId="lookupPersonName" StartTime="2017-06-26 08:22:05.750" EndTime="2017-06-26 08:22:05.750" Duration="767 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="<empty>" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= {  }

2017-06-26 08:22:05,773 [default task-4] INFO  dk.sdsd.nsp.slalogdata - LogPoint="DB_Operation" LogPointUniqId="getLogStatements" StartTime="2017-06-26 08:22:05.141" EndTime="2017-06-26 08:22:05.773" Duration="632086 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="<empty>" SOAPOperation="<empty>" SOAPEndpoint="<empty>" SOAPAction="<empty>" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= {  }

2017-06-26 08:22:05,997 [default task-4] INFO  dk.sdsd.nsp.slalogdata - LogPoint="minlog2.GetLogStatementsForCPRPerson" LogPointUniqId="minlog2.GetLogStatementsForCPRPerson" StartTime="2017-06-26 08:22:04.657" EndTime="2017-06-26 08:22:05.997" Duration="1340017 microseconds" MessageId="AAABXOMQcV1mt6jYItbXz1NPU0k=" RequestSize=0 ReplySize=0 Result=OK ClientIP="127.0.0.1" SOAPOperation="GetLogStatementsForCPRPerson" SOAPEndpoint="http://localhost:8080/minlog2-lookup/LookupService" SOAPAction="GetLogStatementsForCPRPerson" TargetSOAPOperation="<empty>" TargetSOAPEndpoint="<empty>" GenericCallParms(0)= { }



2.10.2. Audit log

Audit-logning foretages med det officielle "NSP Audit API" modul.

Der laves audit-logning i:

  • lookup
  • registration

Informationer, der logges:

Komponent

Kontekst

Type

Nøgle

Information

MinLog2LookupRequestSensitivePersonalInformationCaller"Caller" hvem der har kaldt
MinLog2LookupRequestSensitivePersonalInformationParams"Params" en json repræsentation af inputparametre
MinLog2addRegistrationsSensitivePersonalInformationpersonIdentifiercprnr. på den borger der bliver registreret data for
MinLog2addRegistrationsNonPersonalInformationschemaVersionHvilken skemaversion af snitfladen der kaldes

Eksempler fra auditloggen:

LookupRequest-eksempel 1 
{
  "time": "2022-06-13T14:49:29.09Z",
  "category": "dk.sds.nsp.audit.log.minlog2",
  "audit": {
    "timestamp": "2022-06-13T16:49:29.046+02:00",
    "components": [
      {
        "component": "MinLog2",
        "contexts": [
          {
            "context": "LookupRequest",
            "information": [
              {
                "key": "Caller",
                "type": "SPI",
                "value": "1010780337"
              },
              {
                "key": "Parameters",
                "type": "SPI",
                "value": "NA"
              }
            ]
          }
        ]
      }
    ]
  },
  "access": {
    "code": 200,
    "duration": 39,
    "httpHeaders": {
      "Content-Type": "text/xml; charset=UTF-8",
      "SOAPAction": "\"GetLogStatementsForCPRPersonWithID\""
    },
    "httpHost": "localhost",
    "idCardAttributes": {
      "dk:gov:saml:attribute:AssuranceLevel": "3",
      "dk:gov:saml:attribute:CprNumberIdentifier": "1010780337",
      "dk:gov:saml:attribute:SpecVer": "DK-SAML-2.0"
    },
    "method": "POST",
    "path": "/minlog2-lookupid/LookupidService",
    "query": "",
    "port": 8081,
    "protocol": "http",
    "reqSize": 11810,
    "resSize": 21707,
    "soapHeaders": {
      "Audience": "https://minlog",
      "Issuer": "TEST2-NSP-STS",
      "NameID": "C=DK,O=Ingen organisatorisk tilknytning,CN=Lars Larsen,Serial=PID:9208-2002-2-633568693394",
      "w3Action": "action",
      "w3MessageID": "64d6a252-f391-460c-a90b-1ea7d8512cd8"
    },
    "threadId": "default task-102",
    "time": "2022-06-13T16:49:29.046+02:00",
    "stats": {
      "handlerDuration": 3,
      "RequestContentDuration": 0,
      "ResponseContentDuration": 0,
      "SecurityProtocolRequestDuration": 0,
      "SecurityProtocolResponseDuration": 0,
      "bufferAllocated": false,
      "usedBuffers": 2,
      "activeBuffersInPool": 2,
      "idleBuffersInPool": 29
    }
  }
}
LookupRequest-eksempel 2 
{
  "time": "2022-06-13T14:49:25.078Z",
  "category": "dk.sds.nsp.audit.log.minlog2",
  "audit": {
    "timestamp": "2022-06-13T16:49:25.022+02:00",
    "components": [
      {
        "component": "MinLog2",
        "contexts": [
          {
            "context": "LookupRequest",
            "information": [
              {
                "key": "Caller",
                "type": "SPI",
                "value": "46837428"
              },
              {
                "key": "Parameters",
                "type": "SPI",
                "value": {
                  "cprNR": "1908931462",
                  "fraDato": 1655131705018,
                  "tilDato": 1655131795018,
                  "pageSize": 7,
                  "pageStartAfter": "c863eb15ad68e490794788e287e9a811738d1d337dd382c2cd1ad0b0"
                }
              }
            ]
          }
        ]
      }
    ]
  },
  "access": {
    "code": 200,
    "duration": 54,
    "httpHeaders": {
      "Content-Type": "text/xml; charset=UTF-8",
      "SOAPAction": "\"http://nsi.dk/minlog/2014/05/23/ListLogStatements\""
    },
    "httpHost": "localhost",
    "idCardAttributes": {
      "medcom:CareProviderID": "46837428",
      "medcom:CareProviderName": "Statens Serum Institut",
      "medcom:ITSystemName": "Test",
      "sosi:AuthenticationLevel": "3",
      "sosi:IDCardID": "H/1xienuUQBuWN0tp09auw==",
      "sosi:IDCardType": "system",
      "sosi:IDCardVersion": "1.0.1"
    },
    "method": "POST",
    "path": "/minlog1-lookup/MinlogService",
    "query": "",
    "port": 8081,
    "protocol": "http",
    "reqSize": 6286,
    "resSize": 4706,
    "soapHeaders": {
      "Issuer": "TEST2-NSP-STS",
      "MessageID": "AAABgV2KeRyT/Cd9qHFnA1NPU0k=",
      "NameID": "SubjectDN={SERIALNUMBER=CVR:46837428-UID:27910135 + CN=Statens Serum Institut - Test VOCES, O=Statens Serum Institut // CVR:46837428, C=DK},IssuerDN={CN=TRUST2408 Systemtest XXXIV CA, O=TRUST2408, C=DK},CertSerial={1604144225}"
    },
    "threadId": "default task-88",
    "time": "2022-06-13T16:49:25.022+02:00",
    "stats": {
      "handlerDuration": 1,
      "RequestContentDuration": 0,
      "ResponseContentDuration": 0,
      "SecurityProtocolRequestDuration": 0,
      "SecurityProtocolResponseDuration": 0,
      "bufferAllocated": false,
      "usedBuffers": 1,
      "activeBuffersInPool": 1,
      "idleBuffersInPool": 30
    }
  }
}

2.10.3. Applikationslog

Filen minlog2-registration-application.log og minlog2-lookup-application.log indeholder applikationsloggen og kan benyttes i fejlsituationer og til statistik. På nuværende tidspunkt anvendes denne primært til logning i forbindelse med batchjob og indlæsning til cache.

2017-06-27 11:31:12,535 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] CleanUp job created. 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Set to run at: ScheduleExpression[second=0 minute=/1 hour= dayOfWeek=* dayOfMonth=* month=* year=* start=null end=null timezone=] 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Batch/limitsize: 10000 2017-06-27 11:31:12,536 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Days to remain in database: 730 2017-06-27 11:32:00,031 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Starting cleanup 2017-06-27 11:32:00,157 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Number of old logentries to be deleted are: 0 2017-06-27 11:32:00,160 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Number of remaining old logentries are: 0 2017-06-27 11:32:00,160 INFO [dk.nsi.minlog2.lookup.controller.CleanUpController] Ending cleanup

Pool size

Hvis den konfigurede pool størrelse (producer.pool.count) er for lille kan nedenstående error logning ses. Hvis pool size ændres skal servicen genstartes.

Message producer pool empty. Consider increasing property producer.pool.count.

2.11. Konfigurationer

Databaseadgang konfigureres i datasource filer i:


<jboss>/standalone/deployments/minlog2-ds.xml
<jboss>/standalone/deployments/minlog2-stam-ds.xml


SLA log og øvrige konfigurationer (log og systemspecifikke konfigurationer) findes i:


<jboss>/modules/nsi/minlog2/config/main


Se i øvrigt installationsvejledningen.

2.12. Batch job

Lookup applikationen indeholder følgende batchjobs:

  • Sletning af logentries
  • Opdatering af kommune cache

Jobbene initialiseres ved start af Wildfly. minlog2.properties indeholder parametre til konfiguration af jobbet – her markeret med fed:

sql.max.logevents.allowed.in.query=10000
federation=test
days.to.remain.persisted=730
sql.delete.batch.size=10000
organisationjob.start.hour=1
organisationjob.start.minute=0

Jobbet startes hver dag på et bestemt tidspunkt (her hvert 10 minut mellem kl. 03.00 og kl. 04.00).

Kommune cache (kommunekode, kommunenavn) indlæses ved opstart. Se :

<jboss>/standalone/configuration/kommuner.json

Filen er iøvrigt en kopi af kommuneinformationer taget fra grunddata - https://dawa.aws.dk/kommuner.

Se i øvrigt Applikationslog

2.13. Backup

Der skal tages backup af minlog2 databasen og evt. konfigurationsfilerne nævnt i installationsvejledningen.

2.14. Belastning

Servicemålene herunder er for henholdsvis MinLog 2 RegistrationService og LookupService.

Service

Servicemål

Svartider opdatering

95 % af tilfældene ≤ 6,5 sek


98 % af tilfældene ≤ 15,5 sek

Svartider forespørgsler

95 % af tilfældene ≤ 2,5 sek


98 % af tilfældene ≤ 5,5 sek


2.14.1. Baggrund for vurdering af belastning

TBD

  • No labels