Datavalidatie

Belang datavalidatie Metingen kunnen onbetrouwbaar worden doordat sensoren bijvoorbeeld vies worden, verschuiven, verouderen of verlopen. Als u meetdata niet valideert, weet u niet welke gegevens betrouwbaar en onbetrouwbaar zijn. Wanneer u onbetrouwbare gegevens voor de analyse gebruikt, trekt u onbetrouwbare conclusies en neemt u wellicht de verkeerde besluiten. Als u tijdens de meetperiode de data regelmatig valideert, kunt u fouten in het meetnet corrigeren en staat u na afloop niet met lege handen. Door de validatieprocedure in het meetplan vast te leggen, borgt u de validatie en voorkomt u achteraf discussie over de meetresultaten. Informatie over hoe u data valideert, opslaat en analyseert vindt u bij Meetgegevens verwerking en analyse. Validatieprocedure vastleggen De eisen die u aan de meetopzet stelt, vormen de basis voor de validatie. De validatieprocedure moet u zodanig inrichten dat daarna duidelijk is of de gevalideerde data aan de gestelde eisen voldoen. In het meetplan legt u het volgende vast: Criteria waaraan de gevalideerde data moeten voldoen (die dus volgen uit de eisen voor de meetopzet). Validatiefrequentie: hoe vaak u data valideert, bijvoorbeeld dagelijks of wekelijks. Welke tests u gebruikt om problemen met datakwaliteit te signaleren. Hoe en waar u de gevalideerde data opslaat. Hoe u de gevalideerde data rapporteert. Reactietermijn voor het uitvoeren van onderhoudswerkzaamheden naar aanleiding van de validatieresultaten. Een gebruikelijke termijn is 5 tot 10 werkdagen. Wie waarvoor verantwoordelijk is. Voorbeeld van een validatieprocedure U kunt de validatie op meerdere niveaus en met verschillende frequenties uitvoeren, bijvoorbeeld: een dagelijkse check op de volledigheid van de meetdata; een wekelijkse check op de aannemelijkheid van de meetwaarde van een individuele sensor op basis van eigenschappen van de meetopstelling. Hierbij controleert u bijvoorbeeld of de meetwaarde binnen het meetbereik van de sensor valt, geen trends aanwezig zijn of dat de snelheid van de verandering in de gemeten parameter aannemelijk is; een check op verbanden tussen (groepen) sensoren die u elke twee weken uitvoert. U kunt bijvoorbeeld controleren of er een verband is tussen de hoeveelheid neerslag en veranderingen in peilen en/of debieten. Ook kunt u controleren of er voldoende verband zit tussen het verloop van peilen op verschillende plaatsen in het systeem. Na de validatie bewaart u de resultaten, bijvoorbeeld door aan alle gevalideerde gegevens labels toe te kennen en de gelabelde data op te slaan (zie 'Meetgegevens verwerking en analyse'). Meetprestatie rapporteren De validatie van meetdata geeft inzicht in (veelvoorkomende) problemen en oorzaken. Zo kan onvoldoende datakwaliteit ontstaan door een verkeerde meetopzet, falende meetapparatuur of datacommunicatie en/of de projectorganisatie. Tijdens de meetperiode houdt u per meetopstelling een logboek link toegevoegd bij waarin u onder andere geconstateerde problemen en oorzaken vastlegt. Met die informatie maakt u een overzicht, waarvan de operationele organisatie kan leren. Bovendien kunt u op basis hiervan besluiten of de meetopzet voldoet of aanpassing vergt. Een nuttig middel om de meetprestatie te rapporteren, is een staafdiagram. Zo’n diagram geeft een overzicht van de beschikbare en betrouwbare meetgegevens met de meetopbrengst per maand. Hiermee maakt u ook inzichtelijk of bepaalde aanpassingen in het meetnetbeheer effect hebben (zie figuren A, B en C). Figuur A Voorbeeld rapportage meetprestatie. Overzicht van de datakwaliteit van het hele meetnet (Bron: Stichting RIONED, Leidraad Riolering C2310) Vergroot afbeelding   Figuur B Voorbeeld resultaten datavalidatie per sensor, inclusief optredende afwijking (Bron M. van Bijnen Advies) Vergroot afbeelding Figuur C Voorbeeld resultaten datavalidatie (Bron: Van Bijnen Advies) Vergroot afbeelding