Kwaliteitslabel 'goed' versus 'de waarheid'

Bij het valideren van ruwe meetdata geeft u elke afzonderlijke meetwaarde een kwaliteitslabel, gebaseerd op statistische routines en tests per type meting. De criteria voor het labelen hebt u beschreven in uw meetplan. Het kwaliteitslabel 'goed' staat gelijk aan het 'doorstaan van alle validatietests'. Validatietests die u hebt laten uitvoeren, afhankelijk van uw meetdoel(en). De meetdata zijn dan geschikt om te gebruiken bij de analyse of u voldoet aan uw meetdoel(en). Het kwaliteitslabel 'goed' betekent dus niet automatisch dat deze data de 'waarheid' weerspiegelen. Wel is de verwachting dat de afwijking met de werkelijkheid acceptabel is. Bij het beoordelen van de kwaliteit is zowel de precisie als de betrouwbaarheid van belang (zie Nauwkeurigheid).

Voorbewerken van de ruwe meetdata

Voordat u de ruwe meetgegevens kunt valideren en labelen, moet u de tijdreeksen van de gemeten parameters equidistant maken. Dit betekent dat u ervoor zorgt dat de tijd tussen twee opeenvolgende waarnemingen in de hele meetreeks gelijk is. Daarbij moet u ontbrekende waarnemingen aanvullen. Deze voorbewerking kunt u doen met interpoleren.

Als u te maken hebt met snelle variaties in de processen die u meet, kan het zijn dat u meetreeksen moet aggregeren (bij elkaar brengen). Daarbij gaat u met de meetgegevens aan de slag op een grotere tijdschaal, waardoor u de gegevens met meer betrouwbaarheid kunt beoordelen. Als u bijvoorbeeld meetgegevens op uurbasis in plaats van per minuut beoordeelt, kijk u niet meer naar de individuele waarnemingen, maar naar 60 geaggregeerde waarnemingen per uur.

Validatieniveau

Hoe u de voorbewerkte meetdata vervolgens valideert, is afhankelijk van de kwaliteit die u nodig hebt en de beschikbare tijd. Voor de analyse van het functioneren van systemen of objecten hebt u naast betrouwbare data meerdere aaneengesloten meetperioden zonder ontbrekende waarnemingen nodig. Hierbij hebt u de tijd om de data (uitgebreid) te valideren. Bij realtimecontrol (RTC) moet u direct over de gegevens beschikken, dus moet de datakwaliteit ook direct bekend zijn. Maar ook voor RTC hebt u betrouwbare data en volledige meetreeksen nodig.

Voor uw validatie kunt u daarom kiezen uit twee niveaus:

basisvalidatie;
uitgebreide validatie.

Basisvalidatie

De basisvalidatie bestaat uit controles die u relatief snel en eenvoudig kunt doen. Deze validatie voert u frequent uit, bijvoorbeeld elke week. Bij RTC-toepassingen hebt u de data meteen nodig en moet u de validatie snel uitvoeren. De routines en tests zijn gericht op de meetdata van individuele sensoren en kwaliteitsaspecten die u direct kunt controleren, zoals:

Numerieke waarde. Betreft de meetwaarde een numerieke meetwaarde?
Activiteit signaal. U kunt de activiteit van de sensor controleren door meerdere opeenvolgende meetwaarden mee te nemen in de validatieroutine. De spreiding is dan een maat voor de activiteit van de sensor.
Dubbele waarnemingen. Controle op verschillende meetwaarden met dezelfde datum/tijd-stempel.
Meetbereik. U controleert of de meetwaarde binnen het ingestelde meetbereik valt. Ook kunt u controleren op het fysieke meetbereik (bodem van de constructie en het maaiveldniveau). In de metadata van de sensor geeft u de onder- en bovengrens aan.
Barometrische correctie. Waterniveaumetingen met druksensoren hebben een luchtdrukcompensatie nodig. Deze compensatie gebeurt in de praktijk op basis van een tweede drukmeting in de buitenlucht of met een luchtslangetje dat het membraan verbindt met de buitenlucht. De controle op barometrische correctie houdt in dat u controleert of de luchtdrukcompensatie correct functioneert.
Staptrend en outlier. In de basisvalidatie controleert u plotselinge veranderingen in de waarnemingen van een individuele sensor. Dit doet u op een kleine tijdschaal (een aantal opeenvolgende waarnemingen). Wat u acceptabel vindt als afwijking tussen twee waarnemingen, hebt u aangegeven in uw meetplan. In de beoordeling neemt u ook recent gevallen neerslag mee. Dan kunt u deze waarnemingen selecteren en eruit filteren. Een afwijkende waarneming gedurende één enkele tijdstap is een outlier. Bij een staptrend is sprake van meerdere tijdstappen. In de uitgebreide validatie beoordeelt u op een grotere tijdschaal (meetreeks).
Ontbrekende waarnemingen. De tijdstap tussen opeenvolgende waarnemingen is groter dan de ingestelde meetfrequentie.

Uitgebreide validatie

Bij een uitgebreide validatie kijkt u niet alleen naar individuele sensoren, maar ook naar relaties tussen sensoren op verschillende meetlocaties en neemt u langere tijdsperioden in beschouwing. Een uitgebreide validatie voert u ook periodiek uit, bijvoorbeeld elke twee weken of elke maand. U kunt controleren op:

Lineaire trend. Lineair verloop van de waarnemingen over een langere tijdsperiode (sensordrift). Het controleren van sensordrift bij grondwaterniveaumetingen vraagt om speciale aandacht. Het grondwaterpeil vertoont namelijk altijd een stijgende of dalende trend in de tijd. Om sensordrift waar te nemen, moet u dus ook andere grondwatersensoren in de omgeving meenemen in de controle. Let hierbij op dat de sensoren zich in hetzelfde watervoerende pakket bevinden. Bij het beoordelen van een lineaire trend neemt u ook recent gevallen neerslag mee. Om op een lineair verloop te controleren, moet u minimaal een meetperiode van zes maanden in beschouwing nemen.
Correlatie- en regressieanalyse. Deze analyses gaan uit van een aanwezige statistische relatie tussen waarnemingen op de ene meetlocatie met waarnemingen op een andere meetlocatie in hetzelfde systeem. Als de statistische relatie gaat afwijken van de historische relatie, dan is dit een aanwijzing voor afwijkend systeemgedrag of een fout in de waarnemingen. U onderzoekt of de meetreeks van de sensor waarnaar u kijkt te verklaren is uit de andere meetreeksen. De criteria die u hierbij hanteert (wat u als 'te verklaren' beschouwt), hebt u beschreven in uw meetplan.

Hoe u deze analyses inricht, is afhankelijk van het type meting. De inrichting verschilt voor het aantal op andere meetlocaties mee te nemen sensoren en de tijdsduur waarover de controle plaatsvindt. Toegepaste methoden zijn bijvoorbeeld autocorrelatie en kruiscorrelatie. Met autocorrelatie onderzoekt u de relatie tussen waarnemingen in dezelfde reeks. Bij kruiscorrelatie vergelijkt u twee meetreeksen van verschillende locaties en onderzoekt u in welk mate het verloop van de waarnemingen van de reeksen op elkaar lijken.
Reactie van meetparameters en systeem op neerslag.

Toekennen kwaliteitslabel aan meetwaarden

Als resultaat van de validatieprocedure kent u een kwaliteitslabel toe aan elke individuele meetwaarde. U voert de verschillende controles in een vooraf vastgestelde volgorde uit. Deze volgorde bepaalt u op basis van hoe belangrijk u de verschillende controles vindt. Elke controle heeft een eigen kwaliteitslabel. U bepaalt zelf of u toegekende labels in latere controles laat overschrijven of niet. Een meetwaarde krijgt dus het label van de controlestap waar de waarde niet voldoet aan de gestelde criteria. Als alle controlestappen zijn doorlopen zijn en aan alle gestelde criteria is voldaan, krijgt de meetwaarde het label 'goed'.

Het validatieproces is zo veel mogelijk geautomatiseerd. Handmatige validatie vergroot de kans op fouten en kost meer tijd. Maar geautomatiseerd gevalideerde meetdata moet u wel controleren.

Kunstmatige intelligentie

Bij het valideren van meetgegevens gebruiken adviesbureaus en data-analisten steeds vaker kunstmatige intelligentie (artificial intelligence) en algoritmes. De ontwikkelingen op dit gebied gaan snel en bieden vele mogelijkheden voor de validatie en controle van uw meetgegevens. Dergelijke software is standalone verkrijgbaar, maar ook als een online service.

Menselijke controle nodig

Met software gebaseerd op kunstmatige intelligentie detecteert u afwijkend en vreemd systeem- of objectgedrag. Deze software en programma's voeren acties uit waarvoor doorgaans menselijke intelligentie nodig is. De ingebouwde intelligentie is gebaseerd op historische gegevens. Meestal komt dat neer op het herkennen van patronen in de meetgegevens. De software leert als het ware van de historische patronen en baseert beslissingen daarop. Maar in het stedelijk waterbeheer kunnen zich omstandigheden voordoen die de historische patronen dusdanig beïnvloeden dat dit ongewenste gevolgen heeft voor de acties die volgen. Denk aan het wijzigen van in- en/of uitslagpeilen van pompen, het veranderen van drempelpeilen van overstorten of het vervangen van een sensor met een afwijkende NAP-hoogte van het nulpunt (referentieniveau). Als u kunstmatige intelligentie en algoritmes toepast, moet u daarom ook altijd de resultaten controleren.

Stap 1: Verwerken meetgegevens