Datavalidatie

Kwaliteitscriteria De criteria om de kwaliteit van de meetdata te beoordelen, kunt u koppelen aan: Plausibiliteit: Zijn de meetwaarden aannemelijk gelet op de omstandigheden tijdens de metingen? Bijvoorbeeld lage waterpeilen en debieten tijdens droge omstandigheden en hoge peilen en debieten tijdens neerslag. Liggen de data binnen het verwachte meetbereik? Consistentie: Hangen de data op een logische manier samen? Is er een logisch verband met eerdere en latere metingen en met metingen in de omgeving? Nauwkeurigheid: Hoe nauwkeurig moeten de meetdata zijn en voldoet de nauwkeurigheid aan de meetdoelen? Herleidbaarheid: Is de bron van de data bekend? Hoe en met welke apparatuur is gemeten? Is het noodzakelijke onderhoud aan de apparatuur uitgevoerd? Zijn de data bewerkt? Tijdstempels: Kloppen de opgegeven tijdstempels, zijn de klokken goed gesynchroniseerd? Volledigheid: Zijn de meetseries volledig of ontbreken er meetwaarden? Deze criteria kunt u uitwerken en de grenzen bepalen wanneer de datakwaliteit wel of niet voldoende is voor uw meetdoel(en). Bijvoorbeeld: De toegestane maximale meetfout is 2 cm of 0,1% van de eindschaal + 1 cm. De toegestane maximale afwijking in de tijd is 1 sec. Het maximale aantal metingen dat mag ontbreken, is 0,3% van de geplande metingen. Twee validatieniveaus Hoe u de validatie uitvoert, hangt af van de benodigde datakwaliteit en beschikbare validatietijd. Voor een modelkalibratie hebt u een andere datakwaliteit nodig dan voor sturing (RTC). Voor RTC hebt u de data bovendien meteen nodig en moet u de validatie dus snel kunnen uitvoeren. Voor systeemanalyses en -rapportages kunt u meer tijd gebruiken en kunt u de data dus ook uitgebreider valideren. Om aan beide behoeften te voldoen, kunt u twee validatieniveaus hanteren: een basisvalidatie en een uitgebreide validatie. Basisvalidatie De basisvalidatie begint met de test op locatie die u uitvoert voordat u de meetdata daadwerkelijk gaat gebruiken. De basisvalidatie is gericht op de kwaliteitscriteria nauwkeurigheid en plausibiliteit. De basisvalidatie bestaat uit controles die u relatief snel en eenvoudig kunt uitvoeren. Daarom zijn de controles gericht op de data van de individuele sensoren en kwaliteitscriteria die u direct kunt controleren, zoals: het meetbereik (ligt de meting binnen het bereik van de sensor en binnen wat fysisch mogelijk is); staptrends (verschil tussen twee opeenvolgende metingen); tijdstap (ontbreken er metingen?). Uitgebreide validatie Bij de uitgebreide validatie kunt u ook controleren op volledigheid van de meetseries, trends (verloop) over een langere tijdsperiode en correlaties tussen meetlocaties (consistentietesten). De consistentietesten kunt u uitvoeren voor metingen: die bij elkaar in de buurt liggen in hetzelfde netwerk, bijvoorbeeld overeenkomsten in peil en debietvariatie; in verschillende netwerken, zoals stijging van grondwaterstanden en toename van rioolvreemdwater of overstortgebeurtenissen en een verandering van de oppervlaktewaterkwaliteit. Geautomatiseerde datavalidatie In een telemetriesysteem is de datavalidatie standaard (grotendeels) geautomatiseerd. Dit betekent dat de software automatisch verschillende validatiestappen uitvoert. Hierbij krijgen de data labels als betrouwbaar, onbetrouwbaar en twijfelachtig. De categorie twijfelachtig moet u handmatig controleren om te beoordelen of de data bruikbaar zijn. Datavalidatie in de onderstations De loggers op de onderstations van uw telemetriesysteem kunt u zo programmeren dat zij een eerste validatie uitvoeren. De onderstations sturen vervolgens de gelabelde data naar de hoofdpost. Deze lokale validatie heeft als voordeel dat de belangrijke meetlocaties direct een alarm kunnen versturen als de datakwaliteit niet voldoet. Hierdoor kunt u meteen ingrijpen als een meetopstelling niet goed functioneert. Dit is met name van belang bij metingen die u gebruikt om kunstwerken aan te sturen. Meer informatie over datavalidatie, regels en functionele eisen vindt u bij Meetgegevens verwerking en analyse.