Datavalidatie

Validatie van meetgegevens is een belangrijk onderdeel van het meettraject. Een praktische combinatie van datavalidatie met telemetrie ligt voor de hand. Bij validatie van de gegevens is het belangrijk vast te leggen hoe dat gebeurt en wat de uitkomsten zijn. Hiervoor zijn data te markeren of labelen. Over datavalidatie vindt u meer informatie in Meetgegevens verwerking en analyse. Voor datavalidatie zijn verschillende opties: Handmatige datavalidatie. De gebruiker kopieert de bestanden met meetgegevens naar een rekenprogramma als MS Excel of Matlab en voert daarin validatiebewerkingen op de data uit. Deze aanpak is wijdverbreid, maar is arbeidsintensief en kent weinig standaardisatie. Hierdoor is de uiteindelijke datakwaliteit afhankelijk van de vakbekwaamheid van de gebruiker. Geautomatiseerde datavalidatie. Controle van de meetgegevens vindt automatisch op gezette tijden plaats of zodra het systeem de gegevens inleest. Automatisering van datavalidatie brengt standaardisatie van validatieregels met zich mee. Er zijn gestandaardiseerde en goed gedocumenteerde testen op onder meer nulpuntsdrift, ontbrekende waarden en waarden buiten het betrouwbaarheidsinterval. Deze optie is aan te bevelen, maar komt in de praktijk nog (te) weinig voor. Geautomatiseerde datavalidatie is prima op te nemen in een telemetriesysteem. Dit betekent dat het telemetriesysteem software bevat die automatisch verschillende datavalidatiestappen uitvoert. Als functionele eisen voor datavalidatie kunt u de datavalidatieregels uit Meetgegevens verwerking en analyse voorschrijven. Te vaak vindt geen datavalidatie plaats (de 0-optie). Dit betekent vrijwel altijd dat de meetgegevens – en daarmee het duurbetaalde meetproject – praktisch waardeloos worden. In de software van zowel de onderstations als de hoofdpost is datavalidatie op te nemen: De PLC’s van de onderstations zijn zó te programmeren, dat ze de gelogde meetgegevens automatisch testen op ontbrekende waarden en waarden buiten het meetbereik. Vervolgens is naar de hoofdpost een markering mee te sturen die de kwaliteit van de data weergeeft. Ook alarmering op basis van afwijkingen in de datakwaliteit is mogelijk, zodat de beheerder direct kan ingrijpen als een meetopstelling niet goed functioneert. Behalve basale checks kan de hoofdpost ook uitgebreidere datavalidatiestappen uitvoeren. Bijvoorbeeld meetgegevens van verschillende onderstations vergelijken. Naast de bestaande telemetriesystemen zijn er voor automatische datavalidatie en verdere systeemanalyse aparte, specifieke pakketten. Hiervoor moet de beheerder de meetgegevens exporteren uit het telemetriesysteem. Dit vraagt dus om extra handelingen. Daarom ligt het voor de hand om geautomatiseerde datavalidatie zo veel mogelijk in het telemetriesysteem te integreren. Leveranciers zouden in elk geval basale checks standaard in hun systeem moeten opnemen. Zoals het overschrijden van het betrouwbaarheidsinterval en ontbrekende data.