Databewerking

Bewerking bij datakwaliteitsproblemen Bewerking van data kan nodig zijn als de kwaliteit van de ruwe data onvoldoende is voor gebruik. De uitkomsten van de datavalidatie kunnen aanleiding geven om de data te bewerken, bijvoorbeeld door voor een structurele afwijking (bias) te corrigeren. Tabel A geeft voorbeelden van mogelijke databewerkingen. Tabel A Voorbeelden van mogelijke databewerkingen Kwaliteitsprobleem Mogelijke bewerking Data onbetrouwbaar of onnauwkeurig Markeren of labelen Wiskundig bewerken (optellen, vermenigvuldigen) Verwijderen Vervangen Deze bewerking uitvoeren op individuele data of selecties Data ontbreken Interpoleren voor ontbrekende data Dataformaat niet bruikbaar voor externe toepassingen Aanpassen dataformaat Interpoleren voor het genereren van een equidistante meetreeks Belangrijk is dat de beheerder informatie over de uitgevoerde bewerkingen bij de bewerkte data voegt. Verder moeten de ruwe data altijd beschikbaar blijven. Bewerking voor externe toepassingen Directe (realtime)koppeling tussen telemetrie en externe toepassingen (zoals rioolberekeningsprogramma’s) komt in de praktijk niet veel voor. Wel bestaan (toekomst)visies waarbij één systeem rioolbeheer, telemetrie en rioolberekeningen uitvoert. Maar vaak is het al een probleem om de verschillende toepassingen überhaupt met elkaar te kunnen laten communiceren. Om vanuit rioleringsbeheer een rekenmodel op te zetten, is bijvoorbeeld het SUF-HYD-formaat ontwikkeld. Om de meetgegevens uit het telemetriesysteem voor modellen te gebruiken, is ook standaardisatie nodig. Omzetten niet-equidistante tijdreeks Voor het invoeren van tijdreeksen in externe toepassingen als rekenprogramma’s, moeten deze reeksen meestal equidistant zijn. Dat wil zeggen dat de intervallen tussen alle meetwaarden gelijk zijn. Om gegevens uit het telemetriesysteem in een voor rekenprogramma’s bruikbaar formaat te exporteren, moet de tijdas van het geëxporteerde bestand dus ook equidistant zijn. Dit is het geval als: het loginterval vast is (bijvoorbeeld eens per vijf minuten of per minuut); er geen verschuiving in de tijdas is door klokafwijkingen; er geen meetwaarden ontbreken. Een dergelijke meetreeks komt in de praktijk zeer weinig voor. Neem dus in het telemetriesysteem een voorziening op die een niet-equidistante tijdreeks kan omzetten naar een equidistante tijdreeks. Gebruikers moeten meetgegevens meestal handmatig uit het telemetriesysteem overbrengen naar externe toepassingen. Dan is het handig als de metingen in tabelvorm beschikbaar zijn, zodat ze eenvoudig zijn te kopiëren en te plakken. Is dit niet mogelijk, dan moeten de gebruikers de (gevalideerde) meetgegevens exporteren naar een apart bestand en deze vervolgens in de externe toepassing inlezen (zie Rapportage).