Principes voor dataopslag

Capaciteit De logfrequentie, de dynamiek van de te meten parameter en het opslaggeheugen bepalen hoeveel meetgegevens vóór verzending of uitlezing zijn te bewaren. Met de huidige opslagtechnieken is de benodigde opslagcapaciteit feitelijk geen ‘issue’ meer. Lokale dataloggers bergen inmiddels gemakkelijk gigabytes aan gegevens. Wel kunnen de communicatiekosten bij grote hoeveelheden data fors oplopen. Dit is afhankelijk van het type verbinding. Daarom is het belangrijk dat het systeem geen nutteloze meetdata logt en verstuurt. Voorbeeld beperken dataverkeer Voor niveaumetingen (drukopnemers) zijn vaak hoge frequenties (eens per minuut) nodig. Bij gebruik van batterijen is het belangrijk inzicht te houden in de batterijspanning, om sensoruitval te voorkomen. Maar het systeem hoeft de batterijspanning niet met dezelfde frequentie te loggen als de niveaus. Eens per dag is voldoende. Dit scheelt bijna de helft in de hoeveelheid datacommunicatie. Capaciteit benutten Om de capaciteit van de datalogger en de communicatieverbinding zo veel mogelijk te benutten, worden in de praktijk de volgende technieken gebruikt: Variabele ‘sampletijden’: De sampletijd is de tijd tussen twee opeenvolgende metingen. Deze tijd is afhankelijk van de situatie in te stellen, bijvoorbeeld een hogere meetfrequentie tijdens rwa dan bij dwa. Deze methode is niet aan te raden, vanwege de grote kans op het missen van data (te laat starten met meten). Bovendien introduceert deze methode verschillende tijdintervallen in de meetreeks. Dit is voor de dataverwerking minder wenselijk. Bij variabele ‘sampletijden’ is het bijvoorbeeld lastiger te detecteren of meetgegevens missen dan bij een equidistante tijdreeks (met gelijke intervallen). Ook voor verder gebruik (bijvoorbeeld in rioolmodellen) is een equidistante tijdreeks meestal wenselijk. Variabele frequentie van de gegevensregistratie: In plaats van de sampletijden te variëren, kunt u ervoor kiezen om niet altijd alle meetwaarden te registreren. Een voorbeeld hiervan is een niveau-meter in een overstortput die alleen de meetwaarden registreert tijdens overstortingen. Ook deze methode introduceert verschillende tijdintervallen in de meetreeks. Comprimeren van gegevens: De gegevens in de geheugenbuffer zijn ook gecomprimeerd op te slaan. Het opslaan van ‘10 x 0’ kost minder geheugen dan ‘0 0 0 0 0 0 0 0 0 0’. In de IT-wereld zijn geavanceerde algoritmes beschikbaar waarmee gegevens zijn te comprimeren. Synchronisatie Een niet te onderschatten aspect bij de dataopslag is datum/tijd-synchronisatie. Een tijdverschuiving in de meetgegevens door ongelijke kloktijden is bijzonder vervelend bij de verwerking en inter-pretatie van de meetgegevens. Bij een centrale computer met vaste onderstations is de datum/tijd-synchronisatie geen probleem. Dan is de systeemtijd de kloktijd. Bij mobiele onderstations (zoals SMS en GSM) moet de meetapparatuur worden gelijkgezet met de centrale tijd. Dit kan door de onderstations regelmatig de juiste datum/tijd toe te zenden. Bijvoorbeeld bij het dagelijks verzenden van de meetgegevens of door de datum/tijd als radiosignaal te verzenden.   Met name bij de combinatie van stand-alone- en onlineapparatuur kunnen de klokken ongelijk gaan lopen. Optimaal is één centrale tijdregistratie in de vorm van de centrale systeemtijd. Bij het uitlezen moeten de klokken hierop gelijk worden gezet. Lokaal opslaan of direct verzenden Gegevens zijn lokaal te bewaren en periodiek te versturen. Dan is een lokale opslag nodig om de periode tussen de gegevensverzendingen te overbruggen. Bij lokale (stand-alone)dataloggers is een gebruikelijke opslagtermijn drie tot zes maanden.   Als het meetsysteem de gegevens direct naar een centrale computer transporteert, is ook een geheugenbuffer nodig: Het doorgeven van (meet)gegevens aan de hoofdpost gebeurt in de vorm van ‘pakketjes’. Daarom is altijd een (kleine) geheugenbuffer nodig. Zonder geheugenbuffer zouden bij een storing in de verbinding met de hoofdpost direct gegevens verloren gaan. Niet alle communicatieverbindingen zijn continu. Uit kostenoverwegingen houdt het systeem bijvoorbeeld een telefoonlijn niet continu open, maar brengt het periodiek een verbinding tot stand. In de tussentijd moet een geheugenbuffer de gegevens opslaan. Gebruikelijk is bijvoorbeeld om de meetgegevens 24 uur op te slaan en dagelijks te verzenden. De geheugenbuffer moet groot genoeg zijn om alle benodigde gegevens tijdens storingen of communicatiepauzes op te slaan. Meestal zijn storingen doorslaggevend voor de grootte van de geheugenbuffer. De minimale buffercapaciteit bepaalt u op basis van de volgende aspecten: De hoeveelheid te registreren gegevens per tijdseenheid, inclusief o.a. overhead en datum/tijd-labels. De (maximale) tijdsduur tussen het optreden en het verhelpen van de storing. De mate waarin gegevensverlies aanvaardbaar is. Overschrijfroutines Als de geheugenbuffer vóór de verbinding met de hoofdpost al vol is, gaan gegevens verloren. Dan overschrijft de buffer oude gegevens met nieuwe meetwaarden: Als de buffer eerst de oudste gegevens overschrijft, is sprake van de FIFO-methode (first in, first out). Als de buffer eerst de meest recente gegevens overschrijft, is sprake van de LIFO-methode (last in, first out).  De drie meest gebruikelijke methoden voor het wegschrijven van meetgegevens zijn: Het overschrijven van het geheugen. Het doorschrijven tot het geheugen vol is en daarna pas overschrijven. Het uitsluitend opslaan van wijzigingen (de zogenaamde samplemethode). Tijdens het wegschrijven/uploaden van gegevens kunnen nieuwe meetgegevens binnenkomen. Zodra de meetwaarden zijn uitgelezen, wist het systeem (een deel van) het geheugen. Hiermee gaan mogelijk ook de in de uitleesperiode binnengekomen gegevens verloren. Daarom is het goed vooraf na te gaan welke methode het systeem gebruikt, wat het risico op gegevensverlies is en in hoeverre dit acceptabel is.