Controle van rioleringsdata via machine learning

Machine learning biedt mogelijkheden om geautomatiseerd bestaande en nieuwe patronen in datasets te vinden en op basis daarvan de datakwaliteit te meten en mogelijke fouten (outliers) te ontdekken.

Aanleiding voor de proefneming

Machine learning biedt mogelijkheden om geautomatiseerd bestaande en nieuwe patronen in datasets te vinden en op basis daarvan de datakwaliteit te meten en mogelijke fouten (outliers) te ontdekken.

Phinion BV (Rotterdam) biedt met Quality-Bot (Q-Bot) een geavanceerde vorm van controle van datakwaliteit. Op initiatief van Phinion heeft in de eerste helft van 2022 een proof-of-concept (PoC) plaatsgevonden om Q-Bot te testen op rioleringsdata van gemeenten Maasgouw en Den Haag en Waternet Amsterdam. Phinion en Stichting RIONED danken de gemeenten ook voor hun cofinanciering.

De rioleringsdata van de drie gemeenten was conform de GWSW-standaard (https://www.riool.net/gwsw), zodat bij succesvolle toepassing Q-Bot ook toegepast kan worden op alle andere GWSW-conforme datasets.

Doelen van deze proefneming zijn:

• Het ontdekken van kwaliteitsregels in GWSW-rioleringsdata,
• Het voorbereiden van operationaliseren van die kwaliteitsregels in Q-Bot en
• Het kwantificeren en visualiseren van de gemeten datakwaliteit en opvallende en foute datapunten.
• De PoC levert potentieel ook verbeterpunten op voor de GWSW-standaard.

Aanpak

Samen met de deelnemers van de PoC hebben we de volgende stappen doorlopen (zie figuur 1):

Resultaten

De PoC heeft bewezen dat Q-Bot relevante kwaliteitsregels ontdekt. Zowel regels die specifiek voor gemeenten gelden als algemeen geldende regels voor de GWSW. De gemeenten vervulden daarbij een belangrijke rol in het toetsen van de resultaten: snijden ze hout of niet?

Op basis van de beperkte ervaringen in de proefneming lijken de inzichten en presentatie middels de Q-Engine duidelijk en faciliteren ze het corrigeren van data. Gemeente Maasgouw heeft bijvoorbeeld al tijdens de Proof of Concept een aantal verbeteringen direct uitgevoerd.

Wanneer gemeenten datakwaliteit verbeteren in lijn met de GWSW, draagt dit bij aan de ontwikkeling én toegevoegde waarde van de standaard.

Het beschikbaar stellen van datakwaliteit-tooling (figuur 2) heeft een positieve impact op het ecosysteem van gemeenten en partners door bijvoorbeeld onderhandelingen met leveranciers te faciliteren.

Ervaringen van de deelnemende beheerders

Freek Verhoef namens gemeente Den Haag:

“Het machine learning algoritme vond patronen die ik direct herkende als logisch en relevant. Soms leken dit open deuren, maar dit is juist de kracht, vind ik. Ze zijn namelijk gevonden door het model en niet door de mens.

Ik zie potentie om de uitkomsten van verschillende gemeentelijke datasets met elkaar te vergelijken. We kunnen dat met elkaar in gesprek over de data. Bijvoorbeeld: waarom sla je bepaalde gegevens op en de andere gemeente niet? Dit biedt kansen om nieuwe, nog niet bekende verbeteringen door te voeren en van elkaar te leren.”

Thomas Staverman namens Waternet:

“Tijden de PoC hebben we toepasbare verbanden gevonden, bijvoorbeeld in de conversie van ons pakket naar de GWSW waar cm’s in plaats van mm’s werden geregistreerd.”

John Peeters van gemeente Maasgouw:

“Met de analyse kunnen we snel data kwaliteit verbeteren, dit is fijn want de gemeente Maasgouw heeft minder capaciteit dan bijvoorbeeld Den Haag en Waternet. Tijdens de PoC heb ik dankzij de analyses al een hoop verbeteringen kunnen doorvoeren.”

Conclusies

De GWSW-standaard biedt een kans voor gemeenten om significante verbetering van de datakwaliteit te realiseren door het toepassen van tools zoals Q-Bot:

• Conformeren aan standaard is minder foutgevoelig en effectief;
• Aanvullend op gemeentespecifieke data, is mogelijk om deze te verwerken in Data Quality Management Systeem;
• Mogelijkheid om van elkaar te leren;
• Kleine gemeenten kunnen profiteren van extra resources van grote gemeenten;
• Kostenbesparend om het collectief op te pakken.

Next steps

Er ligt een kans om met elkaar verder aan de slag te gaan met datakwaliteit:

• Gemeenten kunnen aan de slag met een standaardset aan kwaliteitsregels;
• Repareren en verbeteren van de conversie vanuit de GIS-software naar de GWSW;
• Verbeteren van de GWSW standaard.

Het is mogelijk om met deze data zelf aan de slag te gaan en kennis te maken met de software. Geïnteresseerden kunnen een mail sturen naar lvanderdrift@phinion.com om toegang tot de PoC omgeving te krijgen. Deze bevat de analyse van de leidingdata van de drie gemeenten die deelnamen aan de PoC met de daaruit opgestelde kwaliteitsregels en resultaten.