Experimenteren met AI-brugdetectie
Slimme digitale assistent
De hoeveelheid beschikbare data wordt steeds groter en diverser, en bevat te veel informatie om tijdig door een mens te verwerken. Daarom wil Rijkswaterstaat artificiële intelligentie (AI) gebruiken om op een verantwoorde manier nieuwe databronnen en detectiemethoden uit te nutten. Een van de terreinen waarop Rijkswaterstaat experimenteert met AI is (slimme) brugdetectie via beeldherkenning. Karin de Jong en collega William Vermeulen (beiden Rijkswaterstaat Verkeer- en Watermanagement), delen hun ervaringen.
Karin de Jong, trekker Veiliger Bedienen bij Smart Patrol
Rijkswaterstaat (RWS) beheert en onderhoudt 1.143 verschillende bruggen in Nederland: 976 vaste en 167 beweegbare. Brugdetectie is essentieel voor die beweegbare bruggen. In jargon: een operator “schouwt het object via camera’s op locatie” en beoordeelt of de verkeerssituatie veilig is om doorgang te bieden voor de scheepvaart. Karin de Jong, trekker Veiliger Bedienen bij Smart Patrol (het RWS-innovatieprogramma voor scheepvaart), vertelt: ‘Een brug kan alleen veilig open als die vrij is van mensen en verkeer. Operators moeten ervan verzekerd zijn dat de brug vrij is voordat ze die bedienen. En daar zit de crux: mensen kunnen dit niet altijd feilloos constateren. Schaduwvorming, lichtval, weersomstandigheden of ons brein dat informatie ten onrechte filtert – het menselijke brein heeft moeite met het registreren van de aanwezigheid van mensen die lang op dezelfde plek staan – bemoeilijkt het werk van operators. Kunstmatige intelligentie kan het bedien-/schouwproces van operators verbeteren en daarmee hun werk ondersteunen. Zo kan Rijkswaterstaat incidenten voorkomen en bruggen veiliger bedienen.’
"Een brug kan alleen veilig open als die vrij is van mensen en verkeer"
Camera’s op afstand
William Vermeulen, voormalig programmamanager Smart Patrol
Steeds vaker ziet de operator de brug uitsluitend via camera’s en wordt de brug op afstand bediend. Karin de Jong: ‘Mensen denken ten onrechte vaak dat het op locatie en met het blote oog makkelijker te zien is of de situatie veilig is, maar dat klopt niet per se. Je hebt meerdere gezichtspunten nodig om een situatie goed te beoordelen, en één paar ogen is maar één gezichtspunt.’ Door meerdere camera’s op meerdere plekken op te hangen, creëer je meerdere gezichtspunten. Vooral bij bediening op afstand baseert de operator zijn beeld van de situatie daarom op beelden van vier tot soms wel twintig camera’s. ‘Camera’s en bediening op afstand bieden naast de betrouwbaarheid nog een ander belangrijk voordeel’, vertelt William Vermeulen, voormalig programmamanager Smart Patrol*. ‘Vooral op rustigere plekken kun je efficiëntere service verlenen. Op sommige plekken was het vroeger zo dat een brug maar acht uur op een dag werd bediend. De rest van de tijd bleef die dicht. Door meerdere bruggen vanuit een bediencentrale op afstand te bedienen, kunnen we de dienstverlening leveren die nodig is, wanneer die nodig is.’
AI-brugdetectie
Het zijn deze camera’s die een essentiële rol spelen bij AI-brugdetectie. In 2019 daagde Rijkswaterstaat de markt uit met een detectie challenge. Vermeulen: ‘We stelden aan marktpartijen de vraag om werkende oplossingen voor detectie in het brugbedieningsproces te ontwikkelen én werkend te laten zien. Met de winnaar werd in 2021 een proeflocatie op de Biesboschsluis, een lokaal bediende brug, ingericht. In verschillende proeven is daarna bij de Biesboschsluis de potentie van het systeem in de praktijk aangetoond.’ De Jong vertelt hoe het werkt. ‘We gebruiken sensoren en “slimme” camera’s. De camera’s, die al aanwezig zijn, nemen beelden op. Software met beeldherkenning analyseert real-time die beelden en stelt vast of er mensen en/of voertuigen op de brug aanwezig zijn. Deze detectie vindt onder meer plaats tussen het neerlaten van de slagbomen en het openen van de brug. De operator krijgt alleen een melding bij detectie van een gevaarlijk situatie. De melding ondersteunt de operator, het bedienen blijft zijn taak. We zetten het systeem nu dus “redundant” in: als extra check bovenop de gangbare werkwijze. In de huidige fase van het project, testen we het systeem bij de Schellingwouderbrug in Amsterdam. Bij die brug vindt bediening grotendeels op afstand en (in de zomer) deels lokaal plaats. Hier passen we het detectiesysteem toe op bestaande camerabeelden.’
"Alles aan elkaar knopen is maatwerk en kan complex zijn"
Het draait niet alleen om de techniek
Ergens in de komende jaren zou de innovatie in productie moeten komen. Voor het zover is moeten de nodige obstakels worden overwonnen. Karin de Jong: ‘Bij de Schellingwouderbrug hopen we in de loop van 2025 definitief aan te tonen dat het systeem werkt én meerwaarde biedt. Dat is een belangrijke stap. Maar dat betekent niet dat het systeem klaar is voor productie op alle bruggen. Iedere brug is anders. Ook het bediensysteem, de camera’s, cameraposities en de bedienvolgorde verschillen per object. Alles aan elkaar knopen is maatwerk en kan complex zijn. Het algoritme dat weggebruikers op de camerabeelden detecteert is vrij goed, maar we lopen wel tegen problemen met de resolutie of de positie van de beschikbare camera’s aan. In vergelijking met de Biesboschsluis, hangen de camera’s bij de Schellingwouderbrug bijvoorbeeld hoger en is het beeld minder frontaal waardoor het systeem moet bijleren.’ Vermeulen: ‘Het is een complex geheel met veel stappen, waarbij niet alleen de kwaliteit van het systeem zelf een rol speelt. De operator moet er (ook) mee overweg kunnen. Die moet het systeem gebruiken en moet zich ook ondersteund voelen. Het prototype van de user interface zag er bijvoorbeeld aantrekkelijk uit, maar operators kregen zoveel meldingen dat ze tureluurs werden van de rood knipperende kaders en storende meldingen. Dus ontwikkelen we de interface nu in afstemming met diverse betrokkenen, niet in de laatste plaats met de operators. Het gaat bij dit soort innovaties niet (alleen) om de techniek. Techniek, en dat is voor AI niet anders, moet de mens dienen en niet andersom. We zijn aan het pionieren en dat gaat best snel, maar het kost nog steeds veel tijd voordat alle lichten op groen staan.’
Van de brug naar de spitsstrook
De eerdere proef met slimme camera’s voor spitsstroken in 2020 toonde aan dat op dat moment de techniek nog niet betrouwbaar genoeg was voor ondersteuning van de wegverkeersleider.
Het experimenteren, ontdekken en optimaliseren staat ondertussen niet stil bij Smart Patrol. Karin de Jong ziet veel potentie in het AI-detectiesysteem: ‘We denken aan detectie in sluizen en onder bruggen. Nu zou dat allemaal zijn met behulp van camera’s, maar de (detectie)techniek wordt steeds beter. Op den duur willen we uitbreiden met zogeheten anomaliedetectie (detectie van afwijkingen), radar, LIDAR (Light Detection and Ranging)- of warmtesensoren. Waarbij we veel scherper naar afwijkingen van de gewenste situatie kunnen kijken én kunnen detecteren bij alle weeromstandigheden (sneeuw, regen en mist kunnen het zicht van conventionele camera beperken). Waarbij het nu nog steeds gaat om het ondersteunen van brug-, sluis- of tunneloperators, zodat die veilig hun werk kunnen doen. Dat doel verliezen we niet uit het oog.’ William Vermeulen vult aan: ‘Uiteindelijk is dit een eerste stap op weg naar een automatische brug. Maar een brug van deze omvang die open- en dichtgaat zonder dat er een mens aan te pas komt, is nog ver weg.’ Niettemin zijn er veel mogelijkheden, ook voor toepassing op de weg. ‘Rijkswaterstaat kijkt met deze techniek ook naar toepassing in het wegverkeer: kunnen we een spitstrook vrijgeven? Is dat gemelde ongeval via de camera’s ook vroegtijdig te detecteren of verifiëren? Maar we willen eerst de techniek helemaal onder de knie krijgen, dan zetten we pas de stap terug naar wegverkeer.’
* Inmiddels heeft Jelmer de Lange het programmamanagement Smart Patrol overgenomen.