Network Rail reageerde niet op vragen over de proeven die WIRED stuurde, inclusief vragen over de huidige status van AI-gebruik, emotiedetectie en zorgen over privacy.
“We nemen de veiligheid van het spoorwegnet uiterst serieus en gebruiken een reeks geavanceerde technologieën op onze stations om passagiers, onze collega’s en de spoorweginfrastructuur te beschermen tegen misdaad en andere bedreigingen”, aldus een woordvoerder van Network Rail. “Wanneer we technologie inzetten, werken we samen met de politie en veiligheidsdiensten om ervoor te zorgen dat we proportionele actie ondernemen en altijd voldoen aan de relevante wetgeving met betrekking tot het gebruik van surveillancetechnologieën.”
Het is onduidelijk hoe wijdverspreid de analyse van emotiedetectie is, waarbij documenten af en toe zeggen dat de use case ‘met meer voorzichtigheid moet worden bekeken’ en stationsrapporten zeggen dat het ‘onmogelijk is om de nauwkeurigheid te bevestigen’. Gregory Butler, CEO van data-analyse- en computervisiebedrijf Purple Transform, dat aan de tests met Network Rail werkte, zegt echter dat de mogelijkheid tijdens tests is uitgeschakeld en dat er geen beelden zijn opgeslagen terwijl deze actief was.
Network Rail-documenten over AI-proeven beschrijven meerdere gebruiksscenario’s, waaronder de mogelijkheid dat camera’s automatische waarschuwingen naar personeel sturen wanneer ze bepaald gedrag detecteren. Geen van beide systemen maakt gebruik van controversiële gezichtsherkenningstechnologie, die tot doel heeft de identiteit van mensen te matchen met die opgeslagen in databases.
“Het belangrijkste voordeel is een snellere detectie van inbraakincidenten”, zegt Butler, die eraan toevoegt dat het analysesysteem van zijn bedrijf, SiYtE, op 18 locaties wordt gebruikt, waaronder treinstations en langs het spoor. Butler zegt dat er de afgelopen maand vijf ernstige gevallen van geknoei zijn ontdekt door de systemen op de twee locaties, waaronder een tiener die een bal oppakte van de fairway en een man die ‘meer dan vijf minuten besteedde aan het oppakken van golfballen op de golfbanen’. lijnsnelheid.”
Op het treinstation van Leeds, een van de drukste buiten Londen, zijn 350 CCTV-camera’s gekoppeld aan het SiYtE-platform, zegt Butler. “Analytics worden gebruikt om de stroom mensen te meten en problemen te identificeren, zoals drukte op platforms en natuurlijk ongeautoriseerde toegang – waarbij technologie werknemers op de route door hun PBM-uniform kan filteren”, zegt hij. “AI helpt menselijke operators, die niet continu alle camera’s kunnen monitoren, om veiligheidsrisico’s en problemen in te schatten en snel op te lossen.”
Documenten van Network Rail beweren dat camera’s die op één station, Reading, werden gebruikt, de politie in staat stelden het onderzoek naar fietsendiefstallen te versnellen door de fietsen op de beelden te kunnen lokaliseren. “Het bleek dat hoewel de analyses de diefstal niet op betrouwbare wijze konden detecteren, het wel de persoon met de fiets kon detecteren”, staat in de bestanden. Ze voegen er ook aan toe dat de nieuwe luchtkwaliteitssensoren die bij de proeven worden gebruikt, het personeel tijd kunnen besparen bij het handmatig uitvoeren van controles. Eén AI-instantie gebruikt sensorgegevens om ‘zweterige’ vloeren, die glad zijn geworden door condensatie, te detecteren en het personeel te waarschuwen wanneer ze moeten worden schoongemaakt.
Hoewel de documenten enkele elementen van het proces beschrijven, zeggen privacy-experts dat ze zich zorgen maken over het algehele gebrek aan transparantie en debat over het gebruik van AI in de openbare ruimte. In een artikel dat is ontworpen om problemen met de gegevensbescherming in de systemen te beoordelen, zegt Hurfurt van Big Brother Watch dat er sprake lijkt te zijn van een “afwijzing” van mensen die mogelijk privacyproblemen hebben. Eén vraag luidt: “Zullen sommige mensen bezwaar maken of het opdringerig vinden?” Een medewerker schrijft: “Normaal gesproken niet, maar voor sommige mensen is er geen boekhouding.”
Tegelijkertijd worden soortgelijke surveillancesystemen voor kunstmatige intelligentie die gebruik maken van crowd-monitoringtechnologie over de hele wereld steeds vaker gebruikt. Tijdens de Olympische Spelen in Parijs later dit jaar zal AI-videobewaking duizenden mensen in de gaten houden en menigten, wapengebruik en verlaten gebouwen proberen te detecteren.
“Systemen die mensen niet identificeren zijn beter dan systemen die dat wel doen, maar ik maak me zorgen over het hellende vlak”, zegt Carissa Véliz, universitair hoofddocent psychologie aan het Institute for Ethics in AI, Universiteit van Oxford. Véliz wijst op soortgelijke proeven met kunstmatige intelligentie in de Londense metro, waarbij aanvankelijk de gezichten van mensen die mogelijk een ritje hadden vermeden, vervaagden, maar vervolgens de aanpak veranderde, waarbij de wazige foto’s werden verwijderd en de beelden langer bewaard bleven dan oorspronkelijk gepland.
“Er is een zeer instinctief verlangen om de surveillance uit te breiden”, zegt Véliz. ‘Mensen willen graag meer zien, verder zien. Maar toezicht leidt tot controle, en controle leidt tot het verlies van vrijheid dat de liberale democratieën bedreigt.”