Excuses voor de storing

Toelichting op 2 februari

Reizigers hebben op maandag 2 februari flinke last gehad van een storing bij de verkeersleidingspost van Utrecht Centraal. ProRail betreurt de overlast ten zeerste en biedt de treinreizigers van NS en van andere vervoerders excuses aan voor de storing van afgelopen maandag. We beseffen hoe vervelend de vertragingen zijn voor reizigers en hoezeer wij een beroep doen op de flexibiliteit van vervoerders en hun medewerkers. Vanwege de storing konden de seinen en wissels van verkeersleidingsgebied Utrecht niet bediend worden. Onze verkeersleiders konden hierdoor het treinverkeer niet in goede banen leiden en daardoor was er tot ongeveer 13:00 geen treinverkeer van en naar Utrecht mogelijk. Daarna werd de treindienst gefaseerd opgestart en om 21.00 reden treinen weer volgens het spoorboekje. Vannacht hebben we de systemen extra gecontroleerd. Om er zo zeker van te zijn dat de verkeersleidingsystemen, die wissels en seinen aansturen vanuit de verkeersleidingspost Utrecht, goed werkten. De geconstateerde schade is vannacht direct gerepareerd.


Video



Wat ging er mis?

Weekendwerkzaamheden op zondag 1 februari

De computersystemen en netwerken voor de treinbesturing rond Utrecht bevinden zich in een zwaar beveiligde omgeving van British Telecom (BT) in Nieuwegein, een zogenaamd rekencentrum. De voorzieningen in dit rekencentrum zijn allen dubbel uitgevoerd zoals voeding en airconditioning en voldoen aan de hoogst mogelijke internationaal vereiste standaard (Tier 3).

De stroomvoorziening van dit rekencentrum moet worden uitgebreid. Om deze uitbreiding mogelijk te maken moeten er aanpassingen worden uitgevoerd aan de huidige drie stroomvoorzieningskanalen. In goed overleg met ProRail werd er afgelopen weekend in het rekencentrum gewerkt aan één van de drie huidige stroomvoorzieningskanalen.

ProRail heeft in samenwerking met BT vooraf risicomaatregelen genomen. De aanpassing aan het ene stroomvoorzieningskanaal is afgelopen zondag zonder problemen verlopen. We werden zondag echter wel geconfronteerd met een kortstondige uitval van de systemen. Deze systemen zijn verbonden aan één van de twee stroomvoorzieningskanalen, waar niet aan is gewerkt. De systemen functioneerden na de kortstondige uitval weer normaal. ProRail is de enige gebruiker van het stroomvoedingskanaal waar de kortstondige uitval plaatsvond. Daarom hebben andere gebruikers van het rekencentrum geen hinder ondervonden. 
 

Maandagochtend 2 februari

Op maandagochtend 2 februari viel rond 08.00 uur onverwacht één van de computersystemen van verkeersleidingpost Utrecht uit. Dit betrof een computer die verbonden was met het systeem dat zondag kortstondig is uitgevallen. Het systeem schakelde vervolgens over naar het back-upsysteem, dat het werk over nam.

Door de overschakeling naar de back-up ontstond, naar nu blijkt een te zware belasting op het systeem waar de data van het treinverkeersysteem wordt opgeslagen: de dataserver (Storage Area Network). Hierdoor werd het systeem traag. Er trad een onwerkbare situatie op voor onze treinverkeersleiders. De treinverkeersleiders konden de seinen en wissels buiten niet goed bedienen. Er is toen besloten om een aantal werkplekken van treindienstleiders uit te schakelen. Hierdoor kreeg het totale systeem ‘lucht’ en kon de treindienst rond 12:30 uur beperkt worden opgestart. 
 

Onderzoek en voorlopige conclusie

Uiteraard willen wij graag begrijpen hoe deze storing heeft kunnen plaatsvinden. Daarom laten we door een onafhankelijke partij onderzoek doen naar deze storing. Om te leren van deze storing en in de toekomst deze te kunnen voorkomen. De eerste conclusie is dat het totale systeem inclusief de redundantie (de back-up systemen) in het weekend een ‘tik’ hebben gekregen vanwege de kortstondige uitval die zeer waarschijnlijk ontstond door een verstoring in de stroomvoorziening. Duidelijk is ook dat de ProRail systemen over voorzieningen beschikken die impact van stroomwisselingen moeten voorkomen. Echter het lijkt er op dat dit onvoldoende heeft gefunctioneerd. Onderzoek moet dat nog uitwijzen.


Wat we nu weten is dat daarbij defecten zijn veroorzaakt in de hardware van zowel de dataserver (Storage Area Network) als de redundante computers. Wat we nog niet begrijpen is: wat er met de derde stroomtoevoer in het weekend is gebeurd? En hoe dat tot verschillende defecten in het systeem heeft kunnen leiden? Wat we wel weten, is dat onze redundante systemen hebben gewerkt. Vanaf 8.15 uur is met de redundante systemen gewerkt op de verkeersleidingpost Utrecht. Alleen werkten deze systemen door de defecten vertraagd. Pas toen we werkplekken hebben uitgezet en het systeem lucht hebben gegeven, kon de treindienst opgestart worden. 
 

Onze systemen

ProRail heeft sinds 2007 al haar verkeersleidingsystemen vernieuwd. Er is meer dan 100 miljoen euro geïnvesteerd in het verbeteren van de verkeersleidingsystemen, zoals dubbele computersystemen en –netwerken en upgraden van rekencentra. Deze investeringen hebben geleid tot een reductie van meer dan 80% ICT gerelateerde storingen in de treindienst: 380 in 2007 tegen 50 in 2014. Deze storingen varieren van een kapot computerscherm op de post met één vertraagde trein tot gevolg tot een grote storing in de systemen met veel hinder voor reizigers, zoals gisteren.

Na de brand in de Utrechtse verkeersleidingpost in 2010 is een uitwijkmogelijkheid bij grote calamiteiten voor verkeersleidingposten gerealiseerd. In geval van grote calamiteiten, zoals het afbranden van een verkeersleidingpost kan deze uitwijk het werk binnen vier uur overnemen. Deze uitwijk staat in het Operationeel Controlecentrum Rail (OCCR). Hier is een uitwijk computercentrum en uitwijk seinzaal ingericht.
 

Zijn storingen te voorkomen?

We leven in een maatschappij waarin de afhankelijkheid van ICT steeds groter wordt. Storingen grijpen in op het dagelijks leven van grote groepen mensen. Dat geldt ook voor het treinverkeer. Mede dankzij de hoge automatiseringsgraad kunnen we in Nederland een treinsysteem exploiteren met een hoge benutting, hoge punctualiteit tegen relatief lage kosten. Echter de kwetsbaarheid als gevolg van ICT storingen neemt toe.  

ProRail heeft fors geïnvesteerd in het reductie van kwetsbaarheid middels dubbele uitvoering, uitwijkmogelijkheden van posten en het gebruik van state-of-the-art datacenters. Tegelijkertijd beschouwt ProRail elke storing als één teveel en spant zich tot het uiterste in om storingen voor te zijn en snel op te lossen.   

 

Gepubliceerd op