- Door
- Arnout Veenman
- geplaatst op
- 1 december 2010 08:01 uur
Na anderhalf jaar storingsvrij te zijn, heeft SIDN nu te maken met een zeer ernstige storing aan het domeinregistratiesysteem (DRS), waarbij zowel de productie als de failover omgeving niet functioneren. Als gevolg hiervan was het vanaf maandagmiddag 16:00 uur tot 22:00 uur en vervolgens vanaf dinsdagmorgen 7:30 uur niet mogelijk om nieuwe .nl-domeinnamen te registreren.
Storing productie omgeving
De storing begon maandagmiddag aan een switch in het BIT datacentrum in Ede, waar de DRS productie omgeving draait. Door problemen met een switch was het noodzakelijk om de database server te rebooten. Na de reboot bleek de switch echter volledig defect. In verband met de drukte op de weg als gevolg van de sneeuwval werd besloten om over te schakelen op de failover omgeving in een ander datacentrum in plaats van om de switch te vervangen.
Storing failover
Na enkele uren van testen of de failover omgeving stabiel was, werd daar naar overgeschakeld en kwam DRS weer beschikbaar. Dinsdagochtend om 7:30 uur blijkt het echter weer fout te zijn gegaan. De failover omgevingwerktniet meer. Oorzaak zou zijn gelegen in een defecte hardeschijf. Daarnaast zou er ook een bug in het Oracle platform zitten dat als gevolg van de problemen is geactiveerd. Als gevolg hiervan is de database van de failover omgeving (die op dat moment als productie draaide) corrupt geraakt en wilde niet meer opstarten. De storing werd pas relatief laat opgemerkt door dat ook de monitoring van SIDN niet goed functioneerde.
Oplossing
SIDN is hierop gaan werken aan een work-around met betrekking tot de bug in Oracle. Uiteindelijk heeft SIDN besloten om de switch bij de productie omgeving te vervangen en de failover omgeving te herstellen en te proberen woensdagochtend om 8:30 uur weer in bedrijf te zijn. Om 6:45 uur liet SIDN via Twitter weten dat de zogenaamde intaketest succesvol was verlopen en dat DRS om 8:30 uur daadwerkelijk weer in bedrijf zal zijn. Indien dat gehaald wordt heeft de storing alsnog maar liefst 40,5 uur geduurd, waarvan er 30 uur lang geen .nl-domeinnamen konden worden geregistreerd of gemuteerd.
Reactie SIDN
In een reactie laat SIDN woordvoerster Lycke Hoogeveen gisteravond weten dat men druk bezig is om het probleem te verhelpen van de storing. Zodra de storing is verholpen volgt een uitgebreide rapportage van hoe het zo mis kon gaan en wat daar de oorzaak van is. Hoogeveen voegt daar wel aan toe dat het probleem op zichzelf niet aan DRS lijkt toe te schrijven, maar dat het probleem voornamelijk is toe te schrijven aan het platform waar DRS op draait. Hoogeveen stelt terecht dat ook het ontwerp en beheer daarvan ook de verantwoordelijkheid van SIDN is.
