Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Stroomstoring in Equinix EN-1 datacentrum (Enschede)

  • Door
  • Randy ten Have
  • geplaatst op
  • 4 juni 2009 08:09 uur

equinixlogoWoensdagmiddag heeft er een stroomstoring plaatsgevonden in het Equinix EN-1 datacentrum in Enschede. De ND-IX meldt dat de storing om 14:58 uur begonnen is. Rond 15:10 uur zou de ND-IX switch in Enschede weer bereikbaar zijn.

De ND-IX laat in een verklaring weten niemand te kunnen bereiken in het datacentrum op het moment van de storing. Marco Vader van Equinix bevestigt dit. “Ook een deel van het kantoornetwerk en de telefooncentrale waren onbereikbaar”. Vader geeft aan dat een deel van de dienstverlening onderbroken is en niet het gehele datacentrum. In een mailing naar de (directe) klanten viel te lezen: “De oorzaak is een technische storing in onze noodstroomvoorziening (UPS). De situatie is hersteld en stabiel. Er wordt op dit moment door ons personeel en de leverancier onderzocht hoe dit heeft kunnen gebeuren en hoe we dit in de toekomst gaan voorkomen.”

Dennis Wijnberg van Oxilion, dat meer dan 1000 servers in het datacentrum heeft staan, laat weten dat alle servers van zijn bedrijf  op de lokatie Enschede zonder stroom zaten. “Momenteel zijn alle technici aan het werk op de datavloer om alle 1200 servers te controleren. Sales belt alle klanten om hen in te lichten over de storing. Een team zal vanavond op kantoor blijven om de telefoon te bemannen tot de laatste server weer in de lucht is”.

Igor, 4 juni 2009 8:46 am

Een gezellige dag. Pluspunt, er waren broodjes beschikbaar voor klanten. Minpunt, slechte crisismanagement -> weinig kvm's en omdat de deuren niet functioneerden moest je soms minuten wachten voordat iemand van equinix je van de ene zaal naar de andere zaal of naar buiten kon brengen. Dat kon beter.

Igor, 4 juni 2009 9:01 am

En nog even een reactie op een quote van Marco Vader:
"Vader geeft aan dat een deel van de dienstverlening onderbroken is en niet het gehele datacentrum."

Ons is verteld dat de hele datacentrum een paar seconden zonder stroom heeft gestaan (excl. kantoorvloer omdat die een eigen ups heeft). Aan het aantal klanten dat er gisteren rond liep viel ook wel te zien dat het niet alleen maar 'een deel van de dienstverlening' was.

Laurens, 4 juni 2009 9:50 am

'deel van de dienstverlening': alleen EN1, niet Amsterdam of Zwolle. Maar inderdaad ook in de bunker is de stroom eraf geweest. Dat is wel zorgwekkend.

Broodjes hebben wij gemist, we waren voor 17u klaar... jammer of eigenlijk ook niet.

@Igor: mooi dat Mathijs z'n eigen KVM mee genomen had. Heb jij ook nog van kunnen profiteren. Breng je hem hier langs? Taart is altijd lekker... hahaha.

Marco, 4 juni 2009 12:14 pm

Ik ben wel reuze benieuwd naar de technische verklaring ervan waarom dit heeft kunnen gebeuren, zodat ook andere datacenters ervan kunnen leren.

@Igor: het waren geen paar seconden, doch iets van miliseconden, want ik zie nog een uptime van meer dan 900 dagen.

Jan, 5 juni 2009 8:00 am

Dennis Wijnberg: Oxilion heeft er uren uitgelegen. Hoe is dat inderdaad mogelijk? De stroomstoring duurde toch slechts heel kort? Hebben jullie je zaakjes wel goed op orde daar?

Dennis Wijnberg (Oxilion), 5 juni 2009 8:58 am

Jan; Jazeker hebben wij de "zaakjes" goed op orde.

Ons netwerk heeft er voor veel klanten een kwartier uit gelegen, voor anderen een half uur. Natuurlijk, en dat weet je bij stroomuitval, kunnen sommige systemen blijven hangen.

We moesten 1200 servers starten, gelukkig hebben we daar weinig ervaring mee. Dit is namelijk de eerste globale storing in vier jaar.

Ik beantwoord je vraag het liefst met een rondleiding in het datacenter en een kijkje in de keuken bij Oxilion. Stuur mij even een e-mail, dan plannen we direct een datum!

Wido, 5 juni 2009 9:53 am

@ Jan, ik heb zelf destijds in RedBus een storing van 800ms mee gemaakt, maar dat resulteert snel in 4 uur downtime.

Alle servers moeten opnieuw opstarten, je moet vaak ook nog filesystem checks draaien en daarna kom je er achter dat een server weer staat te wachten op een andere die nog niet boot.

Vervolgens wil er bij zo'n tik ook nog wel eens een RAID-array in puin liggen waardoor het er allemaal niet makkelijker op wordt.

Dus even 1200 servers weer up brengen is niet iets wat je "even" doet.

Marco, 5 juni 2009 4:06 pm

Tja, tegen stroomuitval doe je weinig. Je kunt hele kritieke systemen in een failover configuratie uitvoeren, maar ik weet niet of Oxilion klanten heeft die zoiets eisen. Is ook niet altijd even triviaal om te doen, weet ik uit ervaring (nog afgezien van de kosten die dat met zich meebrengt). Doe je het niet, dan ben je inderdaad grotendeels afhankelijk van de kwaliteit die je datacenter levert op dit gebied. Kennelijk ging het bij Equinix al heel lang goed, waarvoor hulde.

Dennis Wijnberg (Oxilion), 5 juni 2009 4:09 pm

Marco; We hebben inderdaad klanten die dat eisen. Er zijn een aantal klanten gewoon door blijven draaien. Die klanten hebben een multi-datacenter setup met Amsterdam (AM1) of Zwolle (ZW1).

Deze storing heeft voor die mensen dan ook geen impact gehad.

Marco Alink, 5 juni 2009 6:24 pm

Dennis/Marco:

Inderdaad hulde dat het zo lang goed heeft gefunctioneerd. Wat ik wel goed vind dat oxilion zoiets kan bieden aan klanten. Dan is het niet alleen locatie, maar ook datacenter onafhankelijk.

Marco

evert, 9 juni 2009 8:02 pm

Equinix heeft nu 4 ups-en in Enschede en kan nu genoeg power leveren. Is de storing niet het gevolg van de modificatie aan de UPS-en, die laats heeft plaats gevonden? De ups (geen imv) voor de kantoren (EN1) moet worden voorzien van nieuwe batterijen, deze zijn te oud. Mijn calculaties geven aan dat er meerdere storingen zullen volgen EN1, ZW1 en AM1, mits...

Marco Alink, 9 juni 2009 8:21 pm

Evert: Wat heeft de kantoor ups te maken met het productieproces (zalen). Ze zijn bezig met een grondig onderzoek heb ik me weten te vertellen. Als jij op basis van vermoeden denkt dat AM1 en ZW1 ook zullen volgen ben je wel heel zeker van je zaak.

Ik weet dat de opzet van ZW1 en AM1 totaal anders is als die van EN1. Natuurlijk zal Equinix de nodige maatregelen treffen voor de andere locaties als ze de oorzaak weten.

  • Pingback: Downtime in 2009… « JANWIERSMA.COM

  • Laatste reacties

    Bedankt voor het succes van ISPam.nl
    Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

    Bedankt voor het succes van ISPam.nl
    Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

    Bedankt voor het succes van ISPam.nl
    L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

    Bedankt voor het succes van ISPam.nl
    Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

    Bedankt voor het succes van ISPam.nl
    Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.