Stroomstoring in Easynet DC Schiphol

Gisteravond en afgelopen nacht heeft er een flink stroomstoring plaats gevonden in Easynet DC Schiphol. De storing vond plaats in een zekeringskast die alleen gebruikt wordt voor de suite van euro-accesss. De storing betrof in eerste instantie enkel de B-feed, zodat er relatief maar een klein gedeelde van de racks in de euro-access suite uitviel, dit gebeurde rondom 17:30 uur gistermiddag.

Bij aankomst in het datacentrum rondom 18:30 constateerde euro-access dat er in de zekeringkast 15 stroomgroepen offline waren, die gezamelijk verantwoordelijk zijn voor de B-feeds. Alle A-feed stroomgroepen waren gewoon online. Na enig onderzoek bleek dat er een hoofdzekering van Easynet gesprongen was.

Het vervangen van hoofdzekeringen van totaal 160A mag enkel door gekwalificeerd personeel, dat op dat moment niet direct beschikbaar was. Na overleg werd besloten om de B-feeds van stroom te voorzien vanaf de stroomfase die ook de A-feeds van stroom voorziet, gezien deze volgens de berekening dit zou moeten kunnen trekken. Door dit zou uit te voeren, waren zowel de A- als de B-feeds in de euro-access suite weer online rondom 20:30 uur.

Nadat dit geregelt was, werden alle servers stuk voor stuk gecontroleerd om er voor te zorgen, dat alles weer draaide. Waarna het vervangen van de zekering en het terug gaan naar de normale stroomvoorziening later zou plaats vinden. Rondom 1:15 uur bleek dat de stroom volledig was uitgevallen in de euro-access suite, doordat nu ook de stroomfase die nu naast de A- ook de B-feeds van stroom voorzag, het begeven had, onder de extra capaciteit die de B-feeds nodig hadden.

Gezien de hoge nood werd besloten om de hoofdzekeringen zelf te vervangen, dit werd zo gedaan rondom 2:00 uur. Hierna werden de racks weer stuk voor stuk online gebracht, waarbij werd getracht om de load zoveel mogelijk te verdelen tussen de A- en de B-feeds om er voor te zorgen dat de hoofdzekeringen er niet opnieuw uitklapten.

Nu is het te hopen dat alles blijft werken en is het te hopen dat er voor gezorgd zal worden, dat dit niet meer gebeurd. Overigens heb ik zo mijn bedenkingen bij het zelf vervangen van 160A hoofdzekeringen. Wat mij hierbij vooral verbaasd is dat hier geen 24/7 contracten voor zijn afgesloten met elektriciens, gezien een datacentrum gericht moet zijn op continuiteit en dit natuurlijk de continuiteit niet ten goede is gekomen.

De volgende smokeping statistiek laat de gevolgen van de stroomstoring duidelijk zien:

Bron: webhostingtalk.nl / #webhostingtalk.nl