Stroomstoring in het SARA datacentrum

Afgelopen zaterdag is Amsterdam-Oost door een stroomstoring getroffen, hierdoor moesten veel datacentra overschakelen op hun noodstroomvoorzieningen. Dit gold ook voor de datacentra op het Amsterdamse Sciencepark: NIKHEF, SARA en Telecity 1.

De overschakeling naar noodstroom ging in vrijwel alle datacentra goed, behalve in SARA waar naar eigen zeggen één van de vier UPS-systemen dienst weigerde, waardoor in het SARA datacentrum gedurende 6 seconden op één feed de stroom wegviel. Daarna sprong de generator van het datacentrum aan en was de stroom weer terug, echter was het kwaad toen al geschied.

SARA is één van de datacentra waar op de Amsterdam Internet Exchange (AMS-IX) kan worden aangesloten, hierdoor had de stroomstoring ook gevolgen voor de AMS-IX connectiviteit van een aantal ISP’s. AMS-IX stuurde kort na de stroomstoring de volgende melding naar de bij haar aangesloten ISP’s (en andere leden):

Half our power feeds at AMS-IX housing site SARA went away for several seconds.

During this event, the platform continued to forward traffic normally, though judging from ports going down several members at SARA seem to have lost power completely. Most if not all of them have come back.

En inderdaad in de statistieken van de AMS-IX van gisteren is een kleine dip te zien in de hoeveelheid dataverkeer die via de AMS-IX werd uitgewisseld. Al herstelde dit zich snel doordat de relatief kleine hoeveelheid dataverkeer die het betrof waarschijnlijk eenvoudig via een andere route kon worden verstuurd en veel apparatuur snel weer terug online kwam.

De zelfde dag nog stuurde SARA de volgende uitleg naar de partijen die apparatuur hebben gecolocate in het SARA Amsterdam datacentrum:

On October 4th, approximately between 16:03 hrs and 18:00 hrs, a large area of Amsterdam has suffered from a severe power outage. Unfortunately also Science Park Amsterdam, where one of the SARA Datacenters is located, was confronted with this failure.

The Emergency Power Supply took over the major part of the power delivery, but unfortunately one of our four UPS systems malfunctioned.
As a result some customers experienced a short outage of approximately 6 seconds on one of their two powerfeeds. After the 6 seconds the generators came online and provided full power on all feeds, including the affected one. However, a small number of racks needed a manual reset and was affected longer. The failure had consequences among others for the internet traffic and some other SARA services. At this moment most services are restored.

By now the external power situation is stable and normal again. SARA is investigating the cause of the malfunction of the UPS system. If needed, the generator will preventive be put online and running.

Dat is een nette uitleg van SARA en drie van de vier UPS-systemen deden het wel én een generator nam de spanning over, waardoor de schade beperkt bleef.