Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Reacties op stroomstoring bij NIKHEF

  • Door
  • Arnout Veenman
  • geplaatst op
  • 29 oktober 2008 08:05 uur

De stroomstoring in het NIKHEF datacentrum in Amsterdam had nogal wat gevolgen. Het dataverkeer via de AMS-IX maakte een snoekduik van 510 Gbit/s naar 300 Gbit/s en ook de tweede Nederlandse internet exchange de NL-ix had een flinke dip in de hoeveelheid dataverkeer. ISPam.nl heeft de direct betrokken partijen, AMS-IX, NL-ix en natuurlijk NIKHEF om een reactie gevraagd over de stroomstoring.

Reactie datacentrum manager van NIKHEF
De datacentrum manager van NIKHEF heeft tegenover ISPam.nl laten weten dat de stroomstoring werd veroorzaakt door een defect UPS-systeem. Op dit moment is het UPS-systeem in NIKHEF nog niet redundant, maar de huidige opstelling heeft de afgelopen 7 jaar keurig gefunctioneerd. Na de stroomstoring ongeveer een jaar geleden, die overigens niet met de UPS-systeem te maken had, is er begonnen met het maken van eenupgrade plan voor de gehele datacentrum faciliteit. Daarbij zal het UPS-systeem worden vervangen en redundant worden uitgevoerd en ook de airco’s zullen dan worden vervangen.

Daarnaast zal er nu ook direct voor een voorlopige oplossing worden gezorgd voor het UPS-systeem, dat op het moment van schrijven nog in bypass draait, waardoor de apparatuur in het datacentrum rechtstreeks door de netspanning gevoed wordt. Echter is het een kwestie van uren voordat daar een oplossing voor zal zijn, verzekerde de datacentrum manager.

Wat betreft het oplossing van de stroomstoring zelf, binnen drie kwartier was er personeel van NIKHEF ter plaatse én binnen een uur ook technici, waardoor de stroomstoring twee uur verholpen was. Volgens de datacentrum manager hebben ze bij NIKHEF geleerd van de stroomstoring een jaar geleden, waarbij het uren duurde voordat er personeel ter plaatse was.

Reactie Anna Kocks van de AMS-IX
In het licht van de twee eerdere incidenten bij SARA, eveneens een academisch datacentrum én de stroomstoring een jaar geleden bij NIKHEF, wordt deze nieuwe stroomstoring hoog opgenomen, liet Anna Kocks van AMS-IX in een reactie tegenover ISPam.nl weten.

In de volgende bestuursvergadering van de AMS-IX zal deze stroomstoring daarom absoluut worden besproken. Ter verduidelijking, AMS-IX is een vereniging die eigenaar is van AMS-IX BV die verantwoordelijk is voor de technische operatie van de internet exchange. Het bestuur van de vereniging is ook meteen het bestuur van de BV maar de dagelijkse leiding van de AMS-IX is in handen van directeur Job Witteman.

Reactie Mischa van Rossum van de NL-ix
Mischa van Rossum van de NL-ix liet in een reactie tegenover ISPam.nl weten dat hij niet exact weet in welke mate de hoeveelheid dataverkeer die via de NL-ix werd uitgewisseld afnam door de stroomstoring. Dit komt door dat de server die de statistieken bijhoudt op NIKHEF staat, ook klopt de grafiek met de totale hoeveelheid dataverkeer niet door grote veranderingen aan de netwerk topologie. Wel schat Van Rossum dat zo’n 50 tot 75 procent van het dataverkeer betrof. Dit niet alleen omdat de NL-ix er zelf in NIKHEF uitlag, maar ook omdat klanten die veel dataverkeer uitwisselen op NIKHEF aansluiten of daar zelf aanwezig zijn.

Inhoudelijk vreest Van Rossum dat stroomstoringen (in de nabije toekomst) er gewoon bij gaan horen, omdat datacentra telkens meer op hun maximale capaciteit draaien, systemen vol belast worden en techniek helaas gewoon stuk kan. NIKHEF heeft wat Van Rossum betreft in het verleden een aantal aanpassingen gedaan waardoor de elektra redelijk op orde is. Enkel een (N+1) redundant UPS-systeem ontbreekt nog. Daarmee had de stroomstoring van gisteren kunnen worden voorkomen.

Wéér een stroomstoring in een academisch datacentrum
Wat ik zelf curieus vind is dat het opnieuw een academisch datacentrum is, dat door een stroomstoring is getroffen. Gezien zowel NIKHEF als SARA ruim een jaar geleden ook al eens een stroomstoring getroffen worden, komt dit de reputatie van (Nederlandse) academische datacentra niet ten goede. Ondanks de mooie woorden over de upgrade plannen van de beheerders van beide datacentra.

Wido, 29 oktober 2008 8:13 am

Afgezien van het feit dat hier geen redundant UPS systeem aanwezig is, waarom zijn veel routers/switches in zulke core positites niet met redundant power aangesloten?

Bij SARA faalde vorige keer één feed, de AMS-IX had netjes alles op twee feeds, maar er waren legio partijen down doordat hun router geen stroom meer had.

Dan denk ik, als je ergens gaat peeren en die router heeft een belangrijke functie voor je netwerk, waarom geen redunant power?

Magus, 29 oktober 2008 8:35 am

Dan ga je er wel vanuit dat het DC in kwestie netjes alle powerfeeds vrijhoudt. Als er op de tweede feed gewoon apparatuur is aangesloten, en feed 1 klapt eruit waardoor alle redundante apparatuur op feed 2 bijschakelt, klapt die er net zo hard uit.

Jurri@n, 29 oktober 2008 8:56 am

Nu ken ik niet alle ins en outs van de organisatie achter AMS-IX, maar hun maning kan ik deels wel raden: SARA en NIKHEF zijn al ruimte tijd geen core-locatie meer van AMS-IX (die zijn verhuist naar GlobalSwitch en EUnetworks). Ik denk dat de enige reden dat ze daar blijven zitten is, dat er (om historische redenen) veel netwerken aangesloten zijn op AMS-IX op SARA en NIKHEF. Als ze daar vertrekken, missen ze plots meer dan de helft van de aangesloten partijen.

Heeft de (voormalig) directeur van AMS-IX een aantal jaren geleden niet eens flink uitgehaald: AMS-IX is volledig redundant en is uitgebreid naar meerdere locaties zodat uptime gegarandeerd kan worden. Alleen veel partijen sluiten hun apparatuur niet redundant aan (en niet op meer dan 1 lokatie).

Robbert, 29 oktober 2008 9:30 am

Jurrien, dat komt natuurlijk door alle kosten. Vergeet niet dat op het sciencepark verschrikkelijk veel fiber in de grond zit. Het gaat een miljoenen operatie worden om alles maar te gaan verhuizen.

Mischa van de NLix heeft een zeer goed punt dat het apparatuur is en dit kan gebeuren. Je zal net zien dat alles naar Telecity2 of Equinix gaat en daar de stroom uitvalt...

Verder zijn de faciliteiten op NikHef en Sara zeker niet underdog vergeleken met andere datacenters..

Uiteindelijk viel de schade reuze mee en mochten er websites zijn die inkomsten zijn misgelopen, dan hadden die zelf maar een redundante setup moeten plaatsen in een ander datacenter en netwerk.

Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.