Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Grafix datacentrum Alphen aan de Rijn getroffen door stroomstoring

  • Door
  • Randy ten Have
  • geplaatst op
  • 5 januari 2010 08:04 uur

Het Grafix datacentrum in Alphen aan de Rijn is gisteren getroffen door een stroomstoring. Deze werd veroorzaakt door een breuk in een middenspanningskabel (10,5 kV, RtH) van de Nuon. Hierdoor ontstond een korte dip in de stroomvoorziening.

Directeur Marco van Gink laat op Webhostingtalk weten dat er sprake was van twee stroomstoringen enkele seconden na elkaar. De eerste storing werd opgevangen door de UPS, maar toen de spanning terug keerde, schoot deze in bypass mode. Bij de tweede dip in de spanning pakte de UPS de stroom niet meer op, waardoor de spanning circa 2 seconden wegviel.

Niet alle servers hadden problemen met deze dip. Enkele servers bleven aan, anderen begonnen te rebooten, waardoor individuele powerfeeds overbelast werden. Sommige klanten melden dat zij slechts problemen hadden op één van de twee powerfeeds, waardoor een deel van de servers gewoon bleef werken.

Grafix heeft vorig jaar de gehele infrastructuur en UPS-systemen vervangen. Ondanks deze in een N+1 opstelling staan, heeft de UPS toch gefaald. Onderzoek moet uitwijzen waarom dit gebeurd is om dergelijke storingen in de toekomst te verhelpen.

Andries Louw Wolthuizen, 5 januari 2010 9:49 am

Ach, ik ben er tenminste nu zeker van dat mijn servers na stroomuitval weer gewoon netjes terugkomen, de hele boel was amper 3 minuten down hier.

Wel jammer, want het gaat verder super in Alphen! Hopelijk kan men met de opgedane kennis in de toekomst dit soort zaken voorkomen.

Sebas, 5 januari 2010 9:55 am

[quote]
Wel jammer, want het gaat verder super in Alphen! Hopelijk kan men met de opgedane kennis in de toekomst dit soort zaken voorkomen.
[/quote]

Dat is al zo vaak gezegd..

Andries Louw Wolthuizen, 5 januari 2010 10:06 am

@Sebas:
Sorry hoor, maar het is "pas" de tweede stroomstoring in de geschiedenis van Alphen a/d Rijn. De eerste vond ook nog eens plaats tijdens aangekondigd onderhoud, en duurde amper 5 seconden.

Natuurlijk zou het helemaal niet mogen voorkomen, maar men doet ook daar meer dan hun best.

Wouter, 5 januari 2010 11:09 am

@Andries Louw Wolthuizen:
Ik denk dat Sebas mede doelt op stroomstoringen die GrafiX heeft gehad in Capelle a/d IJssel. Is dan welliswaar een ander datacenter, maar van dezelfde partij. Het datacenter in Capelle a/d IJssel is zo ongeveer Europees kampioen stroomstoringen. In de korte tijd dat het datacenter in Alphen door GrafiX wordt gerund, is het nu al weer 2x raak geweest. Op de één of andere manier lijkt GrafiX niet capabel genoeg om de stroom goed op orde te brengen in hun datacenters. Hoe lang een stroomstoring dan ook duurt, hij hoort er helemaal niet te zijn!

Alex Bik, 5 januari 2010 11:24 am

Wat ik niet zo goed begrijp is de zin 'Sommige klanten melden dat zij slechts problemen hadden op één van de twee powerfeeds'. Hoezo twee powerfeeds als de UPS opstelling N+1 is? Ik kan me voorstellen dat er klanten zijn die meerdere groepen in hun rack hebben, maar als de UPS-en N+1 zijn uitgevoerd, worden die door dezelfde UPS-set gevoed. Hoe kan het dan dat een feed uitvalt en de andere niet?

Marco Alink, 5 januari 2010 12:31 pm

@Alex:
Nou het kan natuurlijk ook zijn dat de 2de feed niet uit de UPS-straat komt, maar gewoon uit het net. Dan is het in theorie mogelijk dat de server door kan blijven draaien, mits de spanningsdipjes in de marges vallen. want er staat niet bij wat voor een dip het is geweest.

gompie, 5 januari 2010 12:49 pm

Misschien had Ispam ook een paar klanten van Grafix moeten vragen wat die er nou eigenlijk van vinden. Deze klant pakt in ieder geval zijn spulletjes en gaat er heel, heel heel heel erg snel weg.

Robbert, 5 januari 2010 1:40 pm

Diep triest en onacceptabel.. dit is al de 2e storing in 'e'en jaar tijd in Alphen a/d Rijn.. whats next?

Overigens waren beide feeds volledig onbereikbaar.. enkel servers met een spanningsdelay bleven draaien; zo ook veel netwerkapparatuur welke na 1 of 2 sec nog altijd bleven draaien.

@wouter: helemaal juist..

Bernard, 5 januari 2010 3:06 pm

Alle servers hebben dezelfde hoeveelheid tijd een stroomonderbreking gehad (50-60ms).
Mede afhankelijk van het type voeding dat een server gebruikt en de belasting van de server
kan de server deze spanningsdip hebben overbrugt. Voornamelijk de combinatie van de
grootte van de voeding en de afname belasting die de server werkelijk heeft is de oorzaak
dat een server niet uitvalt bij spanning verlies.

Elke voeding heeft aan zijn ingang een condensator, dit wordt verplicht om te voldoen
aan de normen die gelden wat betreft EMI/EMC. Dit zijn onder andere beïnvloeden van
buitenaf. Beïnvloeden van buitenaf zijn bijvoorbeeld: pieken, storingen maar dus ook
spanningdip’s. Zo zullen de meeste servers hieraan voldoen en mogen dus bij een
Korte dip niet wegvallen. Hoe groter de voeding, hoe groter ook de condensator moet zijn,
en er dus meer energie opgeslagen kan worden en dus langere spanningsdip’s kan overbruggen.

Een aantal servers en netwerkapparatuur heeft de spanningsdip kunnen overbruggen,
het is niet te zeggen dat een bepaald merk/type server beter met een spanningsdip kan
omgaan. (door bijvoorbeeld het type CPU dat gebruikt wordt en dus minder belasting).

Andries Louw Wolthuizen, 5 januari 2010 3:41 pm

@gompie:
Verhuizen gaat je meer downtime kosten dan je ooit gehad hebt in Alphen a/d Rijn. Maar ieder mag gelukkig zijn eigen keuzes maken.

@Alex Bik:
Zoals ik het begrijp is elke feed van een eigen UPS en stroompad voorzien, en binnen elke UPS is N+1 redundantie toegepast. Hoe deze N+1 geïnterpreteerd moet worden is altijd maar te bezien.

Het zou kunnen dat de ene UPS dus anders gehandeld heeft dan de ander, maar gezien de fabrikant en configuratie waarschijnlijk hetzelfde zullen zijn, lijkt me dit niet erg waarschijnlijk, en ik denk dat Bernard zijn uitleg de juiste is.

Robbert, 5 januari 2010 3:44 pm

@Andries,

nee beide feeds komen op de zelfde UPS uit..

Andries Louw Wolthuizen, 5 januari 2010 3:48 pm

@Robbert:
Oké, wat is dan het exacte nut van 2 feeds in Alphen, behalve een ander stroompad/zekeringen? Of is het om high-density oplossingen van genoeg prik te voorzien?

Sebas, 5 januari 2010 6:38 pm

@Andries

Om je rack te kunnen voorzien van max 28A belast?

Sebas, 5 januari 2010 6:39 pm

(dus 2 x 16A waarvan max 14A belast)

Marco, 5 januari 2010 6:45 pm

De directe relaties zijn vanmiddag op de hoogte gebracht van aankomende onderhoudswerkzaamheden door de leverancier. Verdere informatie kan door directe relaties opgevraagd worden bij ons.
Eventuele technische vragen of toelichting kunnen ook gericht worden aan mij persoonlijk.

De uitval op 4 januari is ontstaan wegens het niet correct functioneren van de UPS'en zoals geleverd, geconfigureerd en opgesteld door leverancier en fabrikant. Dit wordt tijdens het reeds kenbaar gemaakte onderhoud onderzocht.

Met excuses voor de overlast, Marco.

Andries Louw Wolthuizen, 5 januari 2010 6:48 pm

High-density dus, akkoord, ik vermoedde dat het ook geleverd werd als zijnde oplossing voor servers met dubbele voedingen, zodat men uitval van 1 van beide feeds kan tolereren. En ik begreep inderdaad dat beide feeds afgezekerd waren op 16A per rack, om zo de pieken bij het opstarten op te vangen.

Leslie Kinross, 5 januari 2010 6:56 pm

In het Alphen Datacenter van Grafix is absoluut geen sprake van redundantie. Het is er niet en de beschrijving van wat er is gebeurd bevestigt dit.
Alle positieve reacties hierboven ten spijt, die naar alle waarschijnlijkheid komen van klantjes met een of twee servers, die bovendien wellicht een toezegging hebben gekregen van Grafix omtrent afstel van betaling, is het droevig gesteld wanneer er binnen 12 maanden drie onafgekondigde power failures voorkomen in een redundant rekencentrum. De vraag is echter: hoe gaat Grafix dit aanpakken met de klanten die daar staan met meer dan een 100 of meer servers ?
Iemand hierboven noemde in reactie zijn vertrek uit het Grafix datacenter, niet geheel onverstandig naar mijn mening. De vraag is alleen: is het een kleine of een grote vis ? To be continued !

Leslie Kinross, 5 januari 2010 7:05 pm

Wie legt mij uit dat wanneer er sprake is van twee feeds per kast, A en B, beide feeds down gaan als er redundantie aanwezig is ? Het kan gewoon niet, in Alphen staan beide feeds op één en dezelfe aansluiting.

Andries Louw Wolthuizen, 5 januari 2010 7:14 pm

@Leslie:
Het is de 2e powerfailure in Alphen, waarvan, zoals gezegd, de eerste ruim van tevoren "aangekondigd" was aan directe relaties, gezien het vervanging van de UPS-en betrof.

Daarbij, het grootste gedeelte van hun cliënteel staat er met enkele tientallen racks, ik heb nog geen signalen ontvangen van die partijen omtrent een mogelijk vertrek. Voor zover ik weet is het percentage klanten met 1 of 2 servers erg laag bij GrafiX zelf, en dit zal dan ook echt gezocht moeten worden in de reselling van rackruimte.

Andries Louw Wolthuizen, 5 januari 2010 7:19 pm

@Leslie:
En omtrent die feeds is ook al veelvuldig besproken in de reacties hierboven, deze zijn enkel bedoeld om hoge vermogens te leveren aan racks, dit is dan ook een uniek aspect in Alphen, en maakt het een zeer geschikte locatie voor high-density oplossingen zoals de co-locatie van blade servers.

Robbert, 5 januari 2010 7:22 pm

Leslie,

Traject 1:
NUON -> trafo -> UPS
Aggregaat -> UPS

Traject 2:
UPS -> 1+1+1 (waarvan 2 de load delen, dus N+1).
UPS -> groep B
UPS -> groep A

Valt de UPS uit (volledig), dan vallen zowel de A als B feed uit, je moet dit dan ook meer zien als 2 x A NO-BREAK. Valt een van de UPSen uit dan is er verder niets aan de hand, de HOT-SPARE pakt dit zonder onderbreking direct op.

De gehele installatie is nog geen halfjaar geleden volledig vervangen door gloednieuwe apparatuur en wordt onderhouden door engineers van een extern bedrijf. De installatie is zoals eerder aangegeven volledig redundant: echter het traject naar de racks zelf niet, beide komen uiteindelijk uit op de zelfde UPS.

De beste opstelling zou zijn: A = NO-BREAK en B = direct op het trafostation: zover het natuurlijk uitvoerbaar is.

Het feit blijft dat er gisteren toch het e.e.a. ernstig is fout gegaan wat niet valt goed te praten (we weten allemaal wat de historie is van Capelle en helaas nu Alphen).

Een enkele keer kan natuurlijk gebeuren, maar niet 3 x sinds de opening van het pand; er moeten nu snel koppen met spijkers worden geslagen.

Ik wil hierbij wel meegeven dat de engineers van de UPS zich 110% hebben ingezet en ook met stomheid geslagen en GrafiX duidelijke uitleg geeft over de storingen.

Leslie Kinross, 5 januari 2010 7:27 pm

Ha ha High Density, what a joke. Iemand die krom recht probeert te praten: Welke naam je het beestje ook geeft maakt weinig uit, zolang je het maar geen redundantie noemt. Redundantie is er alleen als er sprake is van twee of meerdere onafhankelijk en gescheiden van elkaar opererende verbindingen. Zodra beide of meerdere over één en dezelfe connectie lopen, is er spake van non-redundantie.
Dus wel redundantie, alleen geen redundantie, maar non-redundantie

Marco, 5 januari 2010 7:35 pm

Er wordt niet gesproken over een redundante verbinding. Er wordt gesproken over een redundante UPS opstelling. Robbert schets dit ook correct in zijn "traject 2" opsomming.
De A- en B-feed worden beiden gevoedt door een redundante UPS opstelling.

Andries Louw Wolthuizen, 5 januari 2010 7:37 pm

@Leslie:
Er is sprake van redundantie in de UPS, er is sprake van redundantie in stroomvoorzieningen (generatoren naast hoofdstroom), er is enkel geen sprake van redundantie in feeds.

High density is geen "joke", maar je mag gerust aan ons mededelen waarom dat jouw inziens wel zo is, i.p.v. er lacherig over te doen.

Marco Alink, 5 januari 2010 8:08 pm

Mijn voorkeur gaat uit naar 2 onafhankelijke UPS-straten (lees feeds).
De 2de straat/feed kan dan zelfs op static bypass staan en pas overschakelen naar batterij power indien noodzakelijk.

High Density racks leveren is mogelijk als je de voeding naar de kasten zo dimensioneerd dat de andere feed het volledige vermogen over kan nemen van de wegvallende.

Leslie Kinross, 6 januari 2010 4:53 am

Zolang er twee feeds op een kast uitkomen, en in geval van stroomuitval beide feeds geen stroom meer leveren, is er geen sprake van redundantie, en moet je het ook niet als zodanig adverteren.
Als beide feeds op één en dezelfde UPS zijn aangesloten, wat is dan de zin om twee feeds per kast te hebben ?
High Quality servers met redundante stroomaansluiting liggen in het Alphen Datacenter, wat er ook gebeurt, plat, zo plat als een dubbeltje ! Omdat beide feeds dood zijn, doordat ze beide op een en dezelfde feed binnenkomen. Dat is belachelijk, hnoe je het ook noemt. Mijn server verhuisd wat mij betreft naar een Lower than lower density datacenter waar de server gewoon 5 jaar on line blijft. Mijn servers stonden voorheen bij dezelfde provider, zijn 5 jaar lang NIET plat geweest voorzover het stroom bnetreftt. Netwerk plat is een andere zaak. Sinds mijn servers in Alphen staan zijn ze deze keer meegeteld, drie keer plat geweest, waarvan tweemaal onaangekondigd. Naar mijn mening sta ik dan niet in een datacenter. Ene Robbert haalt Capelle erbij ? Is er een connectie ? In ieder geval heb ik toezegging van mijn provider dat mijn servers elders geplaatst worden, of ze gaan vertrekken uit Alphen maakt mij verder niet uit, het geeft mij een beter gevoel dat mijn servers er zo snel mogelijk weg zijn.

Dirk, 6 januari 2010 11:54 am

"Ene Robbert haalt Capelle erbij ? Is er een connectie ?"

Zoek maar even op Grafix hier op ISPam.

Feedback!
Fill out my online form.
Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.