Grafix datacentrum Alphen aan de Rijn getroffen door stroomstoring

Ach, ik ben er tenminste nu zeker van dat mijn servers na stroomuitval weer gewoon netjes terugkomen, de hele boel was amper 3 minuten down hier.

Wel jammer, want het gaat verder super in Alphen! Hopelijk kan men met de opgedane kennis in de toekomst dit soort zaken voorkomen.

[quote]
Wel jammer, want het gaat verder super in Alphen! Hopelijk kan men met de opgedane kennis in de toekomst dit soort zaken voorkomen.
[/quote]

Dat is al zo vaak gezegd..

@Sebas:
Sorry hoor, maar het is "pas" de tweede stroomstoring in de geschiedenis van Alphen a/d Rijn. De eerste vond ook nog eens plaats tijdens aangekondigd onderhoud, en duurde amper 5 seconden.

Natuurlijk zou het helemaal niet mogen voorkomen, maar men doet ook daar meer dan hun best.

@Andries Louw Wolthuizen:
Ik denk dat Sebas mede doelt op stroomstoringen die GrafiX heeft gehad in Capelle a/d IJssel. Is dan welliswaar een ander datacenter, maar van dezelfde partij. Het datacenter in Capelle a/d IJssel is zo ongeveer Europees kampioen stroomstoringen. In de korte tijd dat het datacenter in Alphen door GrafiX wordt gerund, is het nu al weer 2x raak geweest. Op de één of andere manier lijkt GrafiX niet capabel genoeg om de stroom goed op orde te brengen in hun datacenters. Hoe lang een stroomstoring dan ook duurt, hij hoort er helemaal niet te zijn!

Wat ik niet zo goed begrijp is de zin 'Sommige klanten melden dat zij slechts problemen hadden op één van de twee powerfeeds'. Hoezo twee powerfeeds als de UPS opstelling N+1 is? Ik kan me voorstellen dat er klanten zijn die meerdere groepen in hun rack hebben, maar als de UPS-en N+1 zijn uitgevoerd, worden die door dezelfde UPS-set gevoed. Hoe kan het dan dat een feed uitvalt en de andere niet?

@Alex:
Nou het kan natuurlijk ook zijn dat de 2de feed niet uit de UPS-straat komt, maar gewoon uit het net. Dan is het in theorie mogelijk dat de server door kan blijven draaien, mits de spanningsdipjes in de marges vallen. want er staat niet bij wat voor een dip het is geweest.

Misschien had Ispam ook een paar klanten van Grafix moeten vragen wat die er nou eigenlijk van vinden. Deze klant pakt in ieder geval zijn spulletjes en gaat er heel, heel heel heel erg snel weg.

Diep triest en onacceptabel.. dit is al de 2e storing in 'e'en jaar tijd in Alphen a/d Rijn.. whats next?

Overigens waren beide feeds volledig onbereikbaar.. enkel servers met een spanningsdelay bleven draaien; zo ook veel netwerkapparatuur welke na 1 of 2 sec nog altijd bleven draaien.

@wouter: helemaal juist..

Alle servers hebben dezelfde hoeveelheid tijd een stroomonderbreking gehad (50-60ms).
Mede afhankelijk van het type voeding dat een server gebruikt en de belasting van de server
kan de server deze spanningsdip hebben overbrugt. Voornamelijk de combinatie van de
grootte van de voeding en de afname belasting die de server werkelijk heeft is de oorzaak
dat een server niet uitvalt bij spanning verlies.

Elke voeding heeft aan zijn ingang een condensator, dit wordt verplicht om te voldoen
aan de normen die gelden wat betreft EMI/EMC. Dit zijn onder andere beïnvloeden van
buitenaf. Beïnvloeden van buitenaf zijn bijvoorbeeld: pieken, storingen maar dus ook
spanningdip’s. Zo zullen de meeste servers hieraan voldoen en mogen dus bij een
Korte dip niet wegvallen. Hoe groter de voeding, hoe groter ook de condensator moet zijn,
en er dus meer energie opgeslagen kan worden en dus langere spanningsdip’s kan overbruggen.

Een aantal servers en netwerkapparatuur heeft de spanningsdip kunnen overbruggen,
het is niet te zeggen dat een bepaald merk/type server beter met een spanningsdip kan
omgaan. (door bijvoorbeeld het type CPU dat gebruikt wordt en dus minder belasting).

@gompie:
Verhuizen gaat je meer downtime kosten dan je ooit gehad hebt in Alphen a/d Rijn. Maar ieder mag gelukkig zijn eigen keuzes maken.

@Alex Bik:
Zoals ik het begrijp is elke feed van een eigen UPS en stroompad voorzien, en binnen elke UPS is N+1 redundantie toegepast. Hoe deze N+1 geïnterpreteerd moet worden is altijd maar te bezien.

Het zou kunnen dat de ene UPS dus anders gehandeld heeft dan de ander, maar gezien de fabrikant en configuratie waarschijnlijk hetzelfde zullen zijn, lijkt me dit niet erg waarschijnlijk, en ik denk dat Bernard zijn uitleg de juiste is.

@Andries,

nee beide feeds komen op de zelfde UPS uit..

@Robbert:
Oké, wat is dan het exacte nut van 2 feeds in Alphen, behalve een ander stroompad/zekeringen? Of is het om high-density oplossingen van genoeg prik te voorzien?

@Andries

Om je rack te kunnen voorzien van max 28A belast?

(dus 2 x 16A waarvan max 14A belast)

De directe relaties zijn vanmiddag op de hoogte gebracht van aankomende onderhoudswerkzaamheden door de leverancier. Verdere informatie kan door directe relaties opgevraagd worden bij ons.
Eventuele technische vragen of toelichting kunnen ook gericht worden aan mij persoonlijk.

De uitval op 4 januari is ontstaan wegens het niet correct functioneren van de UPS'en zoals geleverd, geconfigureerd en opgesteld door leverancier en fabrikant. Dit wordt tijdens het reeds kenbaar gemaakte onderhoud onderzocht.

Met excuses voor de overlast, Marco.

High-density dus, akkoord, ik vermoedde dat het ook geleverd werd als zijnde oplossing voor servers met dubbele voedingen, zodat men uitval van 1 van beide feeds kan tolereren. En ik begreep inderdaad dat beide feeds afgezekerd waren op 16A per rack, om zo de pieken bij het opstarten op te vangen.

In het Alphen Datacenter van Grafix is absoluut geen sprake van redundantie. Het is er niet en de beschrijving van wat er is gebeurd bevestigt dit.
Alle positieve reacties hierboven ten spijt, die naar alle waarschijnlijkheid komen van klantjes met een of twee servers, die bovendien wellicht een toezegging hebben gekregen van Grafix omtrent afstel van betaling, is het droevig gesteld wanneer er binnen 12 maanden drie onafgekondigde power failures voorkomen in een redundant rekencentrum. De vraag is echter: hoe gaat Grafix dit aanpakken met de klanten die daar staan met meer dan een 100 of meer servers ?
Iemand hierboven noemde in reactie zijn vertrek uit het Grafix datacenter, niet geheel onverstandig naar mijn mening. De vraag is alleen: is het een kleine of een grote vis ? To be continued !

Wie legt mij uit dat wanneer er sprake is van twee feeds per kast, A en B, beide feeds down gaan als er redundantie aanwezig is ? Het kan gewoon niet, in Alphen staan beide feeds op één en dezelfe aansluiting.

@Leslie:
Het is de 2e powerfailure in Alphen, waarvan, zoals gezegd, de eerste ruim van tevoren "aangekondigd" was aan directe relaties, gezien het vervanging van de UPS-en betrof.

Daarbij, het grootste gedeelte van hun cliënteel staat er met enkele tientallen racks, ik heb nog geen signalen ontvangen van die partijen omtrent een mogelijk vertrek. Voor zover ik weet is het percentage klanten met 1 of 2 servers erg laag bij GrafiX zelf, en dit zal dan ook echt gezocht moeten worden in de reselling van rackruimte.

@Leslie:
En omtrent die feeds is ook al veelvuldig besproken in de reacties hierboven, deze zijn enkel bedoeld om hoge vermogens te leveren aan racks, dit is dan ook een uniek aspect in Alphen, en maakt het een zeer geschikte locatie voor high-density oplossingen zoals de co-locatie van blade servers.

Leslie,

Traject 1:
NUON -> trafo -> UPS
Aggregaat -> UPS

Traject 2:
UPS -> 1+1+1 (waarvan 2 de load delen, dus N+1).
UPS -> groep B
UPS -> groep A

Valt de UPS uit (volledig), dan vallen zowel de A als B feed uit, je moet dit dan ook meer zien als 2 x A NO-BREAK. Valt een van de UPSen uit dan is er verder niets aan de hand, de HOT-SPARE pakt dit zonder onderbreking direct op.

De gehele installatie is nog geen halfjaar geleden volledig vervangen door gloednieuwe apparatuur en wordt onderhouden door engineers van een extern bedrijf. De installatie is zoals eerder aangegeven volledig redundant: echter het traject naar de racks zelf niet, beide komen uiteindelijk uit op de zelfde UPS.

De beste opstelling zou zijn: A = NO-BREAK en B = direct op het trafostation: zover het natuurlijk uitvoerbaar is.

Het feit blijft dat er gisteren toch het e.e.a. ernstig is fout gegaan wat niet valt goed te praten (we weten allemaal wat de historie is van Capelle en helaas nu Alphen).

Een enkele keer kan natuurlijk gebeuren, maar niet 3 x sinds de opening van het pand; er moeten nu snel koppen met spijkers worden geslagen.

Ik wil hierbij wel meegeven dat de engineers van de UPS zich 110% hebben ingezet en ook met stomheid geslagen en GrafiX duidelijke uitleg geeft over de storingen.

Ha ha High Density, what a joke. Iemand die krom recht probeert te praten: Welke naam je het beestje ook geeft maakt weinig uit, zolang je het maar geen redundantie noemt. Redundantie is er alleen als er sprake is van twee of meerdere onafhankelijk en gescheiden van elkaar opererende verbindingen. Zodra beide of meerdere over één en dezelfe connectie lopen, is er spake van non-redundantie.
Dus wel redundantie, alleen geen redundantie, maar non-redundantie

Er wordt niet gesproken over een redundante verbinding. Er wordt gesproken over een redundante UPS opstelling. Robbert schets dit ook correct in zijn "traject 2" opsomming.
De A- en B-feed worden beiden gevoedt door een redundante UPS opstelling.

@Leslie:
Er is sprake van redundantie in de UPS, er is sprake van redundantie in stroomvoorzieningen (generatoren naast hoofdstroom), er is enkel geen sprake van redundantie in feeds.

High density is geen "joke", maar je mag gerust aan ons mededelen waarom dat jouw inziens wel zo is, i.p.v. er lacherig over te doen.

Mijn voorkeur gaat uit naar 2 onafhankelijke UPS-straten (lees feeds).
De 2de straat/feed kan dan zelfs op static bypass staan en pas overschakelen naar batterij power indien noodzakelijk.

High Density racks leveren is mogelijk als je de voeding naar de kasten zo dimensioneerd dat de andere feed het volledige vermogen over kan nemen van de wegvallende.

Zolang er twee feeds op een kast uitkomen, en in geval van stroomuitval beide feeds geen stroom meer leveren, is er geen sprake van redundantie, en moet je het ook niet als zodanig adverteren.
Als beide feeds op één en dezelfde UPS zijn aangesloten, wat is dan de zin om twee feeds per kast te hebben ?
High Quality servers met redundante stroomaansluiting liggen in het Alphen Datacenter, wat er ook gebeurt, plat, zo plat als een dubbeltje ! Omdat beide feeds dood zijn, doordat ze beide op een en dezelfde feed binnenkomen. Dat is belachelijk, hnoe je het ook noemt. Mijn server verhuisd wat mij betreft naar een Lower than lower density datacenter waar de server gewoon 5 jaar on line blijft. Mijn servers stonden voorheen bij dezelfde provider, zijn 5 jaar lang NIET plat geweest voorzover het stroom bnetreftt. Netwerk plat is een andere zaak. Sinds mijn servers in Alphen staan zijn ze deze keer meegeteld, drie keer plat geweest, waarvan tweemaal onaangekondigd. Naar mijn mening sta ik dan niet in een datacenter. Ene Robbert haalt Capelle erbij ? Is er een connectie ? In ieder geval heb ik toezegging van mijn provider dat mijn servers elders geplaatst worden, of ze gaan vertrekken uit Alphen maakt mij verder niet uit, het geeft mij een beter gevoel dat mijn servers er zo snel mogelijk weg zijn.

"Ene Robbert haalt Capelle erbij ? Is er een connectie ?"

Zoek maar even op Grafix hier op ISPam.