Menselijke fout oorzaak van stroomstoring in het Easynet datacentrum

16 Reacties op “Menselijke fout oorzaak van stroomstoring in het Easynet datacentrum”

Paul op 6 augustus 2007 om 16:05

Toch gek dat organisaties als de NL-ix & Hyves hier ook problemen van hebben ondervonden. Je zou toch zeggen dat deze minimaal gebruikmaken van een A & B feed.

Zo blijkt maar weer dat er toch veel mensen voor een lage prijs in plaats van kwaliteit kiezen.

joop op 6 augustus 2007 om 19:25

Dan moet Easynet wel a + b feed leveren

sommige racks hebben dan wel 2 feeds maar bleken 2x A feeds te zijn (verkeerde label) andere racks hebben dus 2 x B feed.

Menselijkfout kan maar kortsluiting met duizenden amps??

dat moet een enorme schade opleveren. brand, explosie
zal wel een te kleine zekering zijn geweest zoals Easynet dat vaker heeft gehad.

Simon op 6 augustus 2007 om 19:52

Dan maar liever een DC die hoge qualiteit levert. Menselijke fout my ass! Dit zijn dingen die niet mogen kunnen gebeuren. Helemaal zwak om het nog op de klanten af te schuiven. Nee geef mij maar BIT uit Ede b.v. daar heb je dit soort problemen niet.

MikeN op 6 augustus 2007 om 20:18

>Daar heeft Easynet wel een punt.
> Waarom niet 500 euro uitgeven voor een STS-switch,
> waardoor alle servers in je rack gebruik maken van zowel de A- en B-stroomfeed?

Omdat je dan 500 euro uitgeeft om nog een SPOF te creëren?

Kom op zeg, een hele feed in een DC hoort niet weg te vallen. Een nog raarder verhaal is dat de UPS het wel overnam maar de generatoren niet startten, apart verhaal. Blijkbaar hebben ze het dus voor elkaar gekregen om tussen de generatoren / utility feed en de UPS wat te slopen ?

Rick van Kerkvoorden op 7 augustus 2007 om 00:32

(Kort)sluiting hoorde ik ook van de Easynet engineer ter plaatse, ook dit lijkt mij redelijk onwaarschijnlijk. Zoals joop al zei, kortsluiting op die schaal zou een enorme klap gegeven moeten hebben. Naar mijn weten zou Easynet ongeveer 75% volstaan, als één rack 8 AMP zou verbruiken, zou dit dus uitkomen ~ 15000 AMP aan verbruik bij 3750m2!

Je zou simpel met een vrachtwagen over de bekabeling moeten kunnen rijden, en dan gebeurd er nog niets.

Uit ervaring kan ik zeggen dat het stroommanagement bij Easynet al eerder een issue geweest, en dit nu weer het probleem blijkt te zijn.

Wij (Euroaccess) hebben ongeveer 25 racks in totaal spanningloos gehad, van mijn collega bij LeaseWeb vernam ik dat zij nog veel meer down hadden door dit geintje.

Tevens zijn wij ook nog niet via de officiele kanalen op de hoogte gebracht van de oorzaak van deze storing, het laatste woord is hier zeker nog niet over gesproken.

Mochten collega-hosters binnen Easynet dit onderwerp discusseren, sta ik uiteraard tot hun beschikking.

Peter - XS-24 op 7 augustus 2007 om 00:33

Zoals joop zegt, dan heb je wel A + B nodig .

Peter - XS-24 op 7 augustus 2007 om 00:39

Even nadere uitleg:

Wij hebben 2 APC’s, beide op een andere groep, toch zijn beide uitgevallen, we zullen van Easynet dus wel 2 x A hebben gekregen. De schuld kan dus weer mooi richting hun .

Marco op 7 augustus 2007 om 06:20

Tja,
Met alleen A en B feed kom je er ook niet.
Stel je rack is afgezekerd op 2 feeds van 10A.
Je vult je rack netjes met 1HE blikken met dubbele voeding.

Er van uit gaande dat je netjes alles hebt verdeeld over 2 fases en met elkaar dan 2 * 7A verbruikt.

Valt er nu 1 feed uit dan gaat het stroom verbruik van de ene naar de andere feed. Dus 14A op een feed die max 10A mag gebruiken. Tja, die vliegt er na tig seconden dus ook uit: geen power meer.

De juiste powerfeed en metingen kunnen dit soort problemen ook voorkomen door tijdig dit aan de klant door te geven en hem een alternatief aan te bieden. –> geen power lost.

Daarnaast las ik hierboven dan een kortsluiting van 16.000 A wel kan hoor, voor 0,1 sec is het 10 maal nominaal. Er van uit gaande dat de voeding op 2* 2000 kva zit is dat max 6000 A dat keer 10 = 60.000 Ik!

ja dat geeft zeker een knalletje en een nieuw schakelkast. Dus dat zal niet gebeurd zijn, want dat is een duur geintje en tijdrovend geintje.

Lamp- op 7 augustus 2007 om 12:44

@Marco:

Dan snap je niet wat een A en een B feed inhoud. Een A en een B heb je niet om zo extra apparatuur in je kast te kunnen hangen. Dus A en B met 7 belasten omdat je maar 10 mag gebruiken is niet de bedoeling.

Bij een A en B moet *alles* ook op een van de 2 kunnen draaien. In praktijk bij gelijk aansluiten gebruik je dus niet meer dan 50% van je max per feed (in dit voorbeeld dus 5).

Zoals jij beschijft heb je geen A en B, maar gebruik je het als 2x een A feed.

Lamp- op 7 augustus 2007 om 12:47

@MikeN:

Kom op zeg, een hele feed in een DC hoort niet weg te vallen.

Als een feed nooit weg zou mogen vallen, heb je dus nooit behoefte aan een B feed, want A zou het voor 100% altijd doen.

Alex Bik op 7 augustus 2007 om 14:13

Lamp: Precies. Maar goed, aan de andere kant kun je als datacenter verwachten dat klanten met apparatuur aan komen zetten waar maar 1 stekker aan zit.

Daarom hebben we in BIT-2 in elk rack standaard een STS. En omdat je geen SPOF wilt, wordt er behalve de slof met A+B ook een slof met alleen B in de racks gemonteerd. Apparatuur die wel van 2 stekkers is voorzien heeft zodoende niet de STS als SPOF. En om het probleem met de te zwaar belaste feeds te voorkomen, monitoren we aktief het stroomverbruik per rack, waarbij beide feeds bij elkaar opgeteld worden. ALs een klant in de buurt van de 16A komt, waarschuwen we hem daarvoor en krijgt hij een aanbieding voor een extra groep (weer A+B, uiteraard).

Het is dus allemaal best op te lossen. Als dat verhaal met 2xA of 2xB in een rack waar is, is dat natuurlijk ontzettend knullig. Bij ons komt A van rechts en B van links, zodat dit soort fouten, mochten ze al gemaakt worden, onmiddellijk opvallen. Je zou dan twee contactdozen hebben waarvan de kabel dezelfde kant op gaat tenslotte.

Lamp- op 7 augustus 2007 om 14:29

Alex: En daar zal ook een stukje prijs verschil in zitten met andere datacenters of dat stukje valt onder extra services. Naja, links of rechts om, het wordt toch ergens van betaald, dus het zal uiteindelijk direct of indirect in de kosten zitten. Al zal dat meevallen.. die 2 euro (afschrijving 3 jaar en met 10% defect/vervanging) per rack per maand.

Dat het standaard is hoeft ook niet altijd wenselijk te zijn. Zo heb ik kasten met apparatuur welke standaard allemaal voorzien in van meedere psu’s en waar een STS overboding zou zijn. Daarnaast heb ik dan nog een voorkeur dat er in de kasten 3x een slof aanwezig is; een A, een B en een A+B (via STS). Maar dit misschien vanwege de gebruikte type STS en vanwege de verschillende sla’s die ik nu heb op de A en B feed.

Alex Bik op 7 augustus 2007 om 15:03

Ik zal me een beetje inhouden, anders wordt het een schamteloze plug van BIT-2, maar dat het bij ons allemaal duurder is, is een behoorlijk hardnekkig misverstand. Wat je zegt, die 2 euro per maand zal ‘t verschil niet maken. Andere configs zijn uiteraard mogelijk, maar dit is wat er in een rack zit als de klant niet zegt dat ie wat anders wil.

MikeN op 7 augustus 2007 om 20:38

@Lamp: Natuurlijk kan een A feed wel wegvallen, maar door een compleet DC? Dan is je stroomvoorziening wel erg slecht gepartitioneerd, zou wel een volledige verklaring willen horen eigenlijk…

En Alex, als je 1 feed A/B maakt, hoe gaat dat dan als er een voeding sluiting maakt? Trekt ie dan niet zowel je A als B onderuit, of klapt de zekering van de STS er eerder uit?

Alex Bik op 8 augustus 2007 om 09:28

Als een klant in een rack zelf kortsuiting veroorzaakt na de ATS, heb je inderdaad dikke kans dat eerst A en dan B eruit gaat. Voor dat ene rack dan, natuurlijk niet voor de rest van de klanten. Maar dat is de keuze van de klant. Hij kan er ook voor kiezen om alleen maar apparatuur met 2 stekkers aan te schaffen, of een extra set feeds in z’n rack te laten monteren zonder ATS, die hij dan voor dubbel gevoede apparatuur kan gebruiken. Sowieso is de impact van problemen altijd kleiner als je je apparatuur over meer groepen verdeelt, in plaats van 1 groep tot het maximum te belasten.

Alrik op 8 augustus 2007 om 14:56

2 keer a krijgen mag natuurlijk nooit gebeuren, dan ben je weinig met je sts.

Feit blijft natuurlijk wel dat er velen geen sts of meerdere voedingen gebruiken.

Ben benieuwd naar het verloop van dit gebeuren.