Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Derde stroomstoring dit jaar in het GrafiX datacentrum

  • Door
  • Arnout Veenman
  • geplaatst op
  • 28 augustus 2007 08:20 uur

GrafiXGisternacht is de stroom voor de derde keer dit jaar in het GrafiX datacentrum in Capelle aan den IJssel uitgevallen. Omstreeks 3:07 uur op 27 augustus vond er een overbelasting plaats op fase 1 van de hoofdaansluiting in het GrafiX datacentrum, waardoor een meszekering sprong.

Netspanning, dieselgeneratoren en UPS-systemen
Direct hierna werd de dieselgenerator automatisch gestart om de belasting van alle 3 de fases over te nemen. Normaliter zou tijdens de seconden die de dieselgenerator nodig heeft om te starten de UPS-systemen de belasting overnemen. Echter doordat er van de drie UPS-systemen er twee overbelast zijn en één recent defect is geraakt, konden deze de stroomvoorziening niet overnemen en viel de stroom in het hele GrafiX datacentrum uit.

Nadat rond 4:30 uur alle meszekeringen in het spanningsrack door zwaardere exemplaren waren vervangen, werd om 5:06 uur de stroomvoorziening handmatig teruggeschakeld op de netspanning. Dit had wel tot gevolg dat de stroomtoevoer naar de apparatuur enkele seconden onderbroken werd, waardoor de apparatuur op de eerste verdieping van het datacentrum opnieuw uitviel. Door de verminderde stroom belasting, doordat niet alle apparatuur direct online was gekomen na het terugkomen van de spanning, kon het UPS-systeem op de begane grond de stroomvoorziening van één fase dit keer wel overnemen, apparatuur die niet redundant of alleen op de andere fase waren aangesloten vielen wel uit.

Overbelasting en werkzaamheden
Het probleem waar het GrafiX datacentrum mee kampt is dat de stroomvoorziening in het datacentrum over de hele linie overbelast is. GrafiX directeur Marco van Gink heeft mij uitgelegd dat de werkzaamheden om dat op te lossen in volle gang zijn, maar dat een en ander helaas langer duurt dan wenselijk is.

Daarbij speelt het een belangrijke rol dat vervangende apparatuur geleverd moet worden en de levertijden zijn niet bepaald kort. Daarnaast ook dat je niet zomaar alles even een maandje kan uitzetten om in alle rust alles te vervangen. Dat maakt het upgraden van de huidige infrastructuur naar een hogere capaciteit er niet makkelijker op.

De verwachting is dat binnen enkele weken de infrastructuur geschikt is voor de hogere belasting en daarmee stroomstoringen veroorzaakt door overbelasting tot het verleden zullen behoren. Al kan Marco van Gink, ondanks dat hij dat graag wil, geen exacte datum geven.

Wat moeten we hiermee?
Partijen die bij GrafiX zitten zullen niet bepaald blij zijn door het feit dat voor de derde keer dit jaar de stroom is uitgevallen, overigens was het voor de begane grond de eerste keer. Mijn eerste gedachte was, zoals waarschijnlijk meer mensen, dat klanten van GrafiX er verstandig aan doen om een ander datacentrum te zoeken. Echter heb ik die mening toch bijgesteld.

Op basis van het gesprek dat ik gisteravond en al eerder met GrafiX directeur Marco van Gink had en de openheid waarmee hij over kwestie communiceert. Heb ik er vertrouwen in dat er door een serieuze aanpak van de problemen er licht aan het einde van de tunnel is.

Door de huidige status is het GrafiX datacentrum tot dat de werkzaamheden zijn afgerond nog gevoelig voor stroomstoringen en kan het dus zijn dat de stroom nogmaals uitvalt. Echter gezien er daarna geen sprake meer van overbelasting van de stroomvoorziening is, ga ik er vanuit dat de stroomproblemen daarna tot het verleden behoren.

Belangrijk voor webhosters en de branche
Relatief kleine onafhankelijke datacentra zijn belangrijk voor webhosters, die telkens minder geliefd en welkom lijken te zijn bij de grote datacentra. Als nadeel hebben kleine onafhankelijke datacentra dat er geen enorme organisatie achter staat. Daardoor kunnen situaties zoals we die met het GrafiX datacentrum ervaren enige tijd blijven voortduren. Dat is vervelend, maar ik denk dat op de lange termijn datacentra zoals GrafiX essentieel zijn voor webhosters en de branche.

Daarom moeten we (ook) het GrafiX datacentrum koesteren, ondanks de huidige problemen!

Nijman, 28 augustus 2007 9:40 am

Grafix had gewoon nee moeten verkopen, groeien groeien, geld geld geld. In plaats van 'sorry de capaciteit is niet toereiken kom over een kwartaal maar terug'.

Daarnaast ook totaal geen communicatie. Als je weet dat een van je UPS defect is en hierdoor een probleem kan ontstaan omdat de overige UPS systemen overbelast dreigen te raken. Dan stuur je een bericht naar je klanten en vraag je ze:
1. Tijdelijk geen nieuwe apparatuur te plaatsen
2. Eventuele reserve systemen uit te schakelen

Daarnaast is het natuurlijk te gek voor woorden dat er net een tariefverhoging is geweest en dat je er dan achter moet komen dat er wordt bezuinigd op UPS contracten (want er is geen contract en dus moeten de accu's besteld worden met alle vertraging van dien).

Lekker bezig hoor. Doe mij een flinke korting op de kosten, koop ik zelf wel een UPS systeempje.

Nijman, 28 augustus 2007 9:42 am

Oh ja, misschien een goede voor mr. Ras. Als een datacenter nalatigheid verweten kan worden, kun je ze dan aansprakelijk stellen (denk aan defecte servers, schade downtime, loon)

Sebas, 28 augustus 2007 10:21 am

[quote]
Nadat rond 4:30 uur alle meszekeringen in het spanningsrack door zwaardere exemplaren waren vervangen, werd om 5:06 uur de stroomvoorziening handmatig teruggeschakeld op de netspanning. Dit had wel tot gevolg dat de stroomtoevoer naar de apparatuur enkele seconden onderbroken werd, waardoor de apparatuur op de eerste verdieping van het datacentrum opnieuw uitviel.
[/quote]

De stroom viel daarna niet alleen op de 1e verdieping uit maar in het gehele DC, op fase 3 na, die werd opgevangen door de UPS.

Arnout Veenman, 28 augustus 2007 11:12 am

Sebas, de stroom viel weg op één van de fasen op de begane grond, dus niet zo zeer in het hele datacentrum. Hoe dan ook dat was niet duidelijk genoeg door mij vermeld. Ik heb het artikel aangevuld op dat punt. Bedankt voor je opmerkingen.

Vince, 28 augustus 2007 11:38 am

"Oh ja, misschien een goede voor mr. Ras. Als een datacenter nalatigheid verweten kan worden, kun je ze dan aansprakelijk stellen (denk aan defecte servers, schade downtime, loon)"

Denk je dat dat zin heeft? Dan kunnen die accu's weer niet betaald worden en zitten we nog langer in dit schuitje.

Wat ik wel interessant vind om te weten: hoe lang gaat die vervanging duren van die ups. Ik hoor verhalen van 1 week, 2 weken tot een maand. Is hier door eventuele betrokkenen iets meer over te zeggen intussen?

Paul, 28 augustus 2007 12:05 pm

Vince,

Ik ben geen directe betrokkene, maar omdat wij in ons DC ook UPS installaties in gebruik hebben kan ik je vertellen dat dit wel degelijk lang duurt. De levertijd van die dingen is normaal gesproken enkele maanden. Dus wat dat betreft is het ook slim van de directie dat ze geen datum vastpinnen, want dat kan je gewoonweg niet.

Wouter de Jong, 28 augustus 2007 12:07 pm

Weet je wat het echte probleem is met de meeste jankerts in dit datacenter...

Ze willen allemaal voor een cent (nee niet eens een dubbeltje) vooraan zitten!

Het is gewoon ongelofelijk, enorm gillen als de stroom een keer uitvalt maar meer betalen ho maar.
Daarom komen ze juist naar Grafix!
Marco is een toffe peer waar je heel goed mee kan praten.
Toen het DC in aanbouw was en ik slechts wat losse onderdelen kwam halen heb ik een rondleiding gehad en heb ik boven op kantoor zeker een uurtje of 1,5 heerlijk gebabbeld over plannen etc.
Dat de stroom problemen ernstig zijn voor een DC snap ik ook wel maar zolang er huilebalken zijn die hun rack (46U) vol hangen voor 50U dan gaat het fout.

Dus het is niet Grafix die alleen maar aan geld geld geld denk maar juist de klanten die gebruik maken van van het Grafix datacenter.

Ga lekker naar We Dare ofzo (waar ze ook regelmatig een stroom probleem hebben) als je in Rotterdam e.o wil zitten of naar een DC in 020!
Nee dat is natuurlijk veel duurder dan Grafix en dan kan je niet zo veel huilen als nu.

Sorry voor dit bericht maar ik wordt er langzaam doodziek van van die jankbakken die geen geld voor "betrouwbaarheid" willen uitgeven.

Ik ben in ieder geval een zeer tevreden gebruiker van Grafix en dat zal ook zo blijven!

Nijman, 28 augustus 2007 12:21 pm

Vince: Het gaat er niet om dat ik ze wil aanklagen, maar als het mogelijk is om beheerder aan te klagen dan zullen ze wel wat beter omgaan met dit soort situaties. Als er bij uitval van 1 UPS niet voldoende capaciteit is omdat op te vangen zonder meteen in de gevarenzone te zitten dan is dat slecht.

Wouter: Ben ik helemaal mee eens. Als je wat contractueel is afgesproken hebt gehaald en je rack zit niet vol dan of gewoon bijdokken of een nieuw rack. Maar dat moet Grafix naleven en daarmee zorgen dat mensen die wel willen betalen niet de dupe worden. Dus die mogen van mij inderdaad allemaal naar Wedare zodat er ook meteen capaciteit is.
Daarnaast vind ik wel dat je klanten die gewoon willen betalen voor het verbruik je dan een nette oplossing moet bieden en niet zoals dat nu gaat.

Daarnaast misschien ook een idee om een apart stroomnetwerk te maken voor rack eigenaren die bereid zijn hun APC's zo in te stellen dat een netwerk ook normaal kan opkomen. Ik heb er niets aan als het stroom aangaat en 1 minuut later er weer af knalt. Daar wil ik best wel 10 minuten voor wachten.

MikeN, 28 augustus 2007 1:01 pm

Wat ik vorige keer me ook al afvroeg, maar toen niemand op reageerde: hier worden weer zekeringen vervangen door zwaardere exemplaren. Zitten die zekeringen er dan voor niets in of is de bedrading er ook gewoon voor geschikt en wat was dan de reden om lichtere zekeringen te gebruiken?

Jan, 28 augustus 2007 1:09 pm

@ Wouter de Jong;

'Sorry voor dit bericht maar ik wordt er langzaam doodziek van van die jankbakken die geen geld voor “betrouwbaarheid” willen uitgeven.

Ik ben in ieder geval een zeer tevreden gebruiker van Grafix en dat zal ook zo blijven!'

Je wilt dus geen betrouwbaarheid merk ik uit je stuk?

Toon, 28 augustus 2007 1:11 pm

Ja, betrouwbaarheid..
Zo hebben we inderdaad 2000 euro aan STS switches geinvesteerd.
Helaas is er nog geen 2e stroomfood boven.
En dan gaan we inderdaad 'jankbak' spelen als de stroom uitvalt.
Je mag verwachten als suite-eigenaar, dat zaken werken zoals ze horen!

Wouter de Jong, 28 augustus 2007 2:16 pm

Nogmaals, als je betrouwbaarheid wil verwachten dan moet je niet voor 1 cent ergens gebruik van willen maken.
Voor 100% betrouwbaarheid kan je beter naar We Dare gaan, maar die is een stuk duurder en dat wil je vast niet.

Kortom je wil lekker blijven janken en schreeuwen dat het niet werkt zonder zelf tre investeren!

Verwachten is 1, maar dan moet je er ook voor WILLEN BETALEN!

Toon, 28 augustus 2007 2:37 pm

Wouter, je antwoord slaat weer helemaal nergens op.
Erg jammer.

Stijn, 28 augustus 2007 3:16 pm

Hoe kan zo'n overbelasting van de zekering ontstaan? Is er meer stroom gebruikt of was de zekering oud of ...?

Iig succes in de herstel werkzaamheden! :)

@MikeN: krijg je weer geen antwoord op je vraag he ;)

MikeN, 28 augustus 2007 3:38 pm

Idd :/

Toon, 28 augustus 2007 5:24 pm

[quote]Voor 100% betrouwbaarheid kan je beter naar We Dare gaan, maar die is een stuk duurder en dat wil je vast niet.[/quote]

idd, We-dare valt nooit uit , haha!!
Laten wij nou ook bij BIT-2 zitten, en dat als voorbeeld nemen anders.

Wouter de Jong, 28 augustus 2007 5:37 pm

@toon, dan ga je EN dan blijf je lekker bij BIT.
Dan hoef je Grafix niet verder af te blijven zeiken.

(jammer van de cencuur)

Toon, 28 augustus 2007 5:39 pm

Waarom zou ik moeten gaan?
Ik ben al 5 jaar klant bij GrafiX, goede contacten met Marco, alleen er is een punt dat er een aantal dingen niet kloppen. (laat staan dat we een 2 jarig contract hebben)
Het merendeel begrijpt het gelukkig, maar aan jouw reacties te merken weet je maar de helft van het hele verhaal.
Ik nodig je graag uit eens een praatje te maken in het datacentrum, dan zal ik je op de punten wijzen.
Als je daarna nog zulke uitspraken hebt, dan leg ik me er wel bij neer hoor, dan weet ik voldoende.

Stijn, 28 augustus 2007 5:41 pm

Welke censuur Wouter? Op ispam toch niet?

Wouter de Jong, 28 augustus 2007 7:26 pm

Wel hier Stijn helaas.
Zonder een bericht wordt hier blijkbaar berichtjes verwijderd.
Voor mij is het in ieder geval klaar en zal ik GEEN reacties meer geven (in geen enkel bericht)

ISPAM onafhankelijk :-(

Arnout Veenman, 28 augustus 2007 7:41 pm

Ik heb _geen_ reacties verwijderd van deze discussie.

[b]Edit 20:15 uur:[/b] Ik heb de bewuste persoon met "editor bevoegdheden" gesproken, deze heeft de reactie per ongeluk verwijdert. Zometeen zal deze persoon dit zelf ook in de comments bevestigen.

Arnout Veenman, 28 augustus 2007 8:01 pm

Op basis van mijn eigen e-mail geschiedenis gaat het om de volgende ervaring:
[quote]Author : Wouter de Jong
@ Toon, pleur daar dan op als je het zo zat ben.
Betrouwbaarheid heeft zo zijn prijs, eenvoudig is dat.
Dat zie je terug in de gehele hostingmarkt.
De ene hoster rekent je een euro voor een jaar hoasting incl. 10 domeinnamen en heeft een uptime van 90% Bij de ander betaal je 10 euro per maand zonder domeinnaam en heb je eenn uptime van 99,98%

Dat jij 2000 euro investeer in switches die je niet kan gebruiken is toch niet de fout van Grafix, maar een slechte investering van jezelf?

Maar succes Toon met het spelen voor struisvogel![/quote]

Dirk, 28 augustus 2007 8:12 pm

Wouter kent helaas de contracten en werkelijke verhalen niet. En dan nog zo'n grote mond hebben. Jammer...

Toon, 28 augustus 2007 8:17 pm

Ehm, Wouter, mijn excuses.
Ik heb inderdaad een login om de achterzijde wat spelfouten weg te halen.
Aangezien hier geen edit knopjes zitten om de reacties van mezelf te wijzigen, wilde ik even op edit klikken in de achterzijde.

Helaas zat ik niet op te letten en verwijderde wordpress jouw reactie, en kon ik geen Undelete vinden.
Op dat moment vond ik het geen grote ramp, en ben even verder gegaan met andere dingen.

Achteraf gezien had ik het even moeten melden.
Mijn excuses voor het ongemak.
Ik leg me verder neer bij Arnout om eventuele blokkades en dergelijke toe te passen.
Ik zal mij verder ook niet meer bemoeien met ISPam.

Salut.

Marco, 28 augustus 2007 9:11 pm

Stijn,

Zekeringen kunnen inderdaad 'oud' worden. Temperatuur en flow langs de zekeringen spelen zeker een rol. Daarnaast is een zekering meestal gekozen om de kabel/busbar te beveiligen. Een zwaardere zal ook problemen kunnen geven.

Een meszekering is meestal wel een trage, maar dat betekend niet dat hij niet kapot gaat na tig uur op 110% te draaien.

Ik weet niet hoe groot grafix precies is en hoeveel stroom ze verbruiken, maar normaliter zal er overdag meer worden gebruikt dan 's avonds en ik denk dat de zekering toch net iets te veel moest verwerken.

Grafix succes verder met opbouw.

Hostingpower, 28 augustus 2007 10:26 pm

Ik shrik een beetje van de reacties die ik hier allemaal lees. Dat dit "eigenlijk" niet had mogen gebeuren is logisch. Wat gebeurt is, is gebeurt en kan niet meer teruggedraaid worden.

Het feit dat Marco zo eerlijk is geweest, is iets wat weinig voorkomt en waar veel bedrijven iets van kunnen leren. Dit vereist een hoop lef. De meeste bedrijven/mensen zouden de schuld afschuiven op iets anders. Ik ben blij om te horen dat ze druk bezig zijn oplossingen en verbeteringen. Ik wens grafix dan ook veel succes toe en hoop dat we nog lang zaken met ze kunnen doen. Hoop ook dat er meer mensen zijn die het van een positieve kant kunnen zien, dan alleen negatief naar buiten kunnen komen.

Nijman, 29 augustus 2007 7:50 am

Dat iedereen goede contacten onderhoud met Marco is leuk en komt niet veel voor. Dat hij eerlijk is, is alleen maar slim omdat er anders geruchten gaan lopen en dat is veel minder wenselijk.
Neemt niet weg dat er nu een UPS op 100%+ staat te draaien en dat de volgende storing gevaarlijk op een hoekje ligt te loeren. Iets wat eenvoudig had kunnen worden voorkomen door meer capaciteit te verzorgen. Ik ken alleen de situatie op de BG, maar daar groeit en groeit iedereen en de voorzieningen lijken niet mee te groeien.

trebbor, 29 augustus 2007 11:02 am

Het blijft natuurlijk een inhouse facility wat oorspronkelijk enkel voor de eigen servers van GrafiX is bedoeld, later is daar Colocatie bij gekomen waardoor de BG vloer in een rap temp is gaan vollopen.

De reden waarom de BG vloer ook een storing had, kwam omdat er 1 UPS uit staat, deze is defect sinds enkele weken. Was deze niet defect geweest dan hadden we op de BG vloer geen storing ondervonden.

De nieuwe vloer ook op de BG waar alle UPS's naar toe verhuizen is bijna klaar, GrafiX was er dus al druk mee bezig...

Ik zie het dan ook meer als een ongelukkige samenloop van omstandigheden.

Hostingpower, 29 augustus 2007 11:24 am

inderdaad, het was al langer bekend dat ze bezig waren met nieuwe upsen en andere zaken. Ook airco zaken zijn ze echt wel mee bezig. niet alles kan meezitten!

Nijman, 31 augustus 2007 6:21 am

Een van de UPS'en was defect, de rest draait op volle toeren. In het verleden hing er dan netjes een 'UPS probleem niets bijplaatsen aankondiging'. Als niemand weet dat er een UPS defect is dan kan er ook niemand rekening mee houden en blijft iedereen maar bijplaatsen...

  • Pingback: 10 populairste ISPam.nl artikelen van augustus 2007 · ISPam.nl

  • Pingback: Jaaroverzicht 2007: Stroomstoringen in datacentra · ISPam.nl

  • Laatste reacties

    Bedankt voor het succes van ISPam.nl
    Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

    Bedankt voor het succes van ISPam.nl
    Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

    Bedankt voor het succes van ISPam.nl
    L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

    Bedankt voor het succes van ISPam.nl
    Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

    Bedankt voor het succes van ISPam.nl
    Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.