Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Stroomstoring in GrafiX NOC Alphen aan de Rijn

  • Door
  • Randy ten Have
  • geplaatst op
  • 25 mei 2009 08:05 uur

GrafixZaterdagavond heeft er een korte stroomstoring plaatsgevonden in het GrafiX NOC in Alphen aan de Rijn. Dit gebeurde na het omschakelen naar nieuwe UPS-systemen. Hierdoor zat het hele datacentrum ca. 5 seconden zonder stroom.

GrafiX NOC in Alphen aan de Rijn is een relatief jong datacentrum. Uit een mailing van GrafiX naar de (directe) klanten werd een melding gemaakt van onderhoudswerkzaamheden. De tot nu toe gehuurde UPS-apparatuur zou vervangen worden door nieuwe, eigen systemen. Het plaatsen hiervan verliep probleemloos, alleen met de omschakeling ontstond er een probleem. Hierdoor viel de stroom ca. 5 seconden weg in het hele datacentrum.

“Helaas is de oorzaak nog niet achterhaald. Er wordt druk naar gekeken en voorkomen dat een uitval nogmaals ontstaat. Dit is een diepe teleurstelling na weken lange voorbereiding en na een uitstekend verlopen dag waarin door veel mensen zwaar werk is verricht.”, aldus GrafiX-directeur Marco van Gink.

In denacht van dinsdag op woensdag zullen de UPS-systemen opnieuw worden ingeschakeld. Tot die tijd heeft de fabrikant tijd om de installingen na  lopen en de oorzaak van de storing te achterhalen.

Casper, 25 mei 2009 8:20 am

Is het nou 5 minuten of 5 seconden? Volgens de mail van Grafix die ik heb gelezen 5 seconden...

Randy ten Have, 25 mei 2009 8:27 am

@Casper: 5 seconden. Het is nog vroeg, maandagmorgen...

Casper, 25 mei 2009 8:29 am

Ack. :)

Robbert, 25 mei 2009 9:38 am

Gelukkig hebben wij niet zo heel veel last gehad van de storing, de stroom was er binnen 5 seconde weer actief en ook alle netwerken kwamen weer snel online. De totale downtime bedroeg nog geen 2 tot maximaal 5 minuten als we alles bij elkaar optellen.

Verder heeft GrafiX/Marco alles uit de kast getrokken om er voor te zorgen dat Alphen op een professionele stroomvoorziening draait; nieuwe apparatuur, degelijke apparatuur, professionele leverancier, SLA's en ga zo maar door, echter blijft het hardware en blijf je het risico houden op een storing.

Omdat het hier onderhoud betrof hebben alle relaties extra backups kunnen maken en vooraf raid arrays kunnen nalopen.

Tududud, 25 mei 2009 9:43 am

Robbert,

Lekker simpel, als het zoals hier staat met instellingen in de UPS te maken heeft (wat ik al nogal dubieus vind, zoveel is er op een UPS niet in te stellen), dan is dat dus niet goed gedaan door die 'professionele leverancier'.

Ik snap echt niet dat klanten dit nog steeds accepteren en zelfs complimenten uitdelen na de zoveelste stroomuitval (ongeacht DC).

Robbert, 25 mei 2009 10:33 am

Tududud,

Het is nog te vroeg om een schuldige aan te wijzen, ook de oorzaak is naar mijn weten nog niet bekend en kan deze dagen pas verder worden onderzocht.

Het betreft hier verder de eerste stroomstoring en ook nog eens tijdens onderhoud binnen het pand in Alphen a/d Rijn.

Verder is het ook zeer makkelijk oordelen op het moment dat je aan de zijlijn staat, echter als je met eigen ogen hebt gezien hoe ze zich met man en macht hebben ingezet (planning, nieuwe apparatuur etc etc) dan komt de storing toch een stuk minder hard aan bij de klant, voor het hele team welke weken heeft gewerkt aan deze upgrade is het natuurlijk een groot drama: ze hebben zaterdag totaal 15 tests uitgevoerd en juist bij het, wat het makkelijkste gedeelte zou moeten zijn ging het mis: het omschakelen van de UPSEN.

Op het moment dat het hier een spontane storing betreft dan vind ik dat er reden is voor paniek, echter nu werden klanten en relaties netjes op de hoogte gesteld en hebben ze de mogelijkheid gehad om apparatuur te rebuilden (raid-array) en extra backups te maken.

Ik wil hier niet alles goedpraten; het is verschrikkelijk jammer, maar was de storing van zaterdag niet gewoon een risico welke aanwezig was, ook al was het risico klein?

en ja ik vind dat alles netjes is voorbereid (op een professionele wijze!) en heb zeer te doen met iedereen welke zich zo hard heeft ingezet, enkel niemand had deze uitkomst verwacht..

ps: Capelle != Alphen en Alphen != Capelle... laat er geen twijvel over bestaan!

Dennis Wijnberg (Oxilion), 25 mei 2009 10:55 am

@Robbert; Zijn er ook externe partijen bij betrokken geweest voor advies bij dit soort trajecten? (Naast de leverancier dus, want die is niet onafhankelijk)? Zo ja; welke partij is dit geweest?

Onze ervaring is namelijk dat je in veel gevallen door er een externe adviseur bij te halen, veel kunt voorkomen. Die heeft ervaringen met dit soort omgevingen en kent de fouten. (Ik wil niet zeggen dat hij ook deze storing had voorkomen, want de oorzaak is nog niet bekend).

Wel vraag ik me net als "Tududud" af wat je allemaal denkt in de kunnen stellen aan een UPS. Zou je daar eens op willen antwoorden?

Marco van Gink, 25 mei 2009 11:01 am

Hedenmiddag worden de UPSen nagekeken door de leverancier en fabricant. Daarbij worden ze opnieuw getest met een loadbank.

De uitkomsten hiervan zullen gepubliceerd worden zodat iedereen hier van op de hoogte wordt gesteld.

Marco van Gink, 25 mei 2009 11:05 am

Dennis, vwb. jouw vragen aan onze relatie Robbert; mochten (indirecte)relaties van GrafiX meer toelichting wensen te ontvangen over de werkzaamheden, voorbereidingen, betrokken partijen ed. dan licht ik deze graag persoonlijk toe. Ik ben bereikbaar via marco@grafix.nl

Toon, 25 mei 2009 5:41 pm

Ik heb meer vertrouwen in een DC die regelmatig test of alles werkt, dan een DC wat nooit test en ineens 8 uur plat ligt omdat hun UPS en generator niet werkt..

Marco van Gink, 25 mei 2009 11:06 pm

Vandaag zijn onze UPS systemen veelvuldig getest middels een loadbank ( belastings weerstand ). Via deze loadbank hebben we de UPS systemen kunnen belasten tot een niveau dat zelfs hoger ligt dan de huidige apparatuur/server belasting binnen ons pand. Hierbij hebben we de situatie van afgelopen zaterdag volledig kunnen simuleren.

Hieruit is gebleken dat de UPS systemen verkeerd staan ingesteld voor onze toepassing. De systemen horen namelijk gelijktijdig de belasting van het pand over te nemen. De eerste UPS probeerde echter na inschakeling direct de volledige belasting over te nemen waardoor deze overbelast raakte en zichzelf uit bescherming uitschakelde.

Dinsdag 26 mei zal de configuratie van de UPS systemen worden gewijzigd en zal er wederom veelvuldig worden getest. Indien deze tests dinsdag naar behoren worden uitgevoerd dan zullen de systemen in de nacht van dinsdag op woensdag om 01:00u in gebruik worden gesteld.

Mocht het her-configureren meer tijd in beslag nemen, of indien er niet voldoende tijd overblijft om de gehele installatie te testen, dan zal het bijschakelen van de UPSen exact 24 uur later worden uitgevoerd, tw. in de nacht van woensdag op donderdag ( 27 op 28 mei ) om 01:00u. We willen geen onnodige risico's lopen en daarom wordt er in de namiddag van dinsdag 26 mei besloten wanneer de systemen definitief worden ingeschakeld. Dit zal middels een mailing aan onze directe klanten omstreeks 16:00u kenbaar worden gemaakt.

Middels dit bericht vertrouw ik er op u voldoende te hebben geinformeerd. Mocht u verdere informatie of toelichting wensen over de recente storing of de werkzaamheden, dan licht ik deze graag per E-mail toe. U kunt deze richten aan marco@grafix.nl

Dank voor uw begrip en vertrouwen.

Met vriendelijke groet,

GrafiX Internet B.V.
Marco van Gink

Freeaqingme, 25 mei 2009 11:08 pm

Complimenten voor de communicatie. Dat gebeurt toch regelmatig stukken slechter...

Tijl, 26 mei 2009 1:11 pm

Het enige probleem met de down-time was dat de servers opnieuw moesten opstarten maar wie zijn server goed heeft geïnstalleerd moest dit geen probleem zijn.

Ik heb meerdere klanten gesproken en geen van deze hebben last gehad van de down-time. De meeste hoorde het pas voor het eerst toen ik ze sprak.

Ik zeg: "Beste down-time die ik ook heb gehad".

PS: Perfect dat jullie de berichten zo serieus nemen. Een stuk beter dan webhostingtalk.

Greetz, Tijl

  • Pingback: Downtime in 2009… « JANWIERSMA.COM

  • cris, 16 september 2010 6:57 pm

    16-10-2010. Vandaag alweer een storing bij grafix. Daar balen we enorm van. Het zou opgelost zijn en wamo! de boel weer uit de lucht. Niet te begrijpen wat en k*t provider.

    Fijn als je een site met belangrijke data hebt die wereldwijd getest moet worden met feedback. Als vervolgens niemand de site kan vinden is dat natuurlijk een enorme blunder. Wij zijn het meer dan spuugzat, dit kun je gewoon niet maken!

    H, 17 september 2010 2:15 am

    Cris, sinds dit nieuwsbericht zijn er 4 stroomstoringen geweest. Ja binnen 12 maanden. En netwerkstoringen niet te tellen.

    Mark, 17 september 2010 10:11 am

    @cris en @H:
    Houd de verschillende locaties van Grafix een beetje gescheiden svp. Jullie klagen denk ik voornamelijk over de locatie Capelle.

    Feedback!
    Fill out my online form.
    Laatste reacties

    Bedankt voor het succes van ISPam.nl
    Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

    Bedankt voor het succes van ISPam.nl
    Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

    Bedankt voor het succes van ISPam.nl
    L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

    Bedankt voor het succes van ISPam.nl
    Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

    Bedankt voor het succes van ISPam.nl
    Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.