Stroomstoring in GrafiX NOC Alphen aan de Rijn

Is het nou 5 minuten of 5 seconden? Volgens de mail van Grafix die ik heb gelezen 5 seconden...

@Casper: 5 seconden. Het is nog vroeg, maandagmorgen...

Ack. :)

Gelukkig hebben wij niet zo heel veel last gehad van de storing, de stroom was er binnen 5 seconde weer actief en ook alle netwerken kwamen weer snel online. De totale downtime bedroeg nog geen 2 tot maximaal 5 minuten als we alles bij elkaar optellen.

Verder heeft GrafiX/Marco alles uit de kast getrokken om er voor te zorgen dat Alphen op een professionele stroomvoorziening draait; nieuwe apparatuur, degelijke apparatuur, professionele leverancier, SLA's en ga zo maar door, echter blijft het hardware en blijf je het risico houden op een storing.

Omdat het hier onderhoud betrof hebben alle relaties extra backups kunnen maken en vooraf raid arrays kunnen nalopen.

Robbert,

Lekker simpel, als het zoals hier staat met instellingen in de UPS te maken heeft (wat ik al nogal dubieus vind, zoveel is er op een UPS niet in te stellen), dan is dat dus niet goed gedaan door die 'professionele leverancier'.

Ik snap echt niet dat klanten dit nog steeds accepteren en zelfs complimenten uitdelen na de zoveelste stroomuitval (ongeacht DC).

Tududud,

Het is nog te vroeg om een schuldige aan te wijzen, ook de oorzaak is naar mijn weten nog niet bekend en kan deze dagen pas verder worden onderzocht.

Het betreft hier verder de eerste stroomstoring en ook nog eens tijdens onderhoud binnen het pand in Alphen a/d Rijn.

Verder is het ook zeer makkelijk oordelen op het moment dat je aan de zijlijn staat, echter als je met eigen ogen hebt gezien hoe ze zich met man en macht hebben ingezet (planning, nieuwe apparatuur etc etc) dan komt de storing toch een stuk minder hard aan bij de klant, voor het hele team welke weken heeft gewerkt aan deze upgrade is het natuurlijk een groot drama: ze hebben zaterdag totaal 15 tests uitgevoerd en juist bij het, wat het makkelijkste gedeelte zou moeten zijn ging het mis: het omschakelen van de UPSEN.

Op het moment dat het hier een spontane storing betreft dan vind ik dat er reden is voor paniek, echter nu werden klanten en relaties netjes op de hoogte gesteld en hebben ze de mogelijkheid gehad om apparatuur te rebuilden (raid-array) en extra backups te maken.

Ik wil hier niet alles goedpraten; het is verschrikkelijk jammer, maar was de storing van zaterdag niet gewoon een risico welke aanwezig was, ook al was het risico klein?

en ja ik vind dat alles netjes is voorbereid (op een professionele wijze!) en heb zeer te doen met iedereen welke zich zo hard heeft ingezet, enkel niemand had deze uitkomst verwacht..

ps: Capelle != Alphen en Alphen != Capelle... laat er geen twijvel over bestaan!

@Robbert; Zijn er ook externe partijen bij betrokken geweest voor advies bij dit soort trajecten? (Naast de leverancier dus, want die is niet onafhankelijk)? Zo ja; welke partij is dit geweest?

Onze ervaring is namelijk dat je in veel gevallen door er een externe adviseur bij te halen, veel kunt voorkomen. Die heeft ervaringen met dit soort omgevingen en kent de fouten. (Ik wil niet zeggen dat hij ook deze storing had voorkomen, want de oorzaak is nog niet bekend).

Wel vraag ik me net als "Tududud" af wat je allemaal denkt in de kunnen stellen aan een UPS. Zou je daar eens op willen antwoorden?

Hedenmiddag worden de UPSen nagekeken door de leverancier en fabricant. Daarbij worden ze opnieuw getest met een loadbank.

De uitkomsten hiervan zullen gepubliceerd worden zodat iedereen hier van op de hoogte wordt gesteld.

Dennis, vwb. jouw vragen aan onze relatie Robbert; mochten (indirecte)relaties van GrafiX meer toelichting wensen te ontvangen over de werkzaamheden, voorbereidingen, betrokken partijen ed. dan licht ik deze graag persoonlijk toe. Ik ben bereikbaar via [email protected]

Ik heb meer vertrouwen in een DC die regelmatig test of alles werkt, dan een DC wat nooit test en ineens 8 uur plat ligt omdat hun UPS en generator niet werkt..

Vandaag zijn onze UPS systemen veelvuldig getest middels een loadbank ( belastings weerstand ). Via deze loadbank hebben we de UPS systemen kunnen belasten tot een niveau dat zelfs hoger ligt dan de huidige apparatuur/server belasting binnen ons pand. Hierbij hebben we de situatie van afgelopen zaterdag volledig kunnen simuleren.

Hieruit is gebleken dat de UPS systemen verkeerd staan ingesteld voor onze toepassing. De systemen horen namelijk gelijktijdig de belasting van het pand over te nemen. De eerste UPS probeerde echter na inschakeling direct de volledige belasting over te nemen waardoor deze overbelast raakte en zichzelf uit bescherming uitschakelde.

Dinsdag 26 mei zal de configuratie van de UPS systemen worden gewijzigd en zal er wederom veelvuldig worden getest. Indien deze tests dinsdag naar behoren worden uitgevoerd dan zullen de systemen in de nacht van dinsdag op woensdag om 01:00u in gebruik worden gesteld.

Mocht het her-configureren meer tijd in beslag nemen, of indien er niet voldoende tijd overblijft om de gehele installatie te testen, dan zal het bijschakelen van de UPSen exact 24 uur later worden uitgevoerd, tw. in de nacht van woensdag op donderdag ( 27 op 28 mei ) om 01:00u. We willen geen onnodige risico's lopen en daarom wordt er in de namiddag van dinsdag 26 mei besloten wanneer de systemen definitief worden ingeschakeld. Dit zal middels een mailing aan onze directe klanten omstreeks 16:00u kenbaar worden gemaakt.

Middels dit bericht vertrouw ik er op u voldoende te hebben geinformeerd. Mocht u verdere informatie of toelichting wensen over de recente storing of de werkzaamheden, dan licht ik deze graag per E-mail toe. U kunt deze richten aan [email protected]

Dank voor uw begrip en vertrouwen.

Met vriendelijke groet,

GrafiX Internet B.V.
Marco van Gink

Complimenten voor de communicatie. Dat gebeurt toch regelmatig stukken slechter...

Het enige probleem met de down-time was dat de servers opnieuw moesten opstarten maar wie zijn server goed heeft geïnstalleerd moest dit geen probleem zijn.

Ik heb meerdere klanten gesproken en geen van deze hebben last gehad van de down-time. De meeste hoorde het pas voor het eerst toen ik ze sprak.

Ik zeg: "Beste down-time die ik ook heb gehad".

PS: Perfect dat jullie de berichten zo serieus nemen. Een stuk beter dan webhostingtalk.

Greetz, Tijl

16-10-2010. Vandaag alweer een storing bij grafix. Daar balen we enorm van. Het zou opgelost zijn en wamo! de boel weer uit de lucht. Niet te begrijpen wat en k*t provider.

Fijn als je een site met belangrijke data hebt die wereldwijd getest moet worden met feedback. Als vervolgens niemand de site kan vinden is dat natuurlijk een enorme blunder. Wij zijn het meer dan spuugzat, dit kun je gewoon niet maken!

Cris, sinds dit nieuwsbericht zijn er 4 stroomstoringen geweest. Ja binnen 12 maanden. En netwerkstoringen niet te tellen.

@cris en @H:
Houd de verschillende locaties van Grafix een beetje gescheiden svp. Jullie klagen denk ik voornamelijk over de locatie Capelle.