Zaterdagavond vond er wederom een stroomstoring plaats in het Grafix datacentrum in Capelle aan den IJssel. Door de stroomstoring waren de netwerken van Grafix, Caveo Internet en Technotop gedurende enige tijd niet bereikbaar. Ruim een maand terug, op 26 augustus, was er ook al een stroomstoring in dit datacentrum. Toen was een stroomverdeler in brand gevlogen en schakelde de spanning om naar de UPS. Door een falende switch schakelde de spanning niet over naar de generator waardoor de UPS uitputte.

Afgelopen weekend lag de storing aan een niet werkende bypass van de netspanning naar het UPS systeem. Directeur Marco van Gink benadrukt dat deze stroomstoring niets te maken had met een overbelasting. Om de bedrijfszekerheid te garanderen is direct besloten om een nieuwe bypass schakelaar te plaatsen. Door het gewicht van ruim 2000 kilo en de afmetingen van 3 bij 1,2 bij 2 meter zal het plaatsen enige tijd duren. Temeer omdat er ook extra bekabeling voor aangelegd dient te worden. De exacte oorzaak van de falende schakeling is echter nog  niet achterhaald.

Tegenover ISPam banadrukt Van Gink dat deze storing geen relatie had met de vorige storing. In 2007 is Grafix begonnen met het verzwaren van de algehele installatie binnen het pand. Er is een eigen trafostation geplaatst en de gehele schakelinstallatie is vervangen.

Dit traject heeft heel lang geduurd omdat het een live omgeving betreft en sommige dingen niet gemakkelijk kunnen worden vervangen. Het gevaar tot uitval en stroom overslag is daar deel van, maar ook de fysieke afmetingen en gewichten van de machines spelen een grote rol.

In een eerdere mailing aan de klanten was reeds uitgelegd dat verschillende machines in de UPS ruimte de komende maanden zouden worden uitgebreid. Hier vallen ondermeer onder een nieuwe separate A- en B-hoofdverdeler en een nieuwe by-pass. Deze laatste kast wordt nu dus vervroegd tussen geschakeld en in gebruik genomen, omdat de huidige ingebouwde bypass in de UPS klaarblijkelijk niet betrouwbaar meer is.

Afgelopen vrijdag is een stroomstoring opgetreden in het GrafiX NOC datacentrum in Capelle aan den IJssel. De stroomstoring ontstond door een brand in een (netspanning) stroomverdeler van het pand. Ondanks dat de stroomverdeler zich nog voor zowel de ATS (Automatic Transfer Switch) – die wisselt tussen generator en netspanning – en de UPS-systemen bevindt viel toch de stroom na enkele minuten uit doordat de UPS-systemen uitgeput raakten.

In een e-mail naar de klanten van GrafiX legt directeur Marco van Gink uit dat de stroom is uitgevallen doordat bij de brand in de stroomverdeler een zekeringhouder is beschadigd en daarbij ook een deel van de mespatronen (zekeringen), echter ging over de niet doorgebrande zekeringen toch nog spanning, waardoor de ATS, die de voorkeur heeft voor netspanning bleef “twijfelen” of de netspanning kon worden gebruikt of dat de spanning van de generatoren moet worden betrokken. Hierdoor lukte het de ATS niet om een stabiele voeding aan de UPS-systemen te leveren, die de stroom overnamen maar na 3 minuten uitgeput raakten.

Van Gink heeft het volgende tijdsverloop genoemd in zijn bericht:

• 19:23u – Netspanning naar UPS valt weg en diesel generator wordt automatisch gestart. UPS wordt niet gevoed wegens een probleem dat hieronder nader wordt toegelicht.
• 19:27u – UPS schakelt zichzelf uit ivm. ontladen batterijen.
• 19:51u – Spanning naar UPS handmatig overgezet naar generator spanning.
• 19:52u – UPS batterijen worden geladen, UPS start en servers krijgen weer spanning.
• 1952u tot 22:00u – Met de installateur is een manier bedacht om het beschadigde deel te omzeilen om zodoende de UPS weer op netspanning aangesloten te krijgen. Omdat dit een specifiek onderdeel betreft kon dit niet direct worden vervangen voor een nieuw exemplaar.
• Omstreeks 22:05u – De netspanning is opnieuw ingeschakeld en via de ATS is de UPS terug gezet naar reguliere netstroom. De generator is na het testen van de belasting uitgeschakeld en weer stand-by geplaatst.

Deze week zal de beschadigde stroomverdeler worden vervangen en zullen de servers via de UPS worden overgeschakeld naar generator spanning. Daarnaast zal er in de ATS een timer-module worden ingebouwd zodat deze een bepaalde tijd gefixeerde stroom blijft leveren via de generator zodra deze aanspringt. Als de netspanning dan bijvoorbeeld 1 seconde wegvalt en direct terugkomt, zal de stroom toch een bepaalde periode op diesel blijven draaien. Daarna schakelt hij automatisch weer terug naar netspanning Eneco. Er wordt op die manier een “zekerheids periode” ingebouwd om storingen als deze te voorkomen, liet Van Gink tegenover ISPam.nl weten. Beide ingrepen zullen geen downtime tot hun gevolg hebben.

GrafiX heeft bekend gemaakt een nieuw datacentrum te gaan openen in Alphen aan den Rijn. Het gaat daarbij om een datacentrum dat vroeger van Cistron Internet is geweest. Het pand is totaal 1.800m2 groot en zal worden gebruikt als datacentrum, maar ook als kantoorruimte die in units vanaf 25m2 door klanten van GrafiX kunnen worden gehuurd.

Lees verder »

In de afgelopen nacht van maandag op dinsdag is om 00:40 uur op de eerste verdieping van het GrafiX datacentrum de stroom deels uitgevallen. De stroomstoring werd veroorzaakt doordat de zekering van stroomfase 1 als gevolg van overbelasting was doorgebrand.

Gezien het niet mogelijk was om alleen de zekering van fase 1 te vervangen, moest toch de stroom van alle fases op de eerste verdieping af. Om 01:20 uur is men daarom bij GrafiX begonnen om alle servers, die gebruik maakten van fases 2 en 3, handmatig af te sluiten met behulp van ctrl+alt+del, waarna de zekeringen van alle 3 de fases konden worden vervangen en verzwaard. Het duurde tot 02:25 uur voordat alle servers weer draaiden.

Vierde stroomstoring dit jaar
Gezien dit alweer de vierde stroomstoring in het GrafiX datacentrum is dit jaar en GrafiX directeur Marco van Gink mij bij de vorige stroomstoring had dat er druk werd gewerkt aan vervanging van de stroom-infrastructuur, maar de werkzaamheden nog even zouden duren door een lange levertijd van ondermeer de nieuwe UPS-systemen. Van Gink verwachtte dat het datacentrum binnen enkele weken een zwaardere belasting aan zou moeten kunnen. Dat is nu ondertussen alweer 3 maanden geleden.

Uiteraard heb ik Van Gink dit keer opnieuw tekst een uitleg gevraagd, met daarbij als belangrijkste vraag, hoe dit nou opnieuw mogelijk is. Het verhaal van Van Gink komt er op neer dat de levering van UPS-systemen, héél lang op zich heeft laten wachten.

Nieuwe UPS-systemen
Vrijdag 14 december is het eindelijk zo ver, dan zullen er twee 800KVA UPS-systemen van MGE in het GrafiX datacentrum in gebruik worden genomen. Daarbij wordt de stroom in het volledige datacentrum afgesloten, vooraf zal GrafiX alle servers handmatig met behulp van ctrl+alt+del uitschakelen. Tot dan is er een volledig plaatsingsverbod in het datacentrum, waarbij er geen nieuwe servers meer mogen worden aangesloten!

Op de vraag wat Van Gink zelf van de situatie vindt was hij helder: GrafiX levert al een half jaar niet de kwaliteit die ze willen leveren. Daarnaast stelt Van Gink dat totdat de infrastructuur vervangen is, overbelasting niet te voorkomen is en dat het instellen van het plaatsingsverbod in het hele datacentrum, het enige is dat hij er op dit moment aan kan doen.

Gisternacht is de stroom voor de derde keer dit jaar in het GrafiX datacentrum in Capelle aan den IJssel uitgevallen. Omstreeks 3:07 uur op 27 augustus vond er een overbelasting plaats op fase 1 van de hoofdaansluiting in het GrafiX datacentrum, waardoor een meszekering sprong.

Lees verder »

Gisteravond om 23:35 uur trad een stroomstoring op in het GrafiX datacentrum in Capelle aan den IJssel. De stroomstoring trof de eerste verdieping van het datacentrum. Onderzoek door technici van GrafiX is gebleken dat de kabel naar het UPS-systeem gebroken was, wat resulteerde in het uitvallen van twee van de drie stroomfasen in het datacentrum.

Door de technici van GrafiX zijn daarna de UPS-systemen tussen de inkomende en de stroomvoorziening in datacentrum verwijderd, waarmee deze nu rechtstreeks op elkaar zijn aangesloten en de stroomvoorziening in het datacentrum niet meer gebufferd wordt door UPS-systemen. Hierna was het mogelijk om 1:50 uur de stroomvoorziening weer te hervatten.

De situatie zoals die nu is gecreëerd, moet denk ik als een noodoplossing worden gezien. Dat GrafiX deze mening ook is toegedaan blijkt uit het volgende (deel) van een brief over de kwestie van GrafiX directeur Marco van Gink:

De komende dagen zal getracht worden de oorzaak van deze storing te achterhalen. Op zeer korte termijn zal de installatie definitief aangesloten worden waarvoor het noodzakelijk is om de stroomvoorziening gecontroleerd af te sluiten. Eea. zal minstens 48 uur van te voren kenbaar worden gemaakt.
Gezien de ernst van de situatie is het in ieders belang dat deze werkzaamheden zo snel mogelijk worden uitgevoerd. Een eerdere melding vooraf is derhalve naar alle waarschijnlijkheid niet mogelijk.

Het nadeel hiervan is dus dat, zoals Marco al aangeeft, binnenkort de stroom er in het GrafiX datacentrum opnieuw vanaf moet, wat opnieuw zal zorgen voor downtime, al kan dat helaas niet anders. Daarnaast was er in maart dit jaar ook al een stroomstoring in het GrafiX datacentrum, die veroorzaakt werd door een doorgebrande zekering. Wanneer er nieuwe ontwikkelingen zijn of meer bekend is over de stroomstoring lees je dat op ISPam.nl!

Wat vinden jullie er van dat er opnieuw een stroomstoring in het GrafX datacentrum is?

Gisteravond om 18:40 uur trad een stroomstoring op in het GrafiX datacentrum in Capelle aan den IJssel. Door de stroomstoring werd enkel de (volledige) eerste verdieping van het datacentrum getroffen. Na ongeveer 30 minuten, om 19:10 uur was de stroom weer hersteld.

Marco van Gink van GrafiX heeft mij uitgelegd dat de oorzaak van de stroomstoring zat in een overbelaste hoofdschakelaar (80 Ampère). In de groepenkast was al een zwaardere hoofdschakelaar (125 Ampère) aangelegd, maar die zou pas later in gebruik worden genomen. Omdat de kabels al de juiste dikte hadden, werd besloten de kabels om te leggen en de zwaardere hoofdschakelaar direct in gebruik te nemen.

Bij het oplossen van de stroomstoring hielp het enorm dat de engineer die voor GrafiX de stroomvoorziening verzorgt snel aanwezig was of zoals Marco dat uitdrukte “die met 180 over de van Brienenoord ging” en er daarnaast 6 klanten aanwezig waren die behulpzaam waren met het online brengen van alle uitgevallen apparatuur nadat de stroomvoorziening weer hersteld was.

Dat de stroomstoring kon plaats vinden heeft er voornamelijk mee te maken dat het GrafiX datacentrum een enorme groei doormaakt, mede dankzij het plotselinge vertrek uit het We Dare datacentrum, waaruit alle apparatuur naar het eigen datacentrum is verplaatst. Daarom is in een enorm korte tijd de getroffen eerste verdieping van het datacentrum volledig ingericht. Ondanks dat er met de plaatsing van de zwaardere hoofdschakelaar rekening was gehouden met een zwaardere belasting van de stroomvoorziening, was een zwaardere belasting dan 80 Ampère nog niet voorzien voor dit moment.

Naast de (eveneens permanente) oplossing van de zwaardere hoofdschakelaar, zal er binnenkort naast de A-stroomfeed, die de eerste verdieping van stroom voorziet, ook een B-stroomfeed worden gerealiseerd. Daarmee wordt extra redundantie mogelijk gemaakt.