Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Veel defecte hardware na gasblussing in GYRO Center DC-1

  • Door
  • Arnout Veenman
  • geplaatst op
  • 28 april 2013 12:11 uur

TELE2In de nacht van vrijdag op zaterdag heeft er een gasblussing plaatsgevonden in het GYRO Center DC-1 (Tele 2) datacenter in Amsterdam. Als gevolg van de gasblussing in combinatie met temperatuur schommelingen door het uitschakelen van de airco’s en het openen van de ramen, is er veel hardware in het datacenter defect geraakt, waaronder vooral harddisks, zo blijkt uit berichten op webhostingtalk.nl.

De reden van het afgaan van het blandalarm was volgens webhostingtalk.nl-eigenaar Domenico Consoli niet bekend en nog steeds zijn daar geen berichten over verschenen. Wel was meteen duidelijk dat er veel hardware defect is geraakt door de gevolgen van de brandblussing, waaronder vooral harddisks. Een aantal andere hosters die apparatuur hebben staan in het datacenter bevestigen dat er harddisks defect zijn geraakt door de brandblussing.

Het zou ook net de eerste keer zijn dat GYRO Center DC-1 een gasblussing is geweest. Twee jaar geleden zou dat ook al zijn gebeurt in het datacenter, waarbij ook al de nodige harddisks waren gesneuveld. Destijds zou er zelfs geen rekening gehouden zijn met de overdruk van de glasblussing waardoor er toen naar verluidt ook ruiten waren gesneuveld. Defecte hardware als gevolg van een glasblussing in een datacenter is geen uitzondering. Toen in 2007 er een spontane gasblussing plaatsvond in het Eweka datacenter, zorgde dat ook voor de nodige defecte harddisks.

John Timmer van SystemDeveloper.nl plaatste de volgende screenshot van een RAID-set waarvan verschillende harddisks defect zijn geraakt. Toevallig in een ander datacentrum op dezelfde dag zo laat Timmer in een reactie aan  ISPam.nl weten, maar het beeld is hetzelfde als wat veel servereigenaren in GYRO Center DC-1 te zien kregen.

Defecte harddisks na gasblussing GYRO Center DC-1

Over de gasblussing is op webhostingtalk.nl een discussie ontstaan over de vraag als gevolg waarvan de harddisks precies defect zijn geraakt. Is dat het gevolg van de overdruk die ontstaat door de gasblussing, de plotselinge temperatuurschommeling of door de geluidsdruk die de gasblussing veroorzaakte? Dat roept de vraag op of de oplossing niet erger is dan de kwaal? Is het wel verstandig om een automatische gasblussing te hebben of kan daar niet beter handmatig toe besloten worden? Wat vinden jullie?

Jochem, 28 april 2013 2:42 pm

Twee jaar geleden waren er geen ramen gesneuveld. In feite gebeurde toen exact hetzelfde, behalve dat het toen midden op een zeer zomers dag gebeurde, waardoor de temperaturen gigantisch opliepen. Ook toentertijd waren de ramen al ingesteld om open te gaan bij een gasblussing, zodat de overdruk weg kan.

Of je al dan niet automatisch moet blussen lijkt mij ervan af te hangen hoe snel een vuur in een datacenter om zich heen kan grijpen en hoe snel handmatige blussing mogelijk is. Ik heb geen harde data, maar ik vermoed dat de meeste 'branden' in een datacenter niet meer dan smeulende onderdelen zijn, waarschijnlijk zeer tijdelijk (bijvoorbeeld: een voeding ploft eens niet direct, maar brand in een minuut tijd door - dat zorgt mogelijk voor genoeg rook voor een blussing, maar leidt waarschijnlijk niet tot een echte brand).

Alex Bik, 29 april 2013 12:17 pm

Ik heb zo'n vermoeden dat de meeste 'gesneuvelde' disks niet echt stuk zijn. Door de snelle temperatuurdaling raken ze de weg kwijt, omdat de schijven iets krimpen en de kop dus op de verkeerde plek gaat lezen. Een disk voert zelf eens in de zoveel tijd een temperatuur calibratie uit, maar omdat bij een blussing de temperatuur in korte tijd sterk daalt is de afwijking groter dan waar de disk rekening mee houdt. Na een powercycle zullen de meeste disks het waarschijnlijk gewoon weer doen (nadat ze online zijn gebracht in de RAID controller als ze onderdeel uitmaken van een RAID set.). Serverdisks zijn op dit punt meestal wat vergevingsgezinder. We hebben bij BIT ook wel eens een blussing gehad (waarvan de oorzaak overigens wel bekend was - https://weblog.bit.nl/2008/06/10/als-het-brandalarm-gaat/ ), toen waren er maar een handjevol disks met problemen, waarvan de meesten (zo niet alle) het na een powercycle weer deden.

Mark, 29 april 2013 3:59 pm

In het betreffende datacenter is voor zover mij bekend 24/7 een beveiliger aanwezig. In datacentra waar dat het geval is kan het een verstandige keuze zijn om de gasblussing niet automatisch af te laten gaan. Deze af laten gaan nadat een persoon hier toe besloten heeft (ivm vlammen die niet met een losse blusser te blussen zijn) kan wel een goede keus zijn. De schade zal dan nog steeds aanwezig zijn, echter de kans dat het onterecht gebeurd is waarschijnlijk iets kleiner.

Alex Bik, 29 april 2013 5:46 pm

@Mark: Dat zou een optie zijn, de vraag is alleen of je die keuze aan een beveiliger over wilt laten. Als hij het zekere voor het onzekere neemt kun je het net zo goed automatiseren, aan de andere kant bestaat het risico dat hij/zij de situatie onderschat. En je zit met responstijden. Ik heb zelf wel eens (bij een ander datacenter) bijna een half uur voor de deur gestaan voordat ik binnengelaten werd omdat de beveiliger toevallig net met iets anders bezig was. Dat is natuurlijk slecht en dat zou niet moeten gebeuren, maar als je het aan een persoon overlaat loop je het risico dat zoiets gebeurt. Het blijft een lastige afweging, alle oplossingen zitten voor- en nadelen aan. Het mooiste zou zijn om de koeling door te laten draaien (dat kan inmiddels) en iets te verzinnen waardoor het blusgas niet zo gruwelijk koud is als het ingeblazen wordt. Grotere flessen met een lagere druk bijvoorbeeld.

Calypso, 30 april 2013 9:01 am

@Alex: Gaat er waarschijnlijk om dat het iemand is die op lokatie is. Dus die heeft dat issue niet. Bovendien is er makkelijk wat te verzinnen dat het alarm een vooralarm geeft, en als deze niet binnen een bepaalde tijd gestopt wordt dat dan de blusinstallatie automatisch gaat. Het meteen vol blussen vind ik zelf in veel gevallen ook erg overdreven: een keer een klein brandje of roetvorming kan zo hele hoop schade en/of last veroorzaken.

Arjan, 30 april 2013 9:06 am

Ramen open voor overdruk? Hebben ze daar geen drukkleppen voor dan? Het lijkt mij dat als de ramen bij de blussing direct open gaan de overdruk in de ruimte slechts beperkt is en dat tevens het effect van de blussing ook minimaal is als je direct weer zuurstof rijke lucht binnen laat.

Het ljjkt mij dat de ramen slechts geopend worden ter ontluchting van de dataruimte? Bittere noodzaak wanneer je snel weer in zoon ruimte aan de slag wil. Kan wel maar gezond is het niet.

Wat betreft de poll... Als je een blussing uit stelt tot een hoge temperatuur en 100% zekerheid dat er rook is, word de kans op redding kleiner. In slechts een minuut tijd kan een beetje rook zich vormen tot een flinke uitslaande brand. Helemaal in een ruimte waar behoorlijk wat lucht verplaatst word.

Arjan, 30 april 2013 9:14 am

@Calypso Die systemen geven gewoon een voormelding, tenslotte moet je ook de tijd hebben om de ruimte te verlaten. In geval van een echte brand is elke seconde belangrijk. 10-15 seconden uistellen kan voor tienduizenden euro's extra schade zorgen. En dan keren we het verhaal om; waarom ging de blussing niet eerder af?

In het ergste geval is data op schijven welke echt gesneuveld zijn te recoveren. Na een brand welke iets te lang door kon gaan is er niets meer te herstellen.

Bart Kerkstra, 4 september 2013 3:35 pm

Heren,
Mag ik enige aandachtspunten geven?
- Ramen die open staan bij een blussing, zorgen er voor dat al het blusmiddel verdwijnt. Een overdrukluik zorgt er voor dat de maximale overdruk niet overschreden wordt, maar dat het blusmiddel wel in de ruimte blijft.
-Smeulende onderdelen kunnen gedetecteerd worden met rookaanzuigsystemen. De schade is dan nog zo beperkt, dat blussing zeker nog niet nodig is, deze gaat met deze hoeveelheid rook niet eens af.
-De temperatuur in de ruimte daalt vaak niet zo extreem. Tenzij er met CO2 geblust wordt. Meer waarschijnlijk zijn het geluidsdrukgolven geweest van de blusinstallatie (zie Westhost datacenter Engeland). Inerte blusgassystemen kunnen uitgevoerd worden met een geluidsdemper om dit te voorkomen.
-Beter is het nog om er voor te zorgen dat een brand niet kan ontstaan. Een zuurstofverlagingsinstallatie leidt zeker tot schadebeperking. En daar gaat het natuurlijk om. Blussen moeten we niet willen, maar snel detecteren en schade beperken.

Met vriendelijke groet,

Feedback!
Fill out my online form.
Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.