Veel defecte hardware na gasblussing in GYRO Center DC-1

Twee jaar geleden waren er geen ramen gesneuveld. In feite gebeurde toen exact hetzelfde, behalve dat het toen midden op een zeer zomers dag gebeurde, waardoor de temperaturen gigantisch opliepen. Ook toentertijd waren de ramen al ingesteld om open te gaan bij een gasblussing, zodat de overdruk weg kan.

Of je al dan niet automatisch moet blussen lijkt mij ervan af te hangen hoe snel een vuur in een datacenter om zich heen kan grijpen en hoe snel handmatige blussing mogelijk is. Ik heb geen harde data, maar ik vermoed dat de meeste 'branden' in een datacenter niet meer dan smeulende onderdelen zijn, waarschijnlijk zeer tijdelijk (bijvoorbeeld: een voeding ploft eens niet direct, maar brand in een minuut tijd door - dat zorgt mogelijk voor genoeg rook voor een blussing, maar leidt waarschijnlijk niet tot een echte brand).

Ik heb zo'n vermoeden dat de meeste 'gesneuvelde' disks niet echt stuk zijn. Door de snelle temperatuurdaling raken ze de weg kwijt, omdat de schijven iets krimpen en de kop dus op de verkeerde plek gaat lezen. Een disk voert zelf eens in de zoveel tijd een temperatuur calibratie uit, maar omdat bij een blussing de temperatuur in korte tijd sterk daalt is de afwijking groter dan waar de disk rekening mee houdt. Na een powercycle zullen de meeste disks het waarschijnlijk gewoon weer doen (nadat ze online zijn gebracht in de RAID controller als ze onderdeel uitmaken van een RAID set.). Serverdisks zijn op dit punt meestal wat vergevingsgezinder. We hebben bij BIT ook wel eens een blussing gehad (waarvan de oorzaak overigens wel bekend was - https://weblog.bit.nl/2008/06/10/als-het-brandalarm-gaat/ ), toen waren er maar een handjevol disks met problemen, waarvan de meesten (zo niet alle) het na een powercycle weer deden.

In het betreffende datacenter is voor zover mij bekend 24/7 een beveiliger aanwezig. In datacentra waar dat het geval is kan het een verstandige keuze zijn om de gasblussing niet automatisch af te laten gaan. Deze af laten gaan nadat een persoon hier toe besloten heeft (ivm vlammen die niet met een losse blusser te blussen zijn) kan wel een goede keus zijn. De schade zal dan nog steeds aanwezig zijn, echter de kans dat het onterecht gebeurd is waarschijnlijk iets kleiner.

@Mark: Dat zou een optie zijn, de vraag is alleen of je die keuze aan een beveiliger over wilt laten. Als hij het zekere voor het onzekere neemt kun je het net zo goed automatiseren, aan de andere kant bestaat het risico dat hij/zij de situatie onderschat. En je zit met responstijden. Ik heb zelf wel eens (bij een ander datacenter) bijna een half uur voor de deur gestaan voordat ik binnengelaten werd omdat de beveiliger toevallig net met iets anders bezig was. Dat is natuurlijk slecht en dat zou niet moeten gebeuren, maar als je het aan een persoon overlaat loop je het risico dat zoiets gebeurt. Het blijft een lastige afweging, alle oplossingen zitten voor- en nadelen aan. Het mooiste zou zijn om de koeling door te laten draaien (dat kan inmiddels) en iets te verzinnen waardoor het blusgas niet zo gruwelijk koud is als het ingeblazen wordt. Grotere flessen met een lagere druk bijvoorbeeld.

@Alex: Gaat er waarschijnlijk om dat het iemand is die op lokatie is. Dus die heeft dat issue niet. Bovendien is er makkelijk wat te verzinnen dat het alarm een vooralarm geeft, en als deze niet binnen een bepaalde tijd gestopt wordt dat dan de blusinstallatie automatisch gaat. Het meteen vol blussen vind ik zelf in veel gevallen ook erg overdreven: een keer een klein brandje of roetvorming kan zo hele hoop schade en/of last veroorzaken.

Ramen open voor overdruk? Hebben ze daar geen drukkleppen voor dan? Het lijkt mij dat als de ramen bij de blussing direct open gaan de overdruk in de ruimte slechts beperkt is en dat tevens het effect van de blussing ook minimaal is als je direct weer zuurstof rijke lucht binnen laat.

Het ljjkt mij dat de ramen slechts geopend worden ter ontluchting van de dataruimte? Bittere noodzaak wanneer je snel weer in zoon ruimte aan de slag wil. Kan wel maar gezond is het niet.

Wat betreft de poll... Als je een blussing uit stelt tot een hoge temperatuur en 100% zekerheid dat er rook is, word de kans op redding kleiner. In slechts een minuut tijd kan een beetje rook zich vormen tot een flinke uitslaande brand. Helemaal in een ruimte waar behoorlijk wat lucht verplaatst word.

@Calypso Die systemen geven gewoon een voormelding, tenslotte moet je ook de tijd hebben om de ruimte te verlaten. In geval van een echte brand is elke seconde belangrijk. 10-15 seconden uistellen kan voor tienduizenden euro's extra schade zorgen. En dan keren we het verhaal om; waarom ging de blussing niet eerder af?

In het ergste geval is data op schijven welke echt gesneuveld zijn te recoveren. Na een brand welke iets te lang door kon gaan is er niets meer te herstellen.

Heren,
Mag ik enige aandachtspunten geven?
- Ramen die open staan bij een blussing, zorgen er voor dat al het blusmiddel verdwijnt. Een overdrukluik zorgt er voor dat de maximale overdruk niet overschreden wordt, maar dat het blusmiddel wel in de ruimte blijft.
-Smeulende onderdelen kunnen gedetecteerd worden met rookaanzuigsystemen. De schade is dan nog zo beperkt, dat blussing zeker nog niet nodig is, deze gaat met deze hoeveelheid rook niet eens af.
-De temperatuur in de ruimte daalt vaak niet zo extreem. Tenzij er met CO2 geblust wordt. Meer waarschijnlijk zijn het geluidsdrukgolven geweest van de blusinstallatie (zie Westhost datacenter Engeland). Inerte blusgassystemen kunnen uitgevoerd worden met een geluidsdemper om dit te voorkomen.
-Beter is het nog om er voor te zorgen dat een brand niet kan ontstaan. Een zuurstofverlagingsinstallatie leidt zeker tot schadebeperking. En daar gaat het natuurlijk om. Blussen moeten we niet willen, maar snel detecteren en schade beperken.

Met vriendelijke groet,