- Door
- Arnout Veenman
- geplaatst op
- 24 maart 2015 09:03 uur
In een e-mail naar klanten heeft CloudVPS meer bekend gemaakt over de langdurige netwerkstoring die door een glasvezelbreuk was veroorzaakt. In die e-mail bevestigt CloudVPS de vermoedens die er bestonden: beide glasvezels die de ring vormen tussen de datacenters die CloudVPS gebruikt, liepen door dezelfde kapot gegraven duct. ClloudVPS maakt ook excuses aan haar klanten maar stelt dat het probleem buiten haar invloed lag.
Twee glasvezels in één duct
In de e-mail die door CloudVPS is verstuurd aan klanten schrijft het bedrijf het volgende over de oorzaak van de storing:
CloudVPS maakt gebruik van een ringnetwerk tussen de drie datacentra waarbij in principe de uitval van een verbinding kan worden opgevangen. Bij de werkzaamheden vanochtend zijn helaas twee kabels geraakt waardoor de communicatie tussen de datacentra niet meer automatisch kon worden hersteld.
Split brain
Verder schrijft CloudVPS dat door het wegvallen van de glasvezel ring tussen de datacenters er een split brain-situatie ontstond. Hierdoor was het niet alleen niet meer mogelijk om dataverkeer tussen de datacenters onderling dataverkeer te routeren maar ook naar de rest van het internet toe.
Met het uitvallen van de twee verbindingen is een zogeheten split brain-situatie ontstaan waarbij datacenter euNetworks enerzijds en de twee Equinix-datacentra anderzijds losse eilanden vormden waartussen geen communicatie meer mogelijk was. Dit betekent ook dat een aantal uplinks vanaf het CloudVPS-netwerk met het Internet hierdoor goeddeels onbereikbaar is geraakt aangezien deze uplinks elk in eigen datacentra termineren.
Omdat de centrale ring niet beschikbaar was is ook het interne routeren hierdoor gestopt waardoor ook de omgevingen die over meer datacentra zijn opgezet hierdoor getroffen zijn en verminderd of niet bereikbaar waren.
Dat is opvallend omdat het bedrijf in de e-mail aangeeft dat uplinks in verschlllende datacenters termineren. Ook op de website van CloudVPS staat het volgende over het netwerk:
De datacenters zijn door een eigen 40 Gigabit fibrering aan elkaar verbonden. Waardoor de verschillende onderdelen van onze cloud snel data met elkaar kunnen uitwisselen. Wij hebben twee core routers per datacenter die het werk van elkaar over kunnen nemen indien nodig. Het switching netwerk dat de routers met onze clusters verbindt, is ook volledig dubbel opgezet.
Dat roept een aantal vragen op: Waarom routering naar het internet niet meer mogelijk was, terwijl er nog wel gewoon werkende uplinks vanaf verschillende datacenters waren? Waarom konden de onderdelen van netwerk in de verschillende datacenters hun eigen dataverkeer niet routeren? Hoe redundant is het netwerk van CloudVPS feitelijk?
Nieuwe glasvezel
De storing kon worden opgelost door dat CloudVPS al een derde glasvezel verbinding had besteld, die ook al was opgeleverd maar nog niet in gebruik was genomen. Deze is daarom gisteren alsnog direct in gebruik genomen en daarna zijn de verbindingen ‘stap voor stap’ overgezet naar de nieuwe glasvezel. Over de bestaande glasvezel ring schrijft CloudVPS:
Met het incident van vanochtend is duidelijk geworden dat tegen de afspraken in twee glasvezelverbindingen toch een deel van het traject delen met elkaar en beiden waren geraakt. De nieuwe glasvezelverbinding was niet geraakt door de werkzaamheden, wat ook betekent dat deze niet niet via hetzelfde traject loopt.
Buiten de invloed van CloudVPS
Het meest opvallende in de e-mail van CloudVPS is, dat het bedrijf met zoveel woorden lijkt te stellen dat de storing niet aan haar schuld te wijten was. CloudVPS stelt namelijk dat de oorzaak van de storing ‘buiten haar invloed’ lag:
Ten slotte: Alhoewel het probleem buiten onze invloed ligt willen we u graag onze welgemeende excuses aanbieden voor de ontstane overlast.
[advpoll id=”129″ title=”Vraag van de dag” width=”100%”]
