Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Serverius voert noodonderhoud uit aan routers na storing

  • Door
  • Arnout Veenman
  • geplaatst op
  • 23 maart 2015 10:00 uur

Door een storing was het Serverius netwerk zondagochtend slecht bereikbaar. Op Twitter lieten verschillende hosters weten door de storing getroffen te zijn. Om de storing te verhelpen, werd in eerste instantie de hardware van een router vervangen. Hiermee was de storing echter ook nog niet opgelost. Het probleem bleek namelijk een bug in de routersoftware te zijn.

Noodonderhoud

De storing begon rond 9:40 uur. Uit onderzoek van Serverius bleek dat de interne fallback van de router die de storing veroorzaakte, niet functioneerde. Ook het handmatig overschakelen naar de tweede cpu van de router lukte niet. Daarom liet Serverius om 11:05 uur weten dat de bewuste linecard zou worden vervangen. Om 13:25 werd gemeld dat door de vervanging de meeste problemen waren opgelost.

Om 14:45 uur maakte Serverius echter melding dat men waarschijnlijk te maken heeft met een bug in Cisco OS, die verholpen is in de nieuwste versie van het routerbesturingssysteem:

Update: Emergency maintenance.
Because we probably facing a Cisco OS bug what is fixed with the newest software release, we will now software update one routing engine at router 2 (at DC1). For this a small amount of BGP sessions need to be shut down (for sure to avoid long downtime) so it could be possible that you will experience some packet loss during this emergency maintenance. Sorry for the inconvenience, but we want to rule out that this bug causing more or same problems.

Om 15:10 uur wist Serverius te melden dat de softwareupgrade op één van de routers succesvol was doorgevoerd en een uur later dat door de upgrade de oorzaak van de storing eerder die dag, verholpen leek te zijn. Uit die laatste update blijkt dat het probleem te maken had met TCAM-geheugen in de routingengine dat door de bug niet goed functioneerde en gecrasht was.

Smokeping

Uit Smokeping-statistieken, zowel gezien vanuit Serverius naar andere netwerken als vanuit een ander netwerk dat Serverius in de gaten houdt, blijkt dat de absolute hoeveelheid downtime relatief beperkt is gebleven. In totaal gaat het om ongeveer één uur downtime. Echter is die wel verdeeld over drie incidenten in drieënhalf uur tijd.

Smokeping vanaf Serverius naar AMS-IX

Smokeping vanaf Serverius naar AMS-IX

Smokeping vanaf A2B naar Serverius

Smokeping vanaf A2B naar Serverius

Tweede storing in een week

Vorige week werd Serverius ook al getroffen door een storing, toen bleek het te gaan om een defecte geheugenmodule in een router. Op Twitter meldde zondagochtend daarom een relatief groot aantal hosters getroffen te zijn door de storing. Met name het woord ‘wederom’ en ‘again’ voor het woord ‘storing’ valt in een aantal van de tweets op.

https://twitter.com/wrhosting/status/579572068787847168

Serverius heeft aangekondigd vandaag met een RFO (Reason For Outage) van de netwerkstoring van gisteren te komen. Wanneer daar nieuwe informatie uit blijkt, dan zal dit artikel worden aangevuld.

 

Onbekend, 23 maart 2015 8:24 pm

Zoals het eruit ziet gaat Neostrada wellicht verhuizen:
See: http://status.neostrada.nl/

Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.