Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Amazon gaat ‘throttling-policy’ onder loep nemen na laatste outage

  • Door
  • Jeroen Mulder
  • geplaatst op
  • 29 oktober 2012 15:00 uur

Amazon gaat een deel van haar klanten schadevergoeding betalen. Reden is de outage die het bedrijf vorige week ondervond in AWS. Dit was de vijfde grote outage in korte tijd. De reden echter om tot schadevergoeding over te gaan is het feit dat Amazon tijdens de debugging besloot om systemen af te sluiten om verdere schade te voorkomen. Klanten konden door deze ‘throttling’ lange tijd niet bij hun omgevingen die in AWS worden gehost.

De storing begon vorige week in een machine die de datacollectie verzorgt. Dit was volgens de onderneming een simpele hardware-failure, maar erger: in een single-ended systeem. De machine werd snel vervangen, waarna de DNS-tabellen werden aangepast. Die nieuwe DNS-tabellen werden echter niet goed gepropageerd. Daarna ontstond een kettingreactie waardoor de frontend-machines de storageservers niet meer konden vinden.

Falende monitoring

Amazon geeft in een uitgebreid incidentrapport toe dat de monitoring faalde: pas toen een groot aantal machines out-of-memory-fouten gaven, sloeg de monitoring ‘alarm’. Amazon hanteert vervolgens ‘throttling’: daarbij beperkt Amazon de toegang tot de API’s om systemen te beschermen. Dat was overigens al rijkelijk te laat aangezien grote deel van AWS toen al overspoeld waren door logjams. De databases en load balancers reageerden vanaf dat punt al niet meer omdat ze het verkeer letterlijk niet meer konden verwerken.

Juist door de throttling werden echter veel meer klanten getroffen dan strikt noodzakelijk. In een reactie stelt Amazon dat API-throttling een effectief instrument is om schade aan AWS te voorkomen , maar dat in dit geval de impact groter was dan Amazon had “voorzien of bedoeld”. De outage raakte daardoor miljoenen klanten in de VS, terwijl het probleem in eerste instantie vooral klanten in het oosten van de VS betrof. Ook de social media-dienst Foursquare dat deels op AWS leunt, was bijvoorbeeld urenlang onbereikbaar. Amazon gaat nu bestuderen of de throttling-policy niet te agressief is.

Nog geen reacties

Feedback!
Fill out my online form.
Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.