- Door
- Jeroen Mulder
- geplaatst op
- 29 oktober 2012 15:00 uur
Amazon gaat een deel van haar klanten schadevergoeding betalen. Reden is de outage die het bedrijf vorige week ondervond in AWS. Dit was de vijfde grote outage in korte tijd. De reden echter om tot schadevergoeding over te gaan is het feit dat Amazon tijdens de debugging besloot om systemen af te sluiten om verdere schade te voorkomen. Klanten konden door deze ’throttling’ lange tijd niet bij hun omgevingen die in AWS worden gehost.
De storing begon vorige week in een machine die de datacollectie verzorgt. Dit was volgens de onderneming een simpele hardware-failure, maar erger: in een single-ended systeem. De machine werd snel vervangen, waarna de DNS-tabellen werden aangepast. Die nieuwe DNS-tabellen werden echter niet goed gepropageerd. Daarna ontstond een kettingreactie waardoor de frontend-machines de storageservers niet meer konden vinden.
Falende monitoring
Amazon geeft in een uitgebreid incidentrapport toe dat de monitoring faalde: pas toen een groot aantal machines out-of-memory-fouten gaven, sloeg de monitoring ‘alarm’. Amazon hanteert vervolgens ‘throttling’: daarbij beperkt Amazon de toegang tot de API’s om systemen te beschermen. Dat was overigens al rijkelijk te laat aangezien grote deel van AWS toen al overspoeld waren door logjams. De databases en load balancers reageerden vanaf dat punt al niet meer omdat ze het verkeer letterlijk niet meer konden verwerken.
Juist door de throttling werden echter veel meer klanten getroffen dan strikt noodzakelijk. In een reactie stelt Amazon dat API-throttling een effectief instrument is om schade aan AWS te voorkomen , maar dat in dit geval de impact groter was dan Amazon had “voorzien of bedoeld”. De outage raakte daardoor miljoenen klanten in de VS, terwijl het probleem in eerste instantie vooral klanten in het oosten van de VS betrof. Ook de social media-dienst Foursquare dat deels op AWS leunt, was bijvoorbeeld urenlang onbereikbaar. Amazon gaat nu bestuderen of de throttling-policy niet te agressief is.
