Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Deel .nl-namespace plat; SIDN onbereikbaar

  • Door
  • Arnout Veenman
  • geplaatst op
  • 29 mei 2008 08:13 uur

Alle .nl-domeinnamen platAfgelopen nacht is er iets misgegaan met de zone update van de .nl-zonefile, hierdoor was praktisch de volledige .nl-namespace vanaf 0:30 uur plat. Door caching werden gelukkig niet meteen alle .nl-domeinnamen onbereikbaar, maar na enige tijd werden ook veel nameservers ISP’s onbereikbaar en daarmee honderdduizenden .nl- en andere domeinnamen die gebruik maken van die nameservers.

Verschillende ISP’s hebben aan ISPam.nl gemeld dat zij direct na het constateren van de storing aanhoudend hebben geprobeerd om contact met SIDN op te nemen, maar zonder resultaat. Gelukkg bleek rond 6:15 uur werden de .nl-domeinnamen en nameservers van ISP’s weer bereikbaar, nog steeds zonder melding van SIDN zelf.

Het lijkt het meest waarschijnlijk dat de storing verband houdt met de upgrade van SIDN naar DRS4.2, die gisteravond is doorgevoerd en rond 23:00 uur is afgerond.

Update 8:30 uur:

SIDN bevestigt de storing in het volgende bericht naar haar deelnemers:

Na afloop van het onderhoudsvenster van 28 mei blijkt een aantal glue records uit de zonefile verdwenen te zijn. Als een gevolg hiervan is een aantal domeinnamen tussen 00.00u en 6.40u vanmorgen niet bereikbaar geweest. Wij hebben als tussenoplossing de zonefile van 28 mei 18.00u teruggezet. Alle nieuwe aanvragen van na dat tijdstip zijn op dit moment dus nog niet verwerkt in de zonefile.

Op dit moment wordt de verstoring onderzocht. Uit voorzorg is DRS tijdelijk uitgeschakeld.

Wij werken hard aan een oplossing en geven om 10.00u een update.
Onze excuses voor het ongemak.

Update 10:30 uur:

Zojuist is het volgende bericht door SIDN naar haar deelnemers gestuurd:

Zoals eerder vandaag gemeld hebben wij als gevolg van een storing de mailrobot en de webinterface van DRS tijdelijk uitgeschakeld. Hierdoor is het niet mogelijk aanvragen via webforms in te dienen. Het is echter wel mogelijk om e-mail forms in te dienen, deze worden na opstarten van DRS in volgorde van binnenkomst verwerkt.

Meer uitleg over de storing zullen wij u later deze ochtend per mail sturen en op de website publiceren.

Update 12:30 uur:

SIDN heeft in een nieuw bericht aan haar deelnemers ondermeer het volgende medegedeeld:

Op 28 mei hebben wij om 18.00uur onderhoud aan ons domeinregistratiesysteem gestart. Na afloop van dit onderhoud is een nieuwe versie van DRS4 in gebruik genomen en om 00.00uur is de eerste zonefile gegenereerd. Tussen 00.00uur en 6.40uur vanmorgen zijn vervolgens 175 glue records van name servers uit de zonefile verdwenen. Alhoewel wij een groot aantal controles op de zonefile uitvoeren voor deze gepubliceerd wordt, is deze fout niet naar voren gekomen. Uiteraard is deze controleprocedure inmiddels verder aangescherpt om dit soort problemen in de toekomst te voorkomen.
[…]
Op dit moment wordt hard gewerkt aan het herstellen van opgetreden DRS-fout. Twee mogelijke oplossingen worden momenteel beide onderzocht en voor implementatie voorbereid, te weten:
1. Een patch die de fouten in de database herstelt, waarbij alle transacties van vannacht verwerkt zijn.
2. De vorige versie van DRS wordt opnieuw geïmplementeerd, waarbij ook de oude database gebruikt wordt en alle transacties nogmaals aan DRS zullen worden aangeboden.
De uiteindelijke keuze zal worden gemaakt op basis van snelheid van implementatie en betrouwbaarheid van de oplossing.

Daarnaast heeft SIDN de procedure voor het melden van storingen ook meteen aangepast, om het kunnen melden van storingen ook ’s nachts te kunnen garanderen.

De titel van het bericht heb ik aangepast, omdat uit deze update blijkt dat ‘enkel’ een groot deel van de .nl-namespace plat heeft gelegen. Op basis van een gesprek dat ik zojuist had met een medewerker van SIDN gaat het voornamelijk om de grote deelnemers die getroffen zijn door de storing, waardoor het leek of (vrijwel) de hele .nl-namespace plat lag.

Robert, 29 mei 2008 8:40 am

And so they fuck it up again...

Martijn Groenleer, 29 mei 2008 9:06 am

Ik wil je er graag op attenderen dat niet de hele .nl namespace plat lag. Hier hebben we geen problemen gehad, mogelijk dat dit komt door het feit dat de door ons gebruikte nameservers (sinds 2 dagen) niet meer onder de .nl zone vallen.

Casper Bakker, 29 mei 2008 9:08 am

Conclusie: Ook je nameservers moeten redundant over verschillende tld's verspreid zijn.

Arnout Veenman, 29 mei 2008 9:22 am

@Martijn, zuiver technisch gezien heeft misschien de hele .nl-namespace niet plat gelegen, maar praktisch is dat natuurlijk wel het geval. Zeker omdat het grootste deel van de Nederlandse ISP's/hosters enkel .nl-nameservers gebruikt.

Memnon, 29 mei 2008 9:27 am

Vind het desalniettemin een misleidende 'telegraaf-stijl' titel van dit artikel.

Martijn Groenleer, 29 mei 2008 10:06 am

Arnout, hoewel het SIDN zelf misschien niet de beste bron is, en hun standpunt ook op andere websites al eerder is aangegeven, ontbrak niet overal de glue records. (De koppeling tussen hostname+ip).
Glue records zijn over het algemeen nodig wanneer je bijvoorbeeld nameservers gebruikt waarvan de hostname binnen de zone vallen die ze hosten.
Voorbeeld:
gebruik maken van ns1.ispam.nl om de DNS van ispam.nl te hosten.
Hiervoor zal een glue record voor ns1.ispam.nl opgenomen dienen te worden.

En daar ging het dus fout. Er waren wel glue records, maar het IP dat daar bij hoorde werd niet terug gegeven.

Arnout Veenman, 29 mei 2008 10:09 am

@Memnon, @Martijn, toen ik rond 8:00 uur publiceerde was SIDN niet bereikbaar en leek het er op dat de hele .nl-namespace getroffen was. Dat later blijkt dat het technisch gezien iets minder ernstig is, maakt het nog geen telegraaf-stijl titel. Al ben ik van jou en je collega's (Memnon) niet anders dan zulk commentaar gewend!

Nu weer ontopic :)

Martijn Groenleer, 29 mei 2008 10:15 am

Arnout,

als je even op webhostingtalk had gekeken, waar sinds vanacht 4 uur een aantal berichten over dit voorval zijn uitgewisseld, had je om 8 uur ook al kunnen concluderen dat het niet de hele .nl namespace was maar wel een groot gedeelte.

Ik ben het met je eens dat veel providers inderdaad nameservers hanteren die onder de .nl namespace zijn ondergebracht.

Een nieuwe best practise voor in het boek is om de nameservers niet alleen redundant (fysiek) uit te voeren, ze daarnaast in gescheiden netwerken moeten staan. Ook nog eens bereikbaar te maken onder verschillende TLD's.

Arnout Veenman, 29 mei 2008 10:22 am

@Martijn, die conclusie heb ik niet getrokken op basis van mijn gesprekken met enkele ISP's en daarnaast is ook praktisch vrijwel de hele .nl-namespace getroffen.

[b]Verder ontopic: offtopic reacties hierna worden verwijderd![/b]

Jeroen, 29 mei 2008 10:28 am

Gelukkig hebben wij onze nameservers niet op .nl zitten.
Uit voorzorg ;).

Maar het is inmiddels 10.30 en nog geen update. :|

Memnon, 29 mei 2008 10:55 am

Post hier gewoon uit eigen beweging Arnout, daar hebben mij collega's niks mee te maken. Ik blijf het wel een telegraaf stijl titel vinden, maar goed het is nog niet een post nog met 'HET INTERNET IS STUK'.

Note: Het is maar een stukje kritiek waar je hopelijk iets mee kan.

Overigens ben ik zeer te spreken over je blog. Anders zou ik er niet lezen / posten.

p.s. Ben je weer IP's aan het checken geweest van degene wie heeft gepost ? Heb je mijn domeinnaam opgezocht? Of wist je zowaar mijn nickname deze keer ?
[b]Edit Arnout:[/b] Gegevens van een reaguurder stuurt Wordpress automatisch mee in elke mail notificatie van checken is dus geen sprake. Wel valt het me op dat er juist van jou en je collega's continue bepaald soort kritiek komt, dat valt mij op, niks meer, niks minder. Ik schrijf het ook expliciet niet toe aan je werkgever, anders had ik die wel genoemd.

TotallyHosted, 29 mei 2008 11:08 am

Wij kwamen er vannacht omstreeks 3 uur achter dat inderdaad servers onbereikbaar werden via hun .nl-hostnames. Na enig onderzoek bleek dat onze GLUE-records waren verdwenen.

Dit via de webinterface er weer in gezet en een aantal domeinen werd gelijk weer bereikbaar.

Ik vind het erg slordig van SIDN, je GLUE-records zijn toch het meest essentiele onderdeel van je DNS-instellingen. Bij ons lagen er in elk geval net geen 5000 sites plat ...

Punica, 29 mei 2008 11:41 am

Martijn,

Of de hele namespace eruit lag of niet is niet eens de vraag.

Feit is dat SIDN alweer de zoveelste blunder gemaakt heeft weaar mensen hinder van hebben ondervonden, plus dat mensen nu weer geen handelingen kunnen inschieten.

Misschien dat de SIDN eens wat terug kan doen voor alle wanprestaties tot nu toe.

Sebastiaan Stok, 29 mei 2008 11:49 am

Is het eigenlijk zo als je een TLD hebt met .net en de informatie van die domeinnaam staat op een nameserver in de .nl-zone dat die .net domeinnaam dan ook niet meer bereikbaar is als de cache van de DNS van je provider op dat moment word bij gewerkt?

Danny Mekic', 29 mei 2008 11:53 am

@Punica: Wat dacht je van het sponsoren van een Jeu de Bouls-vereniging uit Lutjebroek?

Uit dit voorval blijkt wel weer het belang van een goed functionerende organisatie achter een TLD. Ik denk dat de SIDN er verstandig aan doet om een storingsnummer te introduceren dat ook daadwerkelijk beantwoord wordt door een SIDN-medewerker.

Verder wil ik nog een keer benadrukken dat het belangrijk is dat er een mogelijkheid gaat komen waarop, direct of indirect, invloed uitgeoefend kan worden op de SIDN. Zij het via een controlemechanisme via de overheid, zij het dat de SIDN wordt omgezet in een vereniging waarbij de deelnemers de leden worden. Op dit moment staan ISP's bij een grote storing met lege handen: de SIDN sluit aansprakelijkheid uit in het deelnemerscontract maar de hosters zitten wel met de gebakken peren (lees: boze klanten).

Het systeem van de SIDN laakt ook maar weer eens, blijkt. Iets als wat vannacht is gebeurd moet natuurlijk onmogelijk zijn. Gelukkig was het 's nachts en niet tussen tien uur 's ochtends en twee uur 's middags..

Rick Corstens, 29 mei 2008 11:59 am

Zal tijd worden dat bedrijven zoals SIDN zich keertje uit de kinderschoenen trekken en advies vragen aan de beter georganiseerde bedrijven in hun sector.
Misschien dat ze ook eindelijk eens afstappen van hun papierzooi verplichtingen; het systeem van EurID/DNS werkt stukken efficienter in mijn ogen

Martijn Groenleer, 29 mei 2008 12:04 pm

Punica,

Ik denk dat we in de hele draad twee zaken moeten onderscheiden.

1. Het feit dat, inderdaad, het SIDN wederom een blunder/fout/whatever heeft gemaakt waar de .nl namespace onder heeft geleden. Niet alleen .nl domeinen, maar ook andere domeinen met een .nl nameserver hebben hier onder geleden.

Ik erken dan ook dat er problemen zijn geweest waar een groot deel van de .nl namespace last van heeft gehad.

2. Het feit dat de titel suggereerd dat de volledige .nl namespace plat lag. Dit is pertinent onjuist. Dat een groot deel onbereikbaar is, houd niet in dat alles onbereikbaar is.
De statistieken naar mijn eigen domeinen laten namelijk totaal geen dip in de bereikbaarheid zien. Ook domeinen voor klanten laten geen dip in de bereikbaarheid zien. Ondanks dat het merendeel hiervan in de .nl namespace vallen. Maar wel met nameservers buiten de .nl namespace.


Hoe dan ook, het feit is en blijft dat er wederom problemen zijn geweest met de .nl namespace, die opzich niet hadden hoeven te gebeuren.

Zoals in mijn post op WHT valt mij op dat na het ontdekken dat er een fout in de code zat, dat de implementatie wel een week is uitgesteld maar er geen extra test op de DTO is uitgevoerd.

Mij lijkt dat wanneer je problemen ontdekt, dat je de code naderhand opnieuw test wanneer je denkt dat deze fouten zijn opgelost.

Ik vind het zeer jammer dat ik morgen niet op de relatiedag aanwezig kan zijn, want ik had hier graag over willen praten met een aantal mensen van het SIDN.

Ik neem het SIDN dan ook zeer kwalijk dat ze deze update hebben doorgevoerd zonder dat deze voldoende is getest. Deze problemen hebben we in het verleden al vaak genoeg gezien. Daaruit zou een normaal bedrijf leren dat ze hun programmatuur uitgebreid testen.

Wido, 29 mei 2008 12:20 pm

Martijn, de bereikbaarheid viel wel mee omdat het midden in de nacht was, dan is het sowieso rustig.

Bij ons vielen 24.000 domeinen donker, die draaiden allemaal op onze DNS.

Ik controleerde ook mijndomein, die waren ook offline en zij hebben iets van 100.000 domeinen?

Dus dat de impact gering was? Dat denk ik niet. Ik zie graag statistieken van hoe veel domeinen de GLUE ontbrak.

Martijn Groenleer, 29 mei 2008 1:12 pm

Wido, waar zie jij staan dat ik zeg dat de impact gering was?
Wat ik dus (en al een aantal keer heb aangegeven) is dat de impact wel groot is, maar in tegenstelling tot de titel van het bericht niet de volledige .nl namespace trof.

Ik geef zelfs aan dat domeinen buiten de .nl namespace eveneens last hebben gehad van deze storing. Juist omdat ze nameservers hebben die wel in de .nl namespace stonden.

Rick, 29 mei 2008 1:45 pm

Hoeveel winst had de SIDN vorig jaar ook alweer gemaakt? Is er iemand die het verband ziet?

Je kunt een dergelijke fundamentele dienst niet overlaten naar een tent die omzet, groei en zelfverheerlijking tot speerpunt heeft gemaakt ten koste van de kwaliteit.

En dat is wel waar het hier om gaat. Zoals al bij het numerieke domeinnamen debacle is gebleken: er worden op het hoogste niveau bewuste beslissingen genomen om de investeringen in de dienstverlening te beperken omdat de kans dat het mis gaat laag wordt ingeschat.

Dat zijn gewone risico's die je als ondernemer neemt, maar die een organisatie met een verantwoordelijkheid als de SIDN mijns inziens niet mag nemen.

Rámon, 29 mei 2008 2:43 pm

Echt wat maken ze er weer een zooitje er van...

Martijn Groenleer, 29 mei 2008 2:59 pm

Volgende kwam van het SIDN zojuist:

[quote]
We hebben de fout in DRS gevonden. Mede op basis daarvan ziet het ernaar
uit dat we ervoor kiezen een patch op de applicatie uit te voeren om het
probleem te verhelpen. De definitieve beslissing wordt genomen nadat het
testen van de patch, inclusief het controleren van een aantal
gegenereerde zonefiles, succesvol is afgerond. Met deze testen zijn we
momenteel bezig.
We informeren u zo spoedig mogelijk verder.
Met vriendelijke groeten,
SIDN
[/quote]

Richard, 29 mei 2008 4:23 pm

Hehe mag ook wel eens dat ze de fout eindelijk gevonden hebben, lekker is dat kan verder de hele dag uit me neus lopen eten zonder e-mail etc... :-(

Martijn Groenleer, 29 mei 2008 4:27 pm

Sorry hoor, maar als je er nu nog last van hebt dan klopt er iets anders niet bij je provider.
Want er is een zonefile van gisteren 18 uur terug gezet. En daarmee zouden de problemen tot zover opgelost moeten zijn.

Richard, 29 mei 2008 4:28 pm

Probleem is dat er rond die tijd onderhoud is geweest die vanacht is afgerond. En op een of andere manier komt het dus nog niet tot leven.

Martijn Groenleer, 29 mei 2008 4:30 pm

Verklaar je nader? Want het SIDN heeft de backup van voor de werkzaamheden dus terug gezet. Die berichten die krijg ik dus gewoon per email binnen.

Richard, 29 mei 2008 7:46 pm

Omdat door onderhoud alle ip nummers gewijzigd zijn en er niets wordt geupdate. Tijd voor een tweede nameserver op een andere extentie dan .nl.

Richard, 30 mei 2008 6:37 am

Alles werkt weer :-)

Danny Mekic', 30 mei 2008 1:03 pm

SIDN op zoek naar Technisch Applicatiebeheerder (maar net iets te laat...)
http://tweakers.net/jobs/vacature/9505274/technisch-applicatiebeheerder.html

  • Pingback: zone archive

  • Laatste reacties

    Bedankt voor het succes van ISPam.nl
    Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

    Bedankt voor het succes van ISPam.nl
    Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

    Bedankt voor het succes van ISPam.nl
    L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

    Bedankt voor het succes van ISPam.nl
    Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

    Bedankt voor het succes van ISPam.nl
    Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.