Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Meer bandbreedte vergt aanpak gehele infrastructuur

  • Door
  • Jeroen Mulder
  • geplaatst op
  • 27 augustus 2012 08:06 uur

Sneller. Meer. Nog sneller. Nog meer. Op technologisch gebied lijkt het in de IT op dit moment alleen maar te gaan om de vraag hoe enorme hoeveelheden aan data zo snel mogelijk van A naar B te transporteren. Het is noodzaak.

Een groeiend deel van de bevolking leeft online. Luistert naar streaming audio, kijkt films ‘on demand’, post met lichtsnelheid foto’s op sociale platformen. Het vergt veel van de huidige infrastructuur. Niet voor niets groeien de datacenters van bedrijven als Facebook en Google als spreekwoordelijke kool. Ondanks de consolidatietechnologieen zoals servervirtualisatie, wordt geschat dat Facebook 180.000 servers in gebruik heeft.

En het zal meer worden. Veel meer. En er zal meer data naar die servers stromen. Omdat internetconsumenten niet van wachten houden, zal die data ook sneller geprocessed moeten worden. Dat vergt meer dan een voortdurende uitbreiding van het serverpark. De gehele infrastructuur zal met die ontwikkeling mee moeten groeien. Dat heeft de standaardenorganisatie IEEE in elk geval begrepen. Terecht sorteert de 802.3-groep nu voor op een nieuwe ethernet-standaard.

RapidIO

De IEEE wil naar een nieuwe standaard van 400 gigabit per seconde of zelfs naar 1 terabit per seconde. Op 23 september zal de organisatie dit voor het eerst bespreken met de ITU, de organisatie die zich binnen de Verenigde Naties bezighoudt met netwerktechnologie. Voor de goede orde: we hebben het dan alleen over bandbreedte. Want de markt heeft vooral behoefte aan bandbreedte.

Nee. De markt, inclusief hosters, heeft behoefte aan totaaloplossingen om de ,,tsunami aan data” – het zijn de woorden van John D’Ambrosia van IEEE – goed te kunnen verwerken. De bandbreedte opkrikken naar 1 tb/s betekent een aanpassing van de gehele infrastructuur. Niet voor niets zijn chipmakers druk doende om processoren te ontwikkelen met een extreem hoge IO-capaciteit. Interessant in dat kader is RapidIO, ook een standaard. De interconnect-technologie van RapidIO maakt hogere bus-snelheden mogelijk, zodat chips en boards onderling met elkaar kunnen communiceren op snelheden van 1 gb/s tot 60 gb/s. Noodzakelijk om hogere bandbreedtes aan te kunnen. Naar verwachting zal Intel de internconnect van RapidIO implementeren in de nieuwe generatie Xeon-chips.

Jacht

Het is een ware jacht op bedrijven die technieken hebben ontwikkeld voor snellere boards en servers. Intel koopt zich suf aan dergelijke bedrijven. In juli kocht het Whamcloud, dat gespecialiseerd is in filesystemen voor ‘zware’ clusters. Eerder dit jaar werd voor 140 miljoen dollar al een interconnect-ontwikkelingsafdeling van Cray overgenomen. Vorig jaar kocht de chipmaker al twee high-end Ethernet-chipbedrijven: Fulcrum en NetEffects. Intel begrijpt dat de ontwikkelingen op gebied van dataverwerking en processing power erg snel gaan. Letterlijk.

En dan is er nog de data zelf. Meer bandbreedte, meer computing power… Meer data komt steeds sneller door de pijplijnen richting de datacenters met honderden servers en storagecapaciteit. Hier kunnen we leren van de ervaringen van Facebook. Het platform kan een duizelingwekkende 100 petabyte aan online-data verwerken. Maar daar moeten ze wel wat voor doen. Samen met Yahoo ontwikkelde Facebook Hadoop, een open source software platform waarmee grote hoeveelheden data kunnen worden verwerkt.

Verbouwing

Toch volstaat ook Hadoop ook al niet meer. Met de toekomstige standaarden van 400 gb/s en cpu’s die onderling op 60 gb/s met elkaar communiceren, moeten de binnenkomende datastromen nog sneller over de diverse serverfarms ‘verdeeld’ kunnen worden. Facebook ervaart de toenemende druk dagelijks en ontwikkeld op dit moment ‘Prism’, nog steeds gebaseerd op Hadoop. Met Prism is Facebook in staat om data via clusters naar datacenters over de hele wereld te sturen. Data wordt op een slimme manier in elkaar gedrukt, terwijl een ander deel van de software zoekt naar beschikbare servers. Via een ingenieus filesysteem wordt de data vervolgens naar die servers gestuurd. Continu.

Bottomline:  fijn bericht van de IEEE dat ‘we’ meer bandbreedte tot onze beschikking krijgen in 2015. Maar het zal echt niet alleen van de bandbreedte afhangen. Er is meer nodig om de toenemende hoeveelheid data te verwerken. Machines met een hoge IO. Slimme compressietechnieken. Snelle datadistributie-systemen binnen datacenters en tussen datacenters onderling. We staan aan de vooravond van een stevige verbouwing van de gehele internetinfrastructuur.

Mery, 3 januari 2013 2:32 pm

Moeder Gans ken ik niet, maar Commander Keen dan weer wel Die heb ik vroeger ook heel veel geelespd! Bij een vriendinnetje toen we zelf nog geen PC hadden en later thuis ^^

Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.