- Door
- dr. Serge Gielkens
- geplaatst op
- 5 april 2016 08:00 uur
In deze aflevering van Storage Stories hebben we een gesprek met Dennis op de Weegh. Hij is eigenaar van Bitency en vertelt ons over de inrichting van het storagesysteem voor hun Cloud VPS-omgeving. Bitency benut twee datacenters. De hoofdlocatie bevindt zich in Rijen en het tweede datacenter staat in Rotterdam. Sinds 2008 is Bitency actief en zij biedt naast VPS-producten ook diensten aan voor webhosting, dedicated servers en colocatie.
Opslag
Voor de storage gebruikt Bitency servers van Supermicro. Op de Weegh vertelt dat de leverancier van Supermicro het chassis met moederbord, controllers, geheugen, e.d. levert en dat Bitency zelf de drives plaatst. “We hebben twee storagesystemen. Eentje hebben we uitgerust met traditionele harde schijven met SSD als cache, zowel read als write. We hebben een ander systeem met alleen SSD’s. Hier halen we veel meer IOPS uit. Op termijn gaan we het eerste systeem ook vervangen door all-flash omdat je het voor de prijs niet meer hoeft te laten. Voor de SSD’s gebruiken we al vanaf het begin Intel omdat die betrouwbaar blijken.” In beide datacenters is de opzet van de storage-omgeving in essentie identiek. De all-flash systemen staan momenteel nog alleen in Rotterdam omdat dit datacenter namelijk het meest recent is ingericht.
Op de vraag hoe Bitency zowel read als write caching van de storage servers geregeld heeft, antwoordt Op de Weegh dat ZFS de basis is van de opslagsystemen. “Met ZFS configureren we een cache pool voor zowel read als write. Omdat je bij ZFS profijt hebt van veel geheugen, hebben we in de machines tot 64 GB geheugen geplaatst. Dit verhoogt de performance van ZFS enorm.” Momenteel is het onderliggende besturingssysteem FreeBSD maar Bitency test Debian als mogelijke vervanger. “Debian ondersteunt nu ook ZFS en tot nu toe behalen we goede resultaten. Ikzelf ben fan van Debian en hiermee hebben we meer ervaring dan FreeBSD. Overigens draait FreeBSD verder heel stabiel.”
De virtuele machines nemen de storage af via NFS. “Storage via iSCSI is een block device. Voor ons werkt een file systeem echter prettiger. Wij vinden NFS net wat flexibeler dan iSCSI en gebruiken NFS dan ook al vanaf het begin. Ook qua performance presteert NFS in onze omgeving goed.”
Voorheen gebruikte Bitency lokale disks op de servers in een RAID 10 configuratie. “Daarvan draaien er nog enkele maar die migreren we alle naar ZFS. Als een server met lokale disks offline gaat, is alles offline. Met het huidige ZFS storagesysteem hebben we een betere redundantie. Bovendien is het verplaatsen van VM’s nu makkelijker geworden dan toen met de lokale disks.”
VPS
Voor de virtualisatie is Debian met KVM op Dell servers geïnstalleerd. “In het begin draaiden we CentOS met OpenVZ. Dat zijn containers en geen VM’s. Daarna zijn we overgestapt naar KVM in combinatie met Debian. Met KVM hebben we betere ervaringen dan met containers. Virtuele machines zijn flexibeler in te zetten.” Om de VM’s uit te rollen en te beheren dient Proxmox. “Proxmox heeft ook een goede API waar we tegenaan programmeren”, vertelt Op de Weegh. “We maken hiervan gebruik voor ons klantenportal. We hebben klanten die allerlei diensten afnemen. Ik wil niet dat zo’n klant verschillende logins nodig heeft. Daarom hebben we de portal zelf gebouwd.”
Voor het repliceren en backuppen van de VPS’en is vanzelfsprekend ZFS de basis. Op de Weegh licht toe: “Rijen en Rotterdam vormen een HA-omgeving. Daartussen hebben de replicatie synchroon geregeld door snapshotting van ZFS. Een instap-VPS is niet redundant uitgevoerd omdat dat prijstechnisch niet kan. We mikken met deze redundante omgeving meer op het middensegment. Voor de backup maken we eerst lokaal een ZFS snapshot. Die wordt 3 uur later als backup naar het andere datacenter weggeschreven. De backup storage staat helemaal los van de VPS-omgeving. Daarvoor gebruiken we traditionele harde schijven voor bulkopslag.”
Om de omgeving te monitoren gebruikt Bitency Zabbix. “Dat kost veel tijd om in te richten, maar daarna zijn aanpassingen snel door te voeren door de templates van Zabbix. We hebben bijvoorbeeld templates voor een VM of een storageserver. Bovendien houden we met Zabbix trends bij en hebben we goede statistieken bij de hand. Het is een heel compleet systeem waarmee we alles monitoren. Niet alleen storage en de VM’s maar ook onze netwerk switches bijvoorbeeld.”
Tot slot
Aan het eind van het interview vragen we aan Op de Weegh of er nog actuele ontwikkelingen zijn. “Recentelijk zijn we begonnen met het bestuderen van Ceph. Techniek kan altijd uitvallen. Om dit probleemloos op te vangen lijkt Ceph mij een mooi systeem. We zijn onder meer benieuwd naar de performance van dit gedistribueerde opslagsysteem. Tests van anderen laten goede resultaten zien. Maar eerst moeten we zelf nog veel testen en leren voordat het in de toekomst eventueel in productie gaat.”
