Richtig verbunden

Schnelle Server sind zwar nett. Aber das nutzt nicht viel, wenn das Netzwerk den Leistungskapazitäten nicht gewachsen ist und Anwender zu lange auf die Daten warten müssen. Die schnelle Verbindung zwischen Servern und Storage-Systemen schafft da Abhilfe.

Dabei kommt es auf zwei Parameter an: Latenz und Bandbreite. Als Latenz wird die Zeit zwischen Versand und Empfang von Daten bezeichnet, gemessen wird sie in Millisekunden. Die Bandbreite misst die maximale Geschwindigkeit der Datenübertragung in Gigabit pro Sekunde (GBit/s). Angestrebt wird eine möglichst niedrige Latenz und eine möglichst hohe Bandbreite. Ein weiterer wichtiger Faktor sind die Kosten. Vor diesem Hintergrund eignen sich drei Technologien ganz besonders für die Vernetzung von Servern: Infiniband, 10-Gigabit-Ethernet und Fibre-Channel.

Unbegrenzte Skalierbarkeit mit Infiniband
Infiniband geht aus dem Begriff »Infinite Bandwidth«, unendliche Bandbreite, hervor und ist unter anderem auf Initiative der Infiniband Trade Association entstanden, in der Dell, Intel, Microsoft sowie weitere IT-Unternehmen zusammenarbeiten. Infiniband gilt als schnelle, hoch skalierbare Verbindungstechnologie für Server. Primäres Einsatzgebiet ist daher das Clustering. Die ursprüngliche Erwartung jedoch, dass Infiniband die PCI-Technologie ablöst, hat sich nicht ganz erfüllt. Auch ist die Technologie immer noch relativ teuer.

Auf Basis von Standards ermöglicht es Infiniband, Server, Speichersysteme und andere Peripheriegeräte im Netz einfacher und zudem mit einer höheren Durchsatzrate miteinander zu verbinden, und zwar mit bis zu 10 GBit/s. Dabei setzt Infiniband anstatt eines Busses auf einen Switch, der dezidierte Kanäle für den Datentransfer bereitstellt. Da mehrere Geräte gleichzeitig miteinander kommunizieren können, ergeben sich weniger Wartezeiten. Weiterer Vorteil: Der I/O-Verkehr belastet nicht mehr die CPU.

Die zentralen Netzwerk-Komponenten von Infiniband sind Host-Channel-Adapter (HCA), Target-Channel-Adapter (TCA) sowie Switches und Router. Der Host-Channel-Adapter residiert in einem Hostprozessor-Knoten. Er verbindet den Knoten mit der Infiniband-Switched-Fabric und dient als Schnittstelle zu sogenannten Consumer-Prozessen. Consumer sind hier die Messages und Datenservices des Betriebssystems. Die Schnittstelle selbst ist ein semantisches Set namens IBA-Verbs, die die Funktionen beschreiben, die zur Konfiguration, Administration und dem Betrieb des Host-Channel-Adapters notwendig sind.

Ein I/O-Knoten ist der Ort, an dem sich der Target-Channel-Adapter befindet. Er enthält einen für das jeweilige Gerät spezifischen I/O-Controller sowie das zugehörige Protokoll (SCSI, Fibre-Channel oder Ethernet). Switches und Router übertragen Datenpakete zwischen Infiniband-Subnetzen. Die physikalischen Verbindungen zu den Channel-Adaptern stellen Links her, die als Kupfer-, optische Kabel oder auch als feste Leiterbahnen auf der Systemplatine eines Servers installiert sind.

10-Gigabit-Ethernet auf dem Vormarsch
Gegenüber Infiniband bietet 10-Gigabit-Ethernet hohe Bandbreiten, und das zu wesentlich niedrigeren Kosten. 10-Gigabit-Ethernet verfügt über eine Latenzzeit von wenigen Millisekunden und hat hohe Bandbreiten von – wie der Name schon sagt – bis zu 10 GBit/s. Die Verkabelung von Servern erfolgt dabei sternförmig um den zentralen Switch. Der Standard für die Glasfaserübertragung heißt IEEE 802.3ae, der Standard für Kupfer ist IEEE 802.3ak und IEEE 802.3an.

Bei der Vernetzung von Switches und Servern ist Gigabit-Ethernet heutzutage das dominierende Protokoll. Bedingt wird die große Verbreitung der Technologie vor allem dadurch, dass sie einerseits sehr günstig ist. Andererseits gehen Unternehmen immer mehr dazu über, ihre Rechenzentren zu konsolidieren und anstatt vieler Systeme wenige leistungsfähige Server einzusetzen, die über 10-GBit/s-Anbindungen zu Clustern verbunden werden.

10-Gigabit-Ethernet arbeitet mit der sogenannten »TCP/IP-Offload-Engine«-Technik (TOE), die die Prozessoren und I/O-Subsysteme von Servern, Switches und Speichersystemen entlastet und einen Teil des Protokoll-Handlings auf die Netzwerkadapter verlagert. Darüber hinaus kann ein Server mit Remote-Direct-Memory-Access (RDMA) über den Netzwerkadapter Daten direkt in den Arbeitsspeicher eines anderen Systems übermitteln, ohne dass diese zuvor in das Kernel-Memory des Servers übertragen werden.

Im Vergleich zu Gigabit-Ethernet, das Entfernungen von bis zu fünf Kilometern überbrückt, lassen sich LANs mit 10-Gigabit-Ethernet auf zehn Kilometer ausdehnen. Damit ist 10-Gigabit-Ethernet vor allem auch für den Aufbau von Metropolitan-Area-Networks (MAN) sowie für Service-Provider interessant. Zu den Diensten, die Service-Provider über eine 10-Gigabit-Ethernet-Infrastruktur bereitstellen können, gehören unter anderem Sprache und Video über das Internet-Protokoll.

4-Gigabit-Fibre-Channel für SANs
Fibre-Channel ist das am häufigsten verwendete Verbindungsmedium in einem Storage-Area-Network und das Bindeglied zwischen Servern und Storage-Systemen. Als Übertragungsmedium dienen Kupfer- und Glasfaserkabel. Allerdings ist die Technologie recht teuer. Dafür ist aber die Bandbreite hoch: Bei dem neuen 4-Gigabit-Fibre-Channel beträgt sie logischerweise 4 GBit/s. 4-Gigabit-Fibre-Channel wird sich in den nächsten beiden Jahren als Standard in SANs etablieren, nicht zuletzt deshalb, weil die Technologie mit ihren hohen Bandbreiten schnellere Daten-Wiederherstellungen gewährleistet und eine bessere Nutzung von Storage-Systemen erlaubt. Bei Dell beispielsweise gibt es ab Juni 2006 ausschließlich Fibre-Channel mit 4 GBit/s.

Es gibt zwei Arten von Fibre-Channel-Implementierungen: Switched-Fabric (FC-SF) und Arbitrated-Loop (FC-AL). Als Low-Cost-Variante wird FC-AL oft als Einstieg in SANs genutzt. FC-AL kommt vor allem bei kleineren Clustern zum Einsatz, in denen mehrere Knoten auf einen gemeinsamen Massenspeicher zugreifen können. Darüber hinaus lassen sich mit FC-AL bis zu 127 Geräte an einem logischen Bus betreiben. Dabei teilen sich alle Geräte die verfügbare Bandbreite. Die Verkabelung erfolgt zumeist sternförmig über einen Fibre-Channel-Hub, es ist jedoch auch möglich, die Geräte ringförmig zu verbinden, da viele Fibre-Channel-Geräte über ein beziehungsweise zwei Ausgänge verfügen.

FC-SF ist die leistungsfähigste und ausfallsicherste Variante von Fibre-Channel. Dabei werden alle Geräte über einen Fibre-Channel-Switch miteinander verbunden. Dadurch wird es möglich, Punkt-zu-Punkt-Verbindungen zwischen den Systemen zu schalten, wodurch die Bandbreite steigt. Außerdem lassen sich mehrere Switches miteinander kombinieren, die untereinander die Topologie erkennen und sie intelligent nutzen. Auf diese Weise wird stets der am geringsten belastete Weg genutzt. Server, die über mehrere Host-Bus-Adapter (HBAs) verfügen, können ein Speichersubsystem auf mehreren Wegen erreichen. Das erhöht die Ausfallsicherheit und die Leistung des SAN.

Fazit
10-Gigabit-Ethernet wird sich nach und nach als Backbone-Verbindung in Rechenzentren etablieren. Allerdings sind die Kosten aktuell noch recht hoch. Das wird sich aber in nächster Zeit ändern, womit die Verbreitung von 10-Gigabit-Ethernet weiter vorangetrieben wird. Fibre-Channel etabliert sich im Moment im 4-GBit/s-Bereich, als nächster Schritt ist 8-Gigabit-Fibre-Channel in Vorbereitung. Die Markteinführung wird aber noch einige Zeit dauern. Infiniband wird auf 10 GBit/s gehen.

Peter Dümig,
Product Manager Server, Dell