iSCSI versus Fibre-Channel – Bislang galt Fibre-Channel als die Technologie der Wahl, wenn es galt, schnelle Speichernetze aufzubauen. Mit iSCSI ist Fibre-Channel nun eine ernstzunehmende Konkurrenz erwachsen.

Viele Gründe sprechen für den Einsatz von separaten Speichernetzwerken. Diese verbinden die verschiedenen Speichersysteme inklusive des Backup in einem eigenen Netzwerk, an das auch die entsprechenden Server angeschlossen sind. Ein wichtiger Vorteil dieser Topologie ist, dass der Datenaustausch zwischen den Servern und den Speichersystemen über ein exklusiv hierfür zur Verfügung stehendes Netzwerk läuft und sich keinerlei Ressourcen mit den an das LAN angeschlossenen Systemen teilen muss. Weitere Vorteile bestehen in der besseren Verwaltbarkeit und der Möglichkeit, eine Storage-Virtualisierung zu implementieren, um vorhandene Speichersysteme effektiver nutzen zu können.

Der Datenverkehr in einem Speichernetz besteht überwiegend in der Übertragung von blockbasierten Daten. Blockbasierte Datenzugriffe werden in der Kommunikation zwischen Rechnern und Festplatten verwendet. Hierbei fordert ein Rechner einzelne Datenblocks von einer Festplatte an. Im Gegensatz dazu werden bei einem auf Dateien basierten Datenaustausch über CIFS oder NFS ganze Files angefordert. In den meisten Speichernetzen läuft die Kommunikation über das SCSI-Protokoll, dieses setzt dann auf Fibre-Channel oder iSCSI als alternative Transport-Protokolle auf.

Ein Speichernetz ist eine Erweiterung des herkömmlichen, direkt an den Server angeschlossenen Speichers, des Direct-Attached-Storage oder kurz DAS. Während DAS eine Punkt-zu-Punkt-Verbindung zwischen einem Server und einem Daten-Speicher bildet, realisiert ein SAN die Anbindung von mehreren Servern an diverse Speicher-Systeme über ein Netzwerk.

Fibre-Channel

Die meisten Speichernetze basieren heute auf der Fibre-Channel-Technologie. Die angebotenen Bandbreiten liegen derzeit bei 1, 2 und neuerdings auch 4 GBit/s, was im Vollduplex-Betrieb für theoretische Datentransferraten von 800 MByte/s reichen soll. Als Übertragungsmedium ist sowohl die Verwendung von Kupferkabel als auch von Glasfaserkabel möglich. In den meisten Fibre-Channel-Netzen ist heute Glasfaser anzutreffen. Es können generell zwei Arten von Fibre-Channel-Topologien unterschieden werden, die Switched-Fabric und die Arbitrated-Loop. Bei der Fibre-Channel-Switched-Fabric werden Punkt-zu-Punkt-Verbindungen zwischen den Endgeräten geschaltet, beim Fibre-Channel-Arbitrated-Loop handelt es sich um einen logischen Bus, bei dem sich alle Endgeräte die gemeinsame Bandbreite teilen. Somit entspricht der Fibre-Channel-Arbitrated-Loop dem veralteten Shared-Ethernet. Heute finden zumeist Switched-Fabrics Verwendung, da sie den einzelnen Verbindungen feste Bandbreiten zur Verfügung stellen.

Ähnlich wie bei klassischen Netzwerken, wo jeder Netzwerkadapter eine MAC-Adresse hat, hat bei Fibre-Channel jedes Gerät einen World-Wide-Name (WWN). Dieser besteht aus einer 64-Bit-Hexadezimalzahl, die jedes Fibre-Channel-Gerät eindeutig identifiziert. Neben der WWN wird noch der World-Wide-Port-Name (WWPN) verwendet. Fibre-Channel-Geräte können über mehr als nur einen Port verfügen, in einem solchen Fall hat das Gerät weiterhin nur eine WWN, es besitzt aber WWPNs in der gleichen Anzahl wie es Ports besitzt. Die WWN und die WWPN sind sich in der Regel sehr ähnlich, die beiden Adressen unterscheiden sich meist nur in einem Bit. Die Adapter, die es den Servern ermöglichen über Fibre-Channel zu kommunizieren, werden als Host-Bus-Adapter (HBA) bezeichnet. Typische HBAs benötigen einen PCI-X-Steckplatz mit 64 Bit Busbreite und mindestens 100 MHz Taktrate.

Ein einfaches auf Fibre-Channel basierendes Speichernetz besteht aus einem Fibre-Channel-Switch, einem oder mehreren Plattensubsystemen und den Servern, die über die Host-Bus-Adapter mit dem Fibre-Channel-Switch verbunden werden. HBAs arbeiten heute mit Bandbreiten zwischen 1 GBit/s bis 4 GBit/s. Da sie ein spezielles, an die Anforderung von Massenspeichernutzung angepasstes Protokoll verwenden, sind Übertragungsraten von theoretisch 400 MByte/s unidirektional möglich. Hinzu kommt das Konzept des Multi-Pathing, das im Speichernetz zumeist konsequent umgesetzt wird. Falls es einem Server möglich ist, über mehrere HBAs ein Plattensubsystem zu erreichen, wird der Datentransfer zwischen beiden Systemen auf beide Datenwege verteilt. Durch den Einsatz mehrerer HBAs in den Plattensubsystemen und den Servern lässt sich somit die Übertragungsgeschwindigkeit deutlich steigern.

iSCSI-Protokoll

Mit dem vergleichsweise neuen iSCSI-Protokoll steht eine alternative Technologie zu Fibre-Channel zur Verfügung. iSCSI ist ein Storage-over-IP-Verfahren für Speichernetze, das die Art und Weise definiert, wie direkte Speicherprotokolle nativ über IP betrieben werden können. Bei diesem Verfahren werden SCSI-Daten in TCP/IP-Pakete verpackt und über IP-Netze transportiert. Bei der Kommunikation werden die verpackten SCSI-Kommandos zu dem entsprechenden Subsystem geschickt. iSCSI dient dazu, über eine virtuelle Ende-zu-Ende-Verbindung den Zugriff auf das Speichernetz zu ermöglichen, so können viele Server auf eine gemeinsame Speicherinfrastruktur zugreifen. Die Spezifikation des iSCSI-Standards hat die Storage Networking Industry Association (SNIA) erstellt. Die SNIA ist ein Zusammenschluss von mehr als 300 im Storage-Bereich aktiver Firmen.

iSCSI ermöglicht es, Speichernetze auf IP und somit auf der »Mainstream«-Netzwerktechnik Ethernet aufzusetzen. An Stelle der Fibre-Channel-HBAs, -Switches und -Direktoren kommen aktive Ethernet-Komponenten zum Einsatz. Viele IT-Verantwortliche sehen hierin einen Vorteil, weil sie einerseits die vertraute LAN-Technik auch im SAN einsetzen können und andererseits Ethernet-Adapter und -Switches zum Teil deutlich günstiger erhältlich sind als Fibre-Channel-Komponenten. iSCSI-Speichernetze können heute mit der etablierten Gigabit-Ethernet-Technik realisiert werden. Diese bietet gegenüber den heute erhältlichen maximal 4 GBit/s Datendurchsatz bei Fibre-Channel »nur« 1 GBit/s. Da Ethernet-Generationswechsel aber immer mit einer Leistungssteigerung um den Faktor 10 einhergehen und bereits 10-Gigabit-Ethernet-Systeme auf dem Markt sind, ist das Wettrennen der alternativen SAN-Technologien noch nicht entschieden.

Eins spricht auf alle Fälle für iSCSI: Sobald ein Unternehmen Fibre-Channel über MANs, WANs oder größere LANs spiegeln möchte oder verteilte Fibre-Channel-Speichernetze betreibt, ist es erforderlich, Fibre-Channel über IP zu tunneln. Arbeiten die Speichernetze dagegen mit iSCSI ist dies nicht nötig, da durchgängig mit IP gearbeitet werden kann. Darüber hinaus existieren zwei konkurrierende Standards für das Tunneln von Fibre-Channel über IP, die nicht miteinander kompatibel sind.

Die Meinungen in der Fachwelt sind sehr verschieden, was die Bewertung der beiden SAN-Technologien betrifft. Behaupten die Fibre-Channel-Verfechter, dass iSCSI eher die Lösung fürs Kinderzimmer ist, erklärt die Ethernet-Fraktion Fibre-Channel zum »Toten Ring« der Zukunft. – Wir wollten wissen, wie schnell aktuelle Speichernetze zu akzeptablen Preisen jenseits der Marketing-Broschüren heute wirklich sein können und ob iSCSI eine echte Alternative zu Fibre-Channel ist. Aus diesem Grund haben wir entsprechende Lösungen in einem Real-World-Labs-Test genauer untersucht.

Hierzu haben wir in den Labs von Eurostor in Filderstadt zwei baugleiche RAID-Systeme der Familie »EUROstor ES-6200« mit einem Highend-PC abwechselnd mit Fibre-Channel und mit Gigabit-Ethernet verbunden. Die RAID-Systeme ES-6200 basieren auf SATA-Festplatten. Maximal möglich sind Speicherkapazitäten von 12 x 400 GByte in der iSCSI-Version beziehungsweise 24 x 500 GByte in der Fibre-Channel-Version. Herz des Systems ist ein mit 600 MHz getakteter Power-PC-Prozessor. Die Systeme realisieren die RAID-Level 0, 1, 3, 5, 10, 30, 50, NRAID und JBOD. Die iSCSI-Version ist mit einem Dual-Gigabit-Ethernet-Adapter ausgestattet. Die Fibre-Channel-Maschine verfügt über einen Dual-Loop-2-GBit/s-Fibre- Channel-Anschluss.

Über die Fibre-Channel- und Gigabit-Ethernet-Links lief bei unseren Messungen in den Modi »Lesen« und »Schreiben« unidirektionaler Datenverkehr und im Modus »Lesen und Schreiben« bidirektionaler Datenverkehr. Die Fibre-Channel-Maschine haben wir im 1- und im 2-GBit/s-Modus getestet. Das Gigabit-Ethernet-System bringt es auf eine Nominalleistung von 1 GBit/s. Für die einzelnen Datenströme haben wir konstant große Dateien verwendet. Nacheinander haben wir dann die Dateigröße beginnend mit 1024 Byte jeweils um den Faktor 4 vergrößert. Das größte Dateiformat betrug 4194304 Byte. Die auf einem Highend-PC laufende Software Iometer hat dann die Datendurchsätze und die CPU-Auslastung in Abhängigkeit von der Dateigröße gemessen und protokolliert.

Lesen

In der Disziplin »Lesen« waren mit dem 1-GBit/s-Fibre-Channel und den kleinsten Dateien rund 22,2 MByte/s möglich. Wechselten wir zum 1-GBit/s-Fibre-Channel-Betrieb, dann brachte das nur eine geringfügige Steigerung auf rund 22,5 MByte/s. Über den Gigabit-Ethernet-Link gingen bei der Messung mit den 1024 Byte großen Dateien rund 18,8 MByte/s. Erhöhten wir im nächsten Schritt die Dateigröße auf 4096 Byte, dann kamen alle drei Systeme schon besser in Schwung. Dabei konnte hier Fibre-Channel seinen Vorsprung gegenüber Gigabit-Ethernet noch ausbauen. Kam das Gigabit-Ethernet-System jetzt auf gut 57 MByte/s, so schaffte das Fibre-Channel-System im 1-GBit/s-Modus rund 63 MByte/s und im 2-GBit/s-Modus 88,6 MByte/s.

Diesen Vorsprung vermochte das Gigabit-Ethernet-System bei der Messung mit der nächst höheren Dateigröße aber wieder wett zu machen. Mit über 105 MByte/s lag Gigabit-Ethernet bei einer Dateigröße von 16384 Byte klar vor dem 1-GBit/s-Fibre-Channel, der hier rund 88 MByte/s an Durchsatz schaffte. Noch deutlich schneller war hier der 2-GBit/s-Fibre-Channel mit gut 160 MByte/s. Ab einer Dateigröße von 65536 Byte bewegten sich alle drei Konfigurationen in ihrem Höchstgeschwindigkeitsbereich. Dieser lag bei dem 1-GBit/s-Fibre-Channel zwischen rund 96 und 97 MByte/s. Die mögliche Bandbereite des Gigabit-Ethernet schwankte zwischen rund 107 und 93 MByte/s. Und der 2-GBit/s-Fibre-Channel erreichte Datendurchsätze zwischen rund 184 und 193 MByte/s.

Lieferte sich Gigabit-Ethernet mit dem 1-GBit/s-Fibre-Channel in der Disziplin Datendurchsatz ein Kopf-an-Kopf-Rennen, so beanspruchte der 1-GBit/s-Fibre-Channel deutlich weniger die CPU. Beim Gigabit-Ethernet schwankten die ermittelten Auslastungswerte der CPU je nach Dateigröße zwischen rund 6,7 und fast 26 Prozent. Der 1-GBit/s-Fibre-Channel lastete dagegen die CPU zu rund 14 bis zu lediglich 0,7 Prozent aus. Der 2-GBit/s-Fibre-Channel lag in der CPU-Auslastung etwas über dem langsameren Modus, hier waren Lasten zwischen 1,3 und rund 14 Prozent festzustellen. Grundsätzlich war bei allen Messungen die höchste CPU-Auslastung immer bei den kleinsten Dateigrößen zu beobachten. Mit ansteigender Dateigröße wurde dann die Auslastung der CPU immer geringer.

Schreiben

In der Disziplin »Schreiben« ähnelt das Bild dem vorhergehenden. Bei den Messungen mit den 1024 Byte kleinen Dateien lag Gigabit-Ethernet mit gut 19 MByte/s vor beiden Fibre-Channel-Systemen, die beide nicht ganz 17 MByte/s erreichten. Bei der Messung mit dem zweitkleinsten Dateiformat lag Gigabit-Ethernet mit gut 51 MByte/s knapp vor dem 1-GBit/s-Fibre-Channel, der hier nicht ganz 50 MByte/s schaffte. Der 2-GBit/s-Fibre-Channel konnte dagegen mit fast 67 MByte/s an der Ethernet-Konkurrenz vorbeiziehen. Ab einer Dateigröße von 16384 Byte lieferte Gigabit-Ethernet durchgängig Durchsatzwerte zwischen rund 106 und 107 MByte/s. Die Fibre-Channel-Konkurrenz erreichte bei dieser Dateigröße noch nicht ihre jeweilige Höchstgeschwindigkeit. Der 1-GBit/s-Fibre-Channel schaffte hier gut 80 MByte/s, der 2-GBit/s-Fibre-Channel erreichte 136 MByte/s. Beim nächstgrößten Dateiformat kamen dann auch die Fibre-Channel-Systeme auf Höchstgeschwindigkeit. Die 1-GBit/s-Version schaffte zwischen rund 93 und 97 MByte/s. Der 2-GBit/s-Fibre-Channel erreichte Durchsatzwerte zwischen rund 177 und 190 MByte/s.

Auch in der zweiten Messreihe lastete Gigabit-Ethernet die CPU höher aus, als beide Fibre-Channel. Hier lag ja nach Dateiformat Gigabit-Ethernet zwischen gut 21 und 2,4 Prozent. Der 1-GBit/s-Fibre-Channel benötigte zwischen 10 und rund 0,5 Prozent der Rechnenpower, im 2-GBit/s-Modus waren dann zwischen 0,7 und 10 Prozent der CPU-Leistung erforderlich.

Lesen & Schreiben

Sehr dicht beieinander lagen alle drei Lösungen in der Disziplin »Lesen & Schreiben« bei der Messung mit einer Dateigröße von 1024 Byte. Mit rund 19 MByte/s lagen beide Fibre-Channel dicht vor Gigabit-Ethernet, das gut 18 MByte/s schaffte. Und auch bei den Messungen mit größeren Dateiformaten vermochte Gigabit-Ethernet nicht ganz mit der Fibre-Channel-Konkurrenz mitzuhalten. Seine Höchstgeschwindigkeit erreichte Gigabit-Ethernet bei der Messung mit 262144 Byte Dateigröße. Hier lagen gut 123 MByte/s an. Der 1-GBit/s-Fibre-Channel schaffte maximal gut 164 MByte/s bei einer Dateigröße von 1048576 Byte. Und der 2-GBit/s-Fibre-Channel vermochte bei der Messung mit der gleichen Dateigröße mit gut 322 MByte/s zu punkten.

Die CPU-Auslastung ähnelt auch in der dritten Messreihe der der vorhergehenden. So lag Gigabit-Ethernet zwischen fast 24 und rund 5 Prozent. Der 2-GBit/s-Fibre-Channel beanspruchte zwischen rund 12 und 1,6 Prozent der Rechenleistung und der 1-GBit/s-Fibre-Channel lastete die CPU zwischen 12 und 0,7 Prozent aus.

Fazit

Die gemessenen Durchsatzwerte zeigen nur graduelle Unterschiede zwischen den beiden 1-GBit/s-Techniken. So erreicht Gigabit-Ethernet in der Disziplin »Lesen« einen Mittelwert über alle Dateigrößen von rund 82 MByte/s, der 1-GBit/s-Fibre-Channel liegt mit fast 80 MByte/s knapp dahinter. Der 2-GBit/s-Fibre-Channel ist mit einem Mittelwert von rund 148 MByte/s deutlich schneller aber nicht doppelt so schnell. Das liegt daran, dass alle Systeme mit den kleinsten Dateiformaten deutlich unter ihrer Nennleistung bleiben. In der Disziplin »Schreiben« liegt Gigabit-Ethernet deutlicher vor dem 1-GBit/s-Fibre-Channel. Hier erreicht Ethernet einen Mittelwert von gut 86 MByte/s, der 1-GBit/s-Fibre-Channel schafft dagegen nur rund 75 MByte/s. Und auch der 2-GBit/s-Fibre-Channel bleibt hinter dem Wert, den er beim Lesen erreicht, zurück. Hier kommt er auf einen Mittelwert von rund 136 MByte/s. Klarer Sieger ist der 2-GBit/s-Fibre-Channel besonders im bidirektionalen Schreiben-und-Lesen-Test. Hier vermag das einzige 2-GBit/s-System im Test mit einem Mittelwert von fast 205 MByte/s zu punkten. Zweiter Sieger ist der 1-GBit/s-Fibre-Channel mit gut 114 MByte/s. Etwas hinter dem Feld liegt hier Gigabit-Ethernet mit rund 88 MByte/s.

In den Tests »Lesen« und »Schreiben« liegt Gigabit-Ethernet in der Übertragungsgeschwindigkeit vor dem 1-GBit/s-Fibre-Channel. Der vermag wiederum in der Disziplin »Lesen & Schreiben« zu punkten. In einem Mittelwert über alle drei Testreihen erreicht der 1-GBit/s-Fibre-Channel fast 90 MByte/s, Gigabit-Ethernet liegt mit gut 85 MByte/s knapp dahinter. Auch bei den Messungen mit dem 1-GBit/s-Fibre-Channel zeigt sich, dass dieser erst beim Lesen und Schreiben seine Vorteile so richtig auszuspielen vermag. Mit einem Mittelwert von fast 163 MByte/s liegt die 2-GBit/s-Technik dabei deutlich über den 1-GBit/s-Techniken.

Die CPU belastet iSCSI/Gigabit-Ethernet deutlich mehr als die Fibre-Channel-Systeme. Braucht Gigabit-Ethernet durchschnittlich über 10 Prozent der Rechenpower, so begnügt sich der 1-GBit/s-Fibre-Channel mit rund 4 Prozent und der 1-GBit/s-Fibre-Channel liegt mit etwas über 5 Prozent auch nicht viel höher. Hier ist Fibre-Channel klar im Vorteil. An CPU-Leistung sollte in iSCSI-SANs folglich nie Mangel herrschen. Fibre-Channel bietet in unserem Testaufbau dank 2-GBit/s-Technik mehr Durchsatz. Als durchaus performant hat sich aber auch Gigabit-Ethernet erwiesen, das dem nominell gleich schnellen Fibre-Channel ohne Zweifel ebenbürtig ist.

Welche Speichernetz-Technologie die richtige ist, das liegt natürlich am individuellen Szenario, insbesondere den zu erwartenden Applikationen und Lastmustern. Außerdem sollte an dieser Stelle noch einmal darauf hingewiesen werden, dass wir mit dem vorliegenden Test ausschließlich die Leistungsfähigkeit der Netzwerktechnologien untersucht haben. Bei der Auswahl der geeigneten Technologie spielen in realen Storage-Projekten noch viele andere Faktoren eine Rolle.

Prof. Dr. Bernhard G. Stütz
dg@networkcomputing.de