Ein Netz für alle Fälle

Für Unternehmen stellt heute eine robuste, skalierbare Ethernet-Infrastruktur eines der wichtigsten Argumente dar, um sich vom Mitbewerb abzuheben. Die 10-Gigabit-Ethernet-Technologie erlaubt es IT-Organisationen ihre LAN-Infrastruktur flexibel zu skalieren, um den ständig steigenden Datenmengen begegnen zu können. Die Technik ermöglicht es Unternehmen, ihr Hochleistungsnetz zu erweitern, um Datenzentren innerhalb eines Ballungsraums zu verbinden. Dabei müssen sie nicht mehr auf teure, gemietete Leitungen zurückgreifen. Weiterhin erhalten Netzwerkdienstleister die Option, hochperformante Ethernet-Dienste netzwerkweit bereitzustellen.

10-Gigabit-Ethernet erweitert als Storage-Interconnect die Einsatzoptionen sowohl für iSCSI-basierte SANs als auch für NAS-Systeme. Aktuelle Fortschritte in den Bereichen Server, Betriebssysteme und I/O-Chipsätze machen zusammen mit sinkenden Preisen und der Freigabe von »10GB-Ready«-Storage-Systemen den Einsatz von 10-Gigabit-Ethernet im Unternehmen schon jetzt zu einer praktikablen und vernünftigen Lösung.

Der 10-Gigabit-Ethernet-Standard IEEE 802.3ae wurde bereits Mitte des Jahres 2002 veröffentlicht. Als Technologie zur Vereinigung hochperformanter Anwendungen im LAN, MAN und WAN galt die Technologie schon damals auch als Schlüssel für die weite Verbreitung von IP-Storage.

Das verspricht 10-Gigabit-Ethernet
In den letzten 25 Jahren ist die rasante Entwicklung der Ethernet-Technologie an keinem Unternehmen spurlos vorübergegangen. Auf 10BaseT folgte 100BaseT, dann 1000BaseT. Jede neue Generation übertrumpfte die Fähigkeiten der Vorgängerversion und verfolgte eine vorhersehbare Kosten-Kurve: Astronomische Preise zur Markteinführung, die dann durch hohe Verkaufszahlen dramatisch fielen und die Technik zu Commodity-Lösungen werden ließ, sobald die neue Netzwerkinfrastruktur weitestgehend adaptiert wurde.

Die letzte Ethernet-Inkarnation, 1000BaseT, erlaubte 1-Gigabit-Ethernet-Operation über die installierte Kupferinfrastruktur (Cat 5) und lieferte Gigabit-Bandbreite an Desktops, Datenzentren, Server-Farmen und Storage-Systeme. 10-Gigabit-Ethernet führt diese Progression mit der Erhöhung der Ethernet-Bandbreite weiter, um der schnellsten Technologie im WAN-Backbone (OC-192 mit rund 9,5 GBit/s) zu entsprechen. Auch eine Erweiterung des Ethernet-LANs hin zu MAN- und WAN-Infrastrukturen ist somit denkbar.

10-Gigabit-Ethernet ist die aktuell schnellste Ethernet-Generation und unterstützt alle Schichten und höhere Netzwerkdienste des OSI-Modells, wie VLAN, Spanning-Tree, QoS, VoIP und entsprechende Sicherheitsmechanismen. 10-Gigabit-Ethernet arbeitet stets im Vollduplex-Betrieb. Paket-Kollisionen werden somit vermieden. 10-Gigabit-Ethernet hat deshalb eine praktisch unbegrenzte Reichweite – es sind ausschließlich die Physik der Übertragung und die Eigenschaften der Medien, die die Verbindungs-Entfernung begrenzen. Die unterstützten Medien sind sowohl Glasfaser- als auch Kupferkabel. Beim Einsatz von Glasfaserkabeln sind folgende Standards möglich:

• 10GBaseZR (1550nm) mit maximal 80 km über Singlemode-Faser,
• 10GBaseER (1550nm) mit maximal 40 km über Singlemode-Faser,
• 10GBaseLR (1310nm) mit maximal 10 km über Singlemode-Faser,
• 10GBaseLX4 (1310nm) mit maximal 300 m über Multimode und maximal 10 km über Singlemode-Faser sowie
• 10GBaseSR (850nm) mit maximal 300 m über MultimodemFaser.

Bei Kupfer gibt es lediglich zwei Standards – einen bereits ratifizierten und einen noch erscheinenden:

• 10GBaseCX4 mit maximal 15 m über Twinax-Kabel sowie
• 10GBaseT mit maximal 100 m über Kat.6- und -7-TP-Kabel (2007 erwarteter Standard IEEE 802.3an).

10-Gigabit-Ethernet-Anwendungen
Bei der Ratifizierung des 10-Gigabit-Ethernet-Standards im Jahr 2002 wurden drei spezifische Anwendungsbereiche hervorgehoben: LAN, MAN und WAN. Im LAN gilt es als fundamentale Regel, dass eine schnellere Technologie immer benötigt wird, sobald mehrere Lower-Speed-Verbindungen aggregiert werden müssen. Je höher die Anzahl der Gigabit-Ethernet-Ports, desto mehr 10-Gigabit-Ethernet-Verbindungen werden benötigt. 10-Gigabit-Ethernet wird daher als Key-Interconnect gesehen. Und zwar insbesondere für Hochgeschwindigkeitsverbindungen zwischen Switches im gleichen Datenzentrum, in einem Unternehmens-Backbone und bei der Anbindung von Gebäude zu Gebäude.

Interconnect für Server-Cluster
Im MAN ermöglicht 10-Gigabit-Ethernet Unternehmen und Dienstleistern leistungsfähige Ethernet-Verbindungen zu einem Bruchteil der Kosten traditioneller Technologien wie Sonet. – Und das ohne die Komplexität von Protokollkonvertierung und Transport-Bridging. Das LAN einer Organisation kann sich auf diese Weise über ein ganzes Ballungsgebiet ausbreiten.

Im WAN erlaubt 10-Gigabit-Ethernet Dienstleistern, kosteneffektive Hochleistungslinks bereitzustellen, die mit Ethernet-Werkzeugen leicht zu verwalten sind. Dies bietet Potenzial für den End-to-End-Betrieb auf Basis von 10-Gigabit-Ethernet.

Häufige Fragen
Die meist zuerst gestellte Frage befasst sich mit der Preisgestaltung. Preisreduzierungen für 10-Gigabit-Ethernet-Produkte sind eine der Hauptgründe für die Anwendung von 10-Gigabit-Ethernet im LAN. Mittlerweile ist ein 10-Gigabit-Ethernet-Port schon günstiger als zehn 1-Gigabit-Ethernet-Faser-Ports.

Ebenso wichtig ist die Frage nach der Fähigkeit von Server-Hardware-Architekturen, solch eine Hochgeschwindigkeitsschnittstelle zu unterstützen. Die Terminierung eines 10-Gigabit-Ethernet-Links innerhalb eines Servers ist eine große Belastung für die gesamte Serverstruktur. Um einen 10-Gigabit-Ethernet-Link zu sättigen werden rund 1,25 GByte an Bandbreite in beiden Richtungen benötigt oder 2,5 GByte insgesamt – das Siebenfache der Bandbreite eines PCI-64/66-Bus.

Die dritte Frage beschäftigt sich mit der CPU-TCP/IP-Verarbeitung. Viele dachten, dass dies ein Problem für Storage über Gigabit-Ethernet wäre. Viele glauben nach wie vor, dass dies ein Problem bei 10-Gigabit-Geschwindigkeiten darstellen könnte. TCP/IP-Offload hat sich indes nicht als das große Problem für iSCSI über Gigabit-Ethernet erwiesen – moderne CPUs zeigten, dass sie ausreichend »Performance Headroom« hatten, um die TCP/IP-Verarbeitung ohne Auswirkung auf die Leistung einer Anwendung abzuarbeiten. Dies wird auch bei 10-Gigabit-Geschwindigkeiten der Fall sein. Die Erscheinung eines robusten Marktes für TCP/IP-Offload-Lösungen wurde auch durch die Kosten der Komponenten und das Fehlen einer standardisierten TCP/IP-Netzwerksoftware-Treiberschnittstelle für Betriebssysteme verhindert.

Die vierte Frage betrifft die Bearbeitung von I/O-Anfragen durch das Host-Betriebssystem. Heute wird I/O-Verkehr im Speicher gepuffert, bevor er in den Arbeitsspeicher übertragen wird, um dann auf Disk geschrieben zu werden. Es liegen normalerweise mehrere Kopien im Speicher vor, wobei jeder Kopiervorgang Verkehr auf dem Speicherbus verursacht. Bei 10-Gigabit-Geschwindigkeiten könnten diese Kopiervorgänge den Speicherbus überschwemmen. Um dieser Frage zu begegnen, hat die IETF eine Reihe an Standards erarbeitet, die die Speicherkopien reduzieren und Daten direkt im Speicher (»Remote Direct Memory Access«, kurz RDMA) unterbringen. Dies ist eine wichtige Vorraussetzung, um 10-Gigabit-Ethernet als Interconnect für Server einzusetzen.

10-Gigabit-Ethernet heute
10-Gigabit-Ethernet-Produkte sind seit 2002 auf dem Markt verfügbar. Die ersten Produkte konzentrierten sich auf Switch-to-Switch-Konnektivität mit 10-Gigabit-Ethernet-Ports für Ethernet-Switches und auf Server-Konnektivität mit 10-Gigabit-Ethernet-Netzwerkadaptern.

Seither ist der Einsatz von Gigabit-Ethernet geradezu explodiert – mit 10/100/1000BaseT-Ports als Standard auf allen PCs und Notebooks und mehreren Gigabit-Ethernet-Ports als Standard auf jedem Server. Dies, zusammen mit der Erkenntnis, dass eine robuste, skalierbare Ethernet-Infrastruktur für heutige Unternehmen eine Wettbewerbsvoraussetzung ist, dem schnellen Wachstum von Voice-over-IP in den meisten Unternehmen sowie dem exorbitanten Wachstum von Storage-over-IP (sowohl NAS als auch iSCSI) und die Voraussetzung, dass beide eine großer Anzahl Hostsysteme unterstützen, treiben den Bedarf nach 10-Gigabit-Ethernet-Backbone-Lösungen mit einer hohen Bandbreite stark voran.

Das gilt sowohl für Switch-to-Switch- als auch für Aggregationslösungen. So hat sich der Verkauf von 10-Gigabit-Ethernet-Ports im Jahr 2006 mit 300000 Einheiten im Vergleich zum Vorjahreszeitraum verdoppelt, berichtet der Analyst Gartner. Erhebliche Fortschritte wurden auch bei den anderen bereits erwähnten Problemen gemacht. Die Verbreitung von I/O-Optionen mit einer höheren Geschwindigkeit für Server wie PCI-X und PCI-Express macht jetzt 10-Gigabit-I/O-Verbindungen auch praktisch möglich.

Die Verfügbarkeit von TCP/IP-Offload implementierenden kostengünstigen Chipsätzen macht auch TOE-Lösungen zunehmend attraktiver. Im Softwarebereich sind bereits De-facto-Standards für TCP/IP-Offload und Beschleunigung zu sehen. Ein Beispiel dafür ist die Veröffentlichung von Microsofts Windows-Server-2003-Scalable-Networking-Pack, das TCP-Chimney (eine TCP/IP-Offload-Architektur), Task-Offload (Checksum-Berechnung-Offloading) und Receive-Side-Scaling (erlaubt die Ausführung von TCP-Receive-Processing auf Mehrfachprozessoren) implementiert. Dies alles wird einen positiven Einfluss auf die Verfügbarkeit umfassender TOE-Lösungen für 10-Gigabit-Ethernet haben.

Zu guter Letzt haben die Standards, die entwickelt wurden, um Server-Clustering unter Anwendung von 10-Gigabit-Ethernet zu erlauben, zu bedeutenden und schnellen Fortschritten innerhalb des IETF geführt. Es wird erwartet, dass diese Protokolle (DDR und RDMAP) in naher Zukunft die Schlussphase des Standardisierungsprozesses erreicht haben werden.

Storage-Implikationen
Offensichtlich hat die Verfügbarkeit von 10-Gigabit-Ethernet als höherer Bandbreiten-Interconnect Auswirkungen auf alle Storage-over-IP-Anwendungen, also iSCSI, NAS, und die Anbindung von Fibre-Channel-SAN-Inseln über WAN. 10-Gigabit-Ethernet liefert einen größeren »Performance Headroom« für jedes dieser Protokolle.

iSCSI heute
iSCSI-Native-Storage-Arrays sind seit vier Jahren auf dem Markt verfügbar. Sie haben schnell das Interesse von IT-Organisationen auf sich gezogen, die ihre Verwendung von iSCSI-basierten SANs in den letzten 18 Monaten ausgebaut haben. Heute finden sich IP-SANs in Groß-, Mittel- und Kleinunternehmen überall auf der Welt. Die ständig wachsende Anzahl von Referenzkunden beschleunigt diese Entwicklung weiter.

Der Markt für iSCSI-Storage ist tatsächlich das am schnellsten wachsende Segment des Storage-Marktes. Dieser wuchs von geschätzten 2500 IP-SANs Ende 2004 auf mehr als 10000 bis Ende 2005. Zum Ablauf des Jahres 2006 dürfte die Anzahl auf rund 22000 angestiegen sein. Heute betrachten die meisten Analytiker iSCSI als eine robuste, etablierte SAN-Storage-Lösung. All dies ist serverseitig mit Gigabit-Ethernet und fast immer mit Software-iSCSI-Treibern realisiert worden, da IP/Ethernet günstiger ist und weniger Spezialwissen erfordert als die komplexe Fibre-Channel-Technik.

Die meisten IP-SAN-Anwendungen treten auf der Abteilungsebene größerer Unternehmen oder im Hauptdatenzentrum von Mittel- und Kleinunternehmen auf. Die meisten sind »Green Field« SANs, die bestehende DAS-Lösungen ersetzt haben – vor allem in Windows-Umgebungen mit kleineren Servern, wo eingeschränkte Admin-Unterstützung, hohe »Host Attached«-Kosten und Infrastrukturkomplexität den Einsatz von Fibre-Channel-SAN verhindert haben. Eine große Anzahl dieser Unternehmen hat jetzt »Ethernet Only«-Rechenzentren, in denen Gigabit-Ethernet für NAS, SAN und die Anbindung zwischen den Rechenzentren für den gesamten Storage-Verkehr verwendet wird.

Angesichts der Tatsache, dass 40 Prozent des weltweiten Speichervolumens nach wie vor »direct-attached« – also direkt verbunden – ist, sind die Wachstumsmöglichkeiten für IP-SAN-Lösungen enorm. iSCSI benötigt auch nicht die zusätzliche Bandbreite von 10-Gigabit-Ethernet, um diesen Markt erfolgreich zu adressieren.

Schnell genug für Storage
Es scheint eine weit verbreitete Auffassung zu geben, vor allem unter Leuten ohne praktische Erfahrung mit iSCSI, wonach die Wahl einer iSCSI-basierten Lösung einen Leistungskompromiss bedeutet. Die Realität sieht jedoch anders aus. iSCSI-Lösungen unter Verwendung von serienmäßigen 1-Gigabit-Ethernet- NICs und der kostenlose Softwaretreiber, der mit dem Hostbetriebssystem mitgeliefert wird, bieten eine durchaus passable Leistung, die für die überwiegende Mehrheit der Anwendungen im Unternehmen völlig ausreicht. Disk-Arrays, die über 2-GBit/s-Fibre-Channel verbunden sind, sind nicht doppelt so schnell wie 1-GBit/s-iSCSI-Arrays. Ebenso sind 4-GBit/s-Fibre-Channel-Arrays nicht vier mal so leistungsfähig.

Unter Benutzung von typischen echten Anwendungsauslastungen hat die Enterprise Strategy Group (www.enterprisestrategygroup.com) ausführliche, vergleichende Leistungstests durchgeführt. Diese zeigen regelmäßig, dass 2-GBit/s-Fibre-Channel-Lösungen normalerweise nur eine um 5 bis 15 Prozent höhere Leistung erzielen als 1-GBit/s-iSCSI-Lösungen.

Das Missverständnis ist darin begründet, dass die Storage-Leistung proportional zur Storage-Interconnect-Bandbreite ist. Dem ist nicht so. Ein brauchbarer Vergleich wäre ein Auto, das auf einer Strasse fährt. Fahrbahnen hinzuzufügen führt nicht dazu, dass das Auto schneller fährt, es sei denn es gibt einen signifikanten Stau. Es bleibt auch bei 1 GBit/s genügend Bandbreite für die Auslastung der meisten Anwendungen im Unternehmen übrig.

Andere Faktoren haben eine weitaus signifikantere Auswirkung auf die Leistung eines Arrays. Anzahl, Typ und Drehgeschwindigkeit der Disks haben die größte Auswirkung – große Arrays liefern mehr Leistung als kleine Arrays. Fibre-Channel-Laufwerke bieten mehr Leistung als eine ähnliche Anzahl ATA-Laufwerke. Auch entscheidend ist die Fähigkeit eines Arrays, die Datenplatzierung zu optimieren und Anwendungsdaten als Stripe-Set auf die größtmögliche Laufwerksanzahl zu schreiben. Die Interconnect-Bandbreite ist im Vergleich dazu tatsächlich nur ein Problem dritter Ordnung und daher relativ bedeutungslos.

Andererseits wird die Verfügbarkeit von 10-Gigabit-Ethernet die Reichweite von Unternehmens-NAS- und iSCSI-SAN-Lösungen vergrößern.

10-Gigabit-Ethernet als Storage-Interconnect
Eine informelle Befragung unter Storage-Händlern zeigt, dass im Jahr 2007 wohl zahlreiche Lösungen mit 10-Gigabit-Ethernet- Konnektivitätsoptionen verkauft werden. Die Hauptaufgabe dieser Lösungen wird die Unterstützung einer hohen Anzahl von mit Gigabit-Ethernet verbundenen Servern sein. Dies wird den Einsatz viel größerer iSCSI-basierter SANs ermöglichen. 10-Gigabit-Ethernet wird es auch iSCSI ermöglichen, Anwendungen mit einer sehr hohen Leistung, die eine niedrige Latenzzeit und mehr als 1 GBit/s Storage-Bandbreite benötigen, zu adressieren.

Die Frage ist, ob 10-Gigabit-Ethernet iSCSI wettbewerbsfähiger gegenüber Fibre-Channel machen wird. Die Antwort lautet ja und nein. Der Leistungsvorteil von Fibre-Channel (sowohl wahrgenommen als auch tatsächlich) wird allmählich verschwinden. Jedoch hängt auch heute die Entscheidung für den Einsatz von Fibre-Channel oder iSCSI von der Frage ab, ob die Fibre-Channel-SAN-Infrastruktur bereits eingesetzt wird. Ist dies der Fall, wird man normalerweise wieder Fibre-Channel wählen. Wenn nicht, macht wahrscheinlich iSCSI das Rennen.

Mit der Zeit werden alle Organisationen mit Entscheidungen über den Bau von Datenzentren der nächsten Generation konfrontiert werden. Die meisten dieser Organisationen werden schon 10-Gigabit-Ethernet in ihrer Datenkommunikationsinfrastruktur verwenden. Die Frage zu dieser Zeit lautet: »Sollte ich auf eine einzige Interconnect-Technologie für mein Datenzentrum der nächsten Generation standardisieren oder macht es mehr Sinn, mehrere Netzwerkarten einzusetzen?« Nur zwei Technologien haben nach Ansicht von Dan Warmenhoven, CEO von Network-Appliance, im Datenspeicher der Zukunft Platz: Festplatten und Ethernet. Außen vor bleibe Fibre-Channel. Der Storage-Hersteller ist laut IDC die Nummer 1 auf dem Weltmarkt für Systeme mit iSCSI-Anschluss und bei NAS-Lösungen. Bei Fibre-Channel-basierten Speichernetzen ist der Konzern immerhin der am schnellsten wachsende Anbieter und hat sich vorgenommen, demnächst zu den Top 5 zu zählen.

Sowohl die FAS3000- als auch die FAS6000-Plattformen waren dank ihrer zeitgemäßen Hochgeschwindigkeits-I/O-Architektur (jeweils PCI-X und PCI-Express) »10-GB-Ethernet Ready«, als sie jeweils im Juni 2005 und Juni 2006 angekündigt wurden. Die Netapp-Softwarearchitektur stellt mit der Veröffentlichung von Data-Ontap 7.2 im August 2006 auch die Unterstützung für die neueste Generation von 10-Gigabit-Ethernet-Netzwerkadaptern bereit.

Anschließend testete Netapp diese Funktion mit 10-Gigabit-Ethernet-Switches verschiedener Hersteller und mit iSCSI-Softwaretreibern für Red Hat Linux, Suse Linux, Sun Solaris 10 und Windows-Umgebungen und gab im September 2006 volle 10-Gigabit-Ethernet-Unterstützung für die komplette Highend- und Midrange-Fabric- Attached-Storage- Produktfamilien (FAS) bekannt. Netapp-Infrastructur- Advantage-Partner ist zum Beispiel Extreme Networks.

Fazit
Obwohl 10-Gigabit-Ethernet als eine Option zum Storage-Interconnect eingesetzt wird, handelt es sich bei 10-Gigabit-Ethernet nicht um Storage, sondern um IT-Infrastruktur. Alle Unternehmen sehen heute eine robuste, skalierbare Ethernet-Infrastruktur als ein Schlüsselargument, um einen Wettbewerbsvorteil zu bekommen. 10-Gigabit-Ethernet ermöglicht es, dass IT-Organisationen ihre LAN-Infrastruktur skalieren können, um ständig steigende Datenmengen aufzunehmen. Es erlaubt Unternehmen, ihre LAN-Infrastruktur zu erweitern, um Datenzentren innerhalb von Ballungsräumen zu verbinden, ohne auf teure, gemietete Telefonleitungen zurückgreifen zu müssen. Es gibt auch Netzwerkdienstleistern die Möglichkeit, hochperformante End-to-End-Ethernet-Dienste bereitzustellen.

10-Gigabit-Ethernet-Lösungen sind heute verfügbar und die jüngsten Fortschritte in Server-, Betriebssystem- und I/O-Chipsatzunterstützung machen den Einsatz als Storage-Interconnect zu einer praktischen Einsatzmöglichkeit und erweiteren so die Einsatzmöglichkeiten für sowohl iSCSI-basierte SANs als auch für NAS.

Dipl.-Ing. (FH), Vertriebsing. (twi)
Guido Nickenig,
College & Tech Director Algol Europe