Markt und Chancen für 10 Gigabit Ethernet
Noch letzte Hürden für 10GbE-Akzeptanz
Nach der Prognose des Analystenhauses Dell’Oro wird der Markt für 10-Gigabit-Ethernet-Equipment bis 2009 auf das Achtfache anwachsen. Faktoren wie Bandbreite, Reichweite, Performance, Management und Kosten - auch im Vergleich zu anderen Technologien - werden die Chancen für den 10GbE-Einsatz in LAN, SAN und Clustern wesentlich bestimmen. Direkten Einfluss auf die Marktentwicklung haben Faktoren wie 10GbE-Netzwerkkarten, iSCSI mit Error Recovery Level 2 sowie der 10GbE-über-Kupfer-Standard 802.3an.
Um Server sinnvoll mit 10 Gigabit Ethernet (10GbE) anzubinden, gilt es, die Server-CPU von der
Protokollverarbeitung zu entlasten. Dies erhöht die Rechnerleistung und verringert Latenzzeiten
entscheidend. Dazu verlagern die Hersteller die TCP-Verarbeitung auf die Netzwerkkarte (Network
Interface Card, NIC) mittels einer zusätzlichen Komponente namens TCP/IP Offload Engine (TOE). Seit
Anfang 2005 sind bereits die ersten 10GbE-NICs mit TCP Offload verfügbar. Erste Testberichte sind
vielversprechend, wenngleich der Durchsatz von zirka 7,7 GBit/s bei Verwendung einer
PCI-X-1.0-Schnittstelle mit 64-Bit 133 MHz Prozessor den Anforderungen noch nicht genügt. Erst der
Einsatz von PCI Express soll einen Durchsatz bis 10 GBit/s ermöglichen. Nach Auskunft der
Hersteller sollen die ersten NICs mit PCI Express Ende September dieses Jahres zur Verfügung
stehen. Viele Serverhersteller haben bereits einen PCI-Express-x8-Slot vorgesehen. Eine weitere
Möglichkeit zur CPU-Entlastung besteht darin, die empfangenen Daten mit RDMA (Remote Direct Memory
Access) direkt in den Anwendungsspeicher zu kopieren. Das RDMA-Konsortium hat unter der Bezeichnung
"Iwarp" eine entsprechende Spezifikation entwickelt.
Das iSCSI-Protokoll mit Error Recovery Level (ERL) 2 hat die IETF erst im RFC 3720 vollständig
definiert. iSCSI ERL2 hat nun mit der Funktionalität "Active/Active Session Continuation" ein hohes
Maß an Zuverlässigkeit erreicht. Vergleichbar mit der Fibre-Channel-Funktionalität "Dual Loop Back"
lässt sich jetzt ein Daten- und Session-Verlust verhindern.
IEEE 802.3an wiederum ist die Spezifikation für 10GbE über Kupfer. Entscheidend für die
10GbE-Marktentwicklung wird sein, wann 10GbE für nicht-geschirmte Kupferleitungen zur Verfügung
steht. Die letzten technischen Änderungen an der Spezifikation 802.3an will das Gremium im November
2005 verabschieden. Bis zur endgültigen Freigabe im Juni 2006 werden weitere Änderungen und
Verbesserungen wie schon bei der GbE-Spezifizierung softwarebasierend sein. So ist davon
auszugehen, dass die ersten 10GbE-BaseT-Geräte Anfang 2006 auf dem Markt erscheinen.
LAN: Konsolidierung, Disaster Recovery und Backup
Die meisten Server in Unternehmen sind nur zu zehn bis 15 Prozent ausgelastet. Denn die Server
sind meist für Spitzenbelastungen ausgelegt, die aber lediglich wenige Stunden am Tag oder gar nur
am Monatsende auftreten. Unter Normallast liegen diese zusätzlichen Ressourcen brach. Das
verursacht den Unternehmen erhebliche Betriebskosten. Reduzieren lassen sich diese durch die
Konsolidierung von Rechenzentren, den Einsatz von Blade-Servern sowie Virtualisierung. Da alle drei
Lösungen eine Konsolidierung der Netzinfrastruktur zur Folge haben, ändern sich somit auch die
Netzwerkanforderungen. Hierzu zählen:
Senkung der Latenzzeit: Switches müssen Jumbo-Frames unterstützen.
Mehr GbE- und 10GbE-Ports: Da Unternehmen ältere Server durch neue
High-Performance-Server mit GbE-Ports ersetzen, benötigen sie mehr GbE-Ports in Ethernet-Switches.
Wegen der Limitierung der GbE-Server-Slots wird ein baldiger Einsatz der 10GbE-NICs immer
wahrscheinlicher. Deshalb müssen Switches für 10GbE ausgelegt sein.
10GbE-WAN: Infolge der Anhäufung der GbE-Ports sind 10GbE-Uplinks unablässig,
um Kapazitätsengpässe zu vermeiden. Dies erhöht den Druck zum Aufbau eines 10GbE-Backbones.
Line-Rate Ports: Die steigende Kapazitätsauslastung erfordert
blockierungsfreie Ethernet-Ports.
Höhere Ausfallsicherheit: Da der gesamte Datenverkehr über weniger Switches
läuft, steigen die Anforderungen bezüglich höherer Ausfallsicherheit. Hierzu zählen
Redundanzmöglichkeiten mit Hot-Swap aller wichtigen Baugruppen (Stromversorgung, Switching Fabric,
Route Processor Module), also der Ein- und Ausbau aller Komponenten und Instandhaltungsarbeiten
ebenso wie Software-Upgrades im laufenden Betrieb sowie eine klare Trennung zwischen Control- und
Daten-Traffic im Switch.
Hohe Dichte von Non-Blocking-Ports: Switches mit hoher Port-Dichte können
helfen, Kosten zu reduzieren.
Weitere Einsatzmöglichkeiten für blockierungsfreie 10GbE-Switches bestehen im Bereich Remote
Disaster Recovery und Backup. Solche Datensicherungsstrategien sehen vor, gespeicherte Daten aus
Gründen der Notfallvorsorge an einen anderen geografischen Ort zu spiegeln. So lassen sich
redundante Systeme aufbauen, die den sofortigen Zugriff auf ausgelagerte Daten ermöglichen. Mit
optischen 10GbE-Modulen lassen sich mittlerweile Entfernungen bis zu 100 km ohne Verstärkung
überbrücken. Die Anforderungen an die Geräte entsprechen hierbei weitgehend denen im
Konsolidierungseinsatz.
Storage Area Networks
SAN-Konzepte basieren meist auf dem Fibre-Channel-(FC-)Protokoll und FC-Komponenten. FC liegt
derzeit in den Geschwindigkeiten 1 GBit/s und 2 GBit/s vor. Zwar sind die Spezifikationen für 4
GBit/s und 10 GBit/s bereits definiert, doch die ersten Einsätze sind erst in naher Zukunft zu
erwarten. Indes stoßen iSCSI mit ERL2 und 10GbE aus mehreren Gründen zunehmend auf sehr großes
Interesse: Sie erlauben den globalen Datentransport, da sich LAN, MAN und WAN einfach und schnell
zusammenschalten lassen. Die Distanzen sind nicht limitiert. Das verbessert die
Konsolidierungsmöglichkeiten mit Virtualisierungslösungen. Der Einsatz von
Standard-Ethernet-Switches senkt die Kosten.
Zugleich besteht für die zuverlässige Technik mit bewährten Protokollen eine hohe Verfügbarkeit
von ausgebildeten Fachleuten und leistungsfähigen Management-Tools. 10GBit/s mit den
Schlüsselfunktionen TCP Offload und RDMA garantiert hohe Performance und bietet echte
Quality-of-Service-(QoS-)Funktionalität. Insgesamt erlaubt dies effiziente Disaster-Recovery-,
Backup- und Replikationsszenarien via IP-WANs. Standardsoftware sorgt zudem für einfache
softwarebasierte iSCSI-Implementierungen bei existierenden Systemen. Außerdem optimiert die
automatische Nutzung von Bandbreiten gerade nicht verwendeter Verbindungen die
Ressourcenauslastung.
Nach einer Vorhersage von IDC soll im Jahr 2008 der iSCSI-Markt 2,9 Milliarden Dollar betragen.
Alle Betriebssysteme wie Windows, Linux und Unix unterstützen das iSCSI-Protokoll bereits. Bei
einer Umfrage Anfang 2005 haben 75 Prozent der Befragten angegeben, dass konkrete
IP-SAN-Installationen bis Ende 2006 geplant sind. Konzerne wie IBM und EMC wollen hierbei kräftig
mitmischen, Netapp verbucht bereits erste Umsätze. Dennoch wird Fibre Channel aufgrund seiner
Verbreitung weiterhin im Storage-Bereich zum Einsatz kommen. Allerdings kann man davon ausgehen,
dass neue 10-GBit/s-Installationen in Richtung 10GbE tendieren.
Interconnections in Clustern
Im Cluster dienen verschiedene Netzwerke (Interconnects) der Verbindung der Rechnerknoten.
Hierbei gibt es die vier Kategorien I/O, Management, Storage und Message Passing.
I/O-Interconnect
Dieses ausschließlich Ethernet-basierende Netz dient dem bidirektionalen Datenaustausch mit den
Anwendern, anderen Rechnern (zum Beispiel beim Grid Computing), dem WAN oder Campus Backbone. WAN-
oder Backbone-Uplinks erfolgen de facto mit 10GbE, andere Netzwerktechniken stehen hier nicht zur
Diskussion. Ob ein Unternehmen modulare oder stapelbare (stackable), fest konfigurierte Switches
oder aber beide in Kombination nutzt, hängt primär von den Faktoren Kosten, Verfügbarkeit und
Performance (Überbuchungsfaktor) ab. Während im Grid Computing verstärkt modulare Switches zum
Einsatz kommen, finden im Cluster meist Stackable-Switches Verwendung.
Management-Interconnect
Auch für das Managementnetzwerk gilt Ethernet als De-facto-Standard. Um Kosten zu sparen, nutzen
Organisationen für Managementaufgaben häufig das I/O-Ethernet-Netzwerk. Die
Performance-Anforderungen sind hier sehr niedrig.
Storage-Interconnect
In Betracht kommen vorwiegend drei Storage-Netzwerktechniken: FC und Ethernet/iSCSI wurden
bereits beschrieben; ob Infiniband sich als dritte Technik etablieren wird, hängt sicher auch von
den Infiniband-Storage-Geräten ab und lässt sich derzeit nicht beurteilen. Einige wenige Geräte
sind bereits verfügbar. Die Vor- und Nachteile von Infiniband sind nahezu identisch mit denen des
Message-Passing-Netzwerks (siehe unten).
Message-Passing-Interconnect
Das Message-Passing-Netzwerk verbindet Rechnerknoten zu einem Cluster-Computer. Die wichtigsten
Performance-Kennwerte sind Latenzzeit in ms, Durchsatz in GBit/s, Verfügbarkeit und Kosten. Neben
proprietären Interconnects wie Myrinet und Quadrics liegen standardbasierte wie Infiniband und
Ethernet vor. Während proprietäre Interconnects wie Myrinet in der Top-500-Cluster-Liste seit
Jahren dominiert haben, befindet sich Ethernet auf der Überholspur: Vor drei Jahren gab es keinen
Ethernet-basierten Cluster unter den Top 500; heute führen GbE- und Myrinet-basierte Cluster mit 42
beziehungsweise 28 Prozent die Liste an. Die Vor- und Nachteile der eingesetzten Interconnects
fasst der obige Kasten zusammen.
Tests der Los Alamos National Laboratories und Sandia National Laboratories im Juni 2005 haben
ergeben, dass in den meisten Testversuchen mit Socket Interface die 10GbE-TOE-Technik vergleichbar
oder besser abschneidet als Infiniband und Myrinet. Sie wiesen nach, dass mit TOE signifikante
Performance-Verbesserungen erzielbar sind. Mit der Ankündigung von Myricom, die Myri 10G-Switches
und -NICs mit vollständiger 10GbE-Kompatibilität im Oktober 2005 verfügbar zu machen, wird sich
allerdings eine neue Situation ergeben.
Konvergenz von LAN, SAN und Cluster
Große Rechenzentren verwenden nach wie vor FC für Speichernetze und Infiniband oder Myrinet für
Cluster-Interconnects. Das Volumen bleibt im Vergleich zu Ethernet-LANs allerdings gering. Dagegen
wird sich der Markt für Speicher- und Cluster-Netze im Bereich preiswerter wie auch hochpreisiger
Ethernet-Technik deutlich ausweiten.
Obwohl jede Technik je nach Anwendung spezifische technische Vorteile aufweist, ist die
Installation, Instandhaltung und Führung aller drei Netze nachweislich teurer und ineffizienter.
Gerade die Zukunftstechniken 10GbE, Iwarp und iSCSI bieten sehr gute Voraussetzungen, um LAN, SAN
und Cluster zu einem leistungs- und kosteneffizienten Ethernet-Netz zu konsolidieren. Speziell für
Blade-Server kann dies einen zusätzlichen Vorteil bringen. Ferner lassen sich so bisher getrennte
Netze physikalisch zusammenführen. Die Trennung erfolgt dann virtuell mittels VLANs (Virtual LANs)
gemäß IEEE 802.1q.
Aus diesen Gründen ist das Interesse und die Unterstützung aus der gesamten Chip- und
Systemindustrie ungebrochen hoch. Die Trennung der Netze kann je nach Anforderung und Gegebenheit
aber auch weiterhin sinnvoll sein, so zum Beispiel wenn wissenschaftliche Zwecke
High-Performance-Cluster-Interconnects mit Top-Latenzzeiten erfordern. Die Chancen für neu
entstehende rein Ethernet-basierte Next-Generation-Rechenzentren stehen vorwiegend in der
Wirtschaft auf Grün.
Fazit
Aufgrund der Allgegenwart von Ethernet wird sich der 10GbE-Einsatz weit verbreiten. Es ist
allerdings noch offen, wie schnell die Ausbreitung erfolgt und in welchem Ausmaß dies Einfluss auf
die alternativen Techniken wie Fibre Channel oder Infiniband nimmt. Die Einführung von 10GbE über
Kupfer 2006 wird die Markt- und Preisentwicklung stark beeinflussen, wie bereits die
GbE-Entwicklung zeigte. Die zusätzlichen Produkte für Multimode-Fiber bis 300 Meter (10GbE-LRM) und
für Kupfer bis 20 Meter (10GbE-CX4) verstärken den Trend. 10GbE-LRM ist eine Low-Cost-Variante der
10GbE-LX-Version und ermöglicht den Backbone-Upgrade von GbE auf 10GbE bei Verwendung der
installierten Multimode-Glasfaser. Bis Ende 2005 werden die ersten 10GbE-NICs mit Iwarp in
High-Performance-Rechnern sowie 10GbE-Storage-Netzwerke mit iSCSI implementiert sein.
10 Gigabit Ethernet mit TOE, iSCSI und Iwarp werden das Next-Generation-Rechenzentrum im
Wesentlichen bestimmen und andere Techniken aus dem SAN und dem Cluster-Interconnect verdrängen.
Infiniband oder Fibre Channel werden aber auch weiterhin Verwendung finden. Denn für spezielle
Einsatzszenarien zum Beispiel in der Forschung erfüllen sie die Anforderungen besser als
Ethernet.
Lesen Sie mehr zum Thema
