Plädoyer für eine alternative Vernetzung
Netzwerkstrukturen mit Infiniband
Die Entwicklung der Basistechnik und Übertragungsraten im Netzwerk- und Storage-Bereich ist in den letzten Jahren weit hinter dem Wachstum von Datenvolumen und Rechenkapazitäten in allen Anwendungsszenarien zurückgeblieben. Umso dringlicher wird die Suche nach zukunftsfähigen Alternativen auch im Mittelstand. Infiniband kann nach Einschätzung von Experten dafür eine Lösung sein.
Welcher IT-Verantwortliche hätte sich das nicht auch schon gewünscht? Eine neue, stabile Technik für den Server-Park, mit der die Übertragung großer Datenmengen nicht zur Geduldsprobe ausartet und die gleichzeitig weder das Budget sprengt noch die Beherrschbarkeit übersteigt.
Noch weitgehend unbemerkt von der durchschnittlichen IT-Organisation gilt in jüngster Zeit die Infiniband-Technik (IB) bei ihren Verfechtern als Antwort auf diese Fragen. Sie verspricht, alle gewünschten Eigenschaften in sich zu vereinen, bis auf eine: Sie ist nicht neu. Dies muss jedoch kein Nachteil sein.
Historie
Tatsächlich wurde der erste Infiniband-Standard bereits im Jahr 2000 von der Infiniband Trade Association (ITBA, ein Zusammenschluss von Compaq, Dell, Hewlett-Packard, IBM, Intel, Microsoft und Sun) verabschiedet. Er war damals als Nachfolgetechnik für den PCI-Bus gedacht. Nachdem sich aber im Segment der Arbeitsstationen und Enterprise-Server stattdessen PCI Express als Bus-System durchgesetzt hat, wurde Infiniband immer mehr eine Verbindungstechnik in der Domäne von Supercomputern und High-Performance-Anwendungen. Im Jahr 2014 basierten 45 Prozent der in der Top 500 gelisteten Supercomputer auf Infiniband. Dies zeigt, dass Infiniband eine höchst ausgereifte, stabile und skalierbare Technik ist, die jedoch lange Zeit zu teuer für den Einsatz in gewöhnlichen Unternehmen war. Dies hat sich zuletzt deutlich verändert: Aufgrund technischer Innovationen und der Suche nach neuen Zielmärkten sind die Preise für Infiniband-Komponenten in den letzten Jahren auf ein Niveau gesunken, das sich nicht mehr von dem der Konkurrenten wie 10 Gigabit Ethernet oder Fibre Channel unterscheidet.
Obwohl ähnlich im Preisgefüge, baut Infiniband im Kern auf eine völlig andere Architektur. Es handelt sich nicht um eine Netzwerk-, sondern um eine Busstruktur. Man kann sich Infiniband als eine "Verlängerung" des Server-internen PCIe-Busses vorstellen. Damit einher gehen einige Merkmale, die wesentlich für das Leistungsversprechen dieses Standards sind: Die Übertragungsrate beträgt derzeit bis zu 100 GBit/s je Port bei gleichzeitig extrem niedriger Latenz. Für höhere Leistungsanforderungen lassen sich mehrere physische Ports logisch koppeln. Als etablierte, nicht-experimentelle Technik steht Infiniband derzeit 10 GBit Ethernet und 8 bis 16 GBit Fibre Channel gegenüber.
Bei Storage-Anwendungen überträgt IB die Daten per RDMA (Remote Direct Memory Access). Dieses Feature erlaubt es Anwendungen, Daten direkt in den Hauptspeicher des Zielsystems zu schreiben, also ohne Umweg über einen Netzwerkprotokoll-Stack. Dies entlastet die CPU und vermeidet unnötige und zeitintensive Kopiervorgänge.
Dieselbe Systematik ist mit Infiniband auch für paketorientierte Netzwerkanwendungen verfügbar und heißt dort RoCE (RDMA over Converged Ethernet). Gleichzeitig fügt sich Infiniband nahtlos in bestehende IT-Landschaften ein, denn den Anwendungen zeigt es sich in der tatsächlichen Nutzung je nach Konfiguration als Netz- oder Datenverbindung. Diese Einstellung ist durch den Administrator festlegbar und hängt nicht von der eingesetzten IB-Hardware ab. Anders ausgedrückt: Mit derselben Infiniband-Hardware lassen sich flexibel mehrere parallel nutzbare Ethernet- und blockbasierende Verbindungen (SRP/iSER) mit definierbaren Bandbreiten realisieren.
Die Einrichtung der IB-Komponenten ist kein Hexenwerk, sollte jedoch in Hinsicht auf die gewünschte Gesamtstruktur in Produktivumgebungen nur von Experten mit Infiniband-Erfahrung durchgeführt werden. Vor allem in heterogenen Systemlandschaften mit gemischten Techniken und unterschiedlichen Betriebssystemen gibt es bei der Umsetzung diverse Fallstricke, die erkannt und umgangen sein wollen. Im laufenden Betrieb unterstützt Infiniband den Administrator dann durch seine umfangreichen Monitoring-Fähigkeiten, die deutlich über das von der Konkurrenz Gewohnte hinausgehen. Spätestens dabei jedoch stößt der Einsteiger an seine Grenzen, denn Konfiguration und treffsichere Interpretation des Infiniband-Monitorings erfordern einiges an Detail-Know-how.
Infiniband stellt den derzeit einzigen nicht-proprietären offenen Hochgeschwindigkeitsstandard dar. Eine Infiniband-Infrastruktur ist aus denselben grundlegenden Komponenten aufgebaut wie herkömmliche Netze: IB-Host-Channel-Adapter (HCAs) in den beteiligten Servern, dazwischen IB-Kabel aus Kupfer oder Glasfaser und im Allgemeinen auch IB-Switches oder Router. Die Preise beginnen bei unter 500 Euro für HCAs, unter 3.500 Euro für einen 12-Port-Managed-Switch und unter 100 Euro für fünf Meter Kupferkabel. Viele IB-Switches bieten eine Besonderheit: Damit die Infiniband-Welt keine Insel bleibt, verfügen sie über die Möglichkeit, über ein Splitter-Kabel einen 40G-Port in einen oder mehrere 10G-Ports für den Übergang ins restliche Unternehmensnetzwerk bereitzustellen. Mit einem 12-Port-Switch sind so 48x10G-Ports realisierbar.
Trotz gesunkener Preise wird kaum eine Organisation mehr als den Server-Raum mit Infiniband ausstatten wollen, obwohl das technisch in einer geswitchten Infrastruktur mit Kabellängen von bis zu über 100 Metern durchaus möglich wäre. Zum Betrieb der HCAs in den Servern bedarf es passender Treiber, die vom Betriebssystem abhängen. Aufgrund der Offenheit und Unabhängigkeit des Standards sind diese für alle gängigen Systeme verfügbar, unter anderem für Windows-Server- und -Client-Versionen, alle großen Linux-Distributionen wie Red Hat und Suse sowie für die Hypervisoren VMware ESXi, Microsoft Hyper-V und Citrix/Xen.
Der dominierende Hersteller von IB-Baugruppen ist Mellanox, ein Unternehmen, das auch alle Varianten von fertigen Komponenten anbietet. Komponenten stellen aber auch diverse andere Integratoren her, wie beispielsweise Intel/Qlogic oder Oracle/Sun. Auch weitere große Hersteller setzen mit ihren Produkten auf Infiniband, etwa Cisco bei Server-Switches der 3000er- und 7000er-Serie. Andere Anbieter tun innerhalb ihrer Black-Boxen dasselbe, allerdings ohne dabei Infiniband beim Namen zu nennen. Trotz der Offenheit des Standards ist jedoch nicht zu leugnen, dass die Schar der Anbieter von Infiniband-Komponenten derzeit noch überschaubar ist. Dies liegt an der Abgeschlossenheit des High-Performance-Computing-Bereichs, in dem sich Infiniband bis vor wenigen Jahren ausschließlich entwickelt hat. Es steht zu erwarten, dass mit den gesunkenen Preisen und wachsender Verbreitung auch die Anbieter in absehbarer Zeit deutlich zahlreicher werden.
Vorteile und Einschränkungen
So ergeben sich im Vergleich zu herkömmlichen Verkabelungslösungen im Server-Bereich eine ganze Reihe von Vorteilen: Neben deutlich höheren und skalierbaren Übertragungsbandbreiten bei gleichzeitig geringerer Latenz und Host-Belastung stellt Infiniband durch die hohe Produktreife im Betrieb erstklassige Zuverlässigkeit und Wartbarkeit sicher. Die Möglichkeit, Infiniband-Verbindungen bedarfsgerecht sowohl als Netzwerk- wie auch als Datenverbindung zu konfigurieren, birgt das Potenzial, sowohl Ethernet als auch Fibre Channel wie auch iSCSI bei der Server-Vernetzung nicht nur zu ergänzen, sondern vollständig abzulösen. Man spricht in diesem Zusammenhang von Netzwerkkonvergenz. Daraus wird in vielen Fällen nicht nur eine Leistungssteigerung resultieren, sondern gleichzeitig eine Komplexitätsreduktion der notwendigen Netzstrukturen. Zum einen sinkt aufgrund der Bandbreitenvorteile tendenziell die Anzahl der notwendigen physischen Verbindungen, zum anderen lassen sich alle Anwendungsfälle mit derselben Technik abdecken. Dies führt dazu, dass auch die Kosten für Aufbau und Betrieb eines IB-Netzes häufig niedriger ausfallen als bei den Konkurrenztechniken: Eine geringere Anzahl an Komponenten, weniger stark diversifiziertes Fachwissen innerhalb der Betriebsgruppen und zu guter Letzt die Herstellerunabhängigkeit und Offenheit des Standards mit entsprechend konkurrenzfähigen Komponenten- und Lizenzmodellen machen dies möglich.
Wo so viel Licht ist, muss es naturgemäß auch Schatten geben. So ist Infiniband zum heutigen Stand klar auf die Vernetzung innerhalb von Server-Räumen und Rechenzentren ausgelegt. Gebäudeübergreifende (Campus-)Netzwerke sind von einem bis zu 80 Kilometer möglich. Für die Vernetzung hin zu den Clients ist Ethernet nach wie vor unersetzlich. Auch wenn der Übergang von den IB-Komponenten leicht ausfällt, ist doch auch in Zukunft entsprechendes Ethernet-Equipment und Know-how für die IT-Organisationen unerlässlich. Auch bei der Überbrückung weiter Entfernungen ist Infiniband nicht immer erste Wahl: Über Glasfaser lassen sich derzeit WAN-Strecken mit bis zu 1.600 Kilometer überbrücken, die Reichweite von Ethernet bleibt jedoch unübertroffen.
Anwendungsbeispiele
Bei der Verbindung räumlich naher Geräte kann Infiniband jedoch seine Stärken ausspielen. Abseits der Supercomputerwelt stellen daher applikationsspezifische Server-Koppelungen, Virtualisierungsplattformen, Storage-Lösungen sowie Backup-Anbindungen typische Anwendungsszenarien für Infiniband dar. Gerade im Storage-Umfeld lassen sich so nicht nur Leistungsverbesserungen erzielen, sondern im Vergleich zu den proprietären Lizenzmodellen großer Anbieter oft auch massive Preisvorteile. Entscheidend dafür ist der Einsatz von Software-Defined-Storage-Lösungen, mit denen der Anwender unabhängig von einzelnen Herstellern wird, während Infiniband die notwendige breitbandige Verbindung zwischen den eingesetzten Standardkomponenten bereitstellt.
Ein- und Umstieg
Die Entscheidung für oder gegen Infiniband ist nicht schwarz-weiß. IB-Komponenten koexistieren ohne Weiteres mit herkömmlicher Netzwerktechnik und lassen sich leicht integrieren. Daher sollte eine IT-Organisation im Bedarfsfalle die Umstellung Schritt für Schritt durchführten. Gerade zu Beginn sollten wenn möglich zuerst zusätzliche oder ergänzende Anwendungen mit IB realisiert werden, um das notwendige Know-how bei den Administratoren aufzubauen. Die Umstellung der Bestandssysteme, vor allem der geschäftskritischen Anwendungen, sollte erst danach erfolgen. Alle Schritte sollten von externem Expertenrat begleitet und abgesichert sein. Dadurch lassen sich Risiken für den IT-Betrieb minimieren und neue Strukturen von vorneherein optimal gestalten.
Fazit: Erschwingliche Alternative
Mit seinen technischen Eigenschaften stellt sich Infiniband als die derzeit beste Option für die Server-Vernetzung dar und ist aufgrund des massiven Preisverfalls auch für mittelständische Unternehmen erschwinglich.
Ähnlich leistungsfähige Strukturen bieten die bekannten Hersteller meist nur als proprietäre Lösung zu ungleich höheren Kosten an. Während 100GbE und 32Gb FC noch in der Phase der Ankündigungen und Marktvorbereitung stecken, ist Infiniband ausgreift, stabil und verfügbar. Bereits seit Jahren nicht nur im High-Performance-Computing-Bereich etabliert, garantieren Leistungsfähigkeit und Skalierbarkeit zusammen mit Offenheit, Herstellerunabhängigkeit und Interoperabilität des Standards Investitionssicherheit für Anwender, die an die Grenzen der herkömmlichen Technik stoßen. Unternehmen sollten den Ein- und Umstieg zu Infiniband schrittweise vollziehen, am besten unter Einbeziehung des notwendigen Expertenwissens.
Lesen Sie mehr zum Thema
