Top-of-Rack- oder Any-to-Any-Verkabelung
Die richtige RZ-Architektur finden
Aufgrund immer schneller wachsender Datenraten und zunehmender Konvergenz ist die Trennung von Funktionsbereichen im Rechenzentrum in Gebäudedienste, mechanische und elektrische Anlagen, Kühlung und IT-Geräte plötzlich zu einem großen Problem geworden. Jeder dieser Bereiche hat seine eigene Zielsetzung und beeinflusst dabei andere Bereiche maßgeblich. Es ist deshalb an der Zeit, das Rechenzentrum einer kritischen Betrachtung zu unterziehen - einer Betrachtung aus strategischer, netzwerktopologischer Sicht.Eine schier unersättliche Gier nach immer höheren Übertragungsraten treibt die Anforderungen an die Datenverarbeitung und den Speicherplatz endlos in die Höhe. Hinzu kommt, dass der Strombedarf von ursprünglich ein paar Hundert Watt pro Schrank auf jetzt 5,5 kW im internationalen Durchschnitt angestiegen ist und weiter in Richtung 20 kW pro Schrank steigt, während gleichzeitig die Stromkosten in die Höhe schnellen. In diesem Wettlauf wird zusätzlich auch Stellfläche zu einer immer knapperen Ressource. Die Situation verschärft sich noch durch die enorme Wärmemenge, die aufgrund der hohen Leistungsaufnahme im RZ entsteht und abgeführt werden muss und damit die Kühlsysteme aufs Äußerste belastet.
Unaufhörlich steigen auch die Anforderungen an die Netzwerkleistung. IP- und Speicherapplikationen entwickeln sich immer schneller, verschlingen mehr und mehr Bandbreite und verkürzen somit den Lebenszyklus von Netzwerkapplikationen weiter. Dies stellt Moores Gesetz auf eine harte Probe. Es zeigt sich, dass sich das Datenaufkommen im RZ jedes Jahr verdoppelt. Das bedeutet wiederum: Je länger ein Verkabelungssystem diesen steigenden Leistungsanforderungen gewachsen ist, umso kosteneffektiver wird es. Ein Schlüsselfaktor für die Wahl der Netzwerkarchitektur ist folglich die Total Cost of Ownership (TCO).
Blick in die Zukunft schafft Investitionssicherheit
Es überrascht also nicht, dass die Normungs- und Industriegremien wie ISO/IEC, EIA/TIA, die Data Center Alliance (DCA) und BICSI eine Verkabelungsinfrastruktur für das RZ empfehlen, die ausreichend Leistungsreserven für zukünftiges Wachstum besitzt. Empfohlen sind 10 GBit/s oder mehr, um eine möglichst lange Lebensdauer zu garantieren. Ziel ist es, die fest verlegte Verkabelung während der Betriebsdauer des RZs nicht wieder antasten zu müssen (oder zumindest diesen spezifischen Bereich des RZs) und damit mindestens zwei bis drei Generationen von Aktivkomponenten in den Racks zu unterstützen.
Sind diese Prämissen bei der Planung und Installation einer Verkabelung nicht genügend berücksichtigt, kann das zu erheblichen Flexibilitätseinbußen führen. Beispielsweise wenn es darum geht, neues leistungsfähiges Equipment entfernt von Hotspots und nahe an den Kühlsystemen zu platzieren. In diesem Fall bleibt nur die aufwändige Verlegung von Kabeln in unmittelbarer Nähe der laufenden Server und Switches, was vielfach mit einer Service-Unterbrechung verbunden ist. Zweifelsohne ist dies keine empfehlenswerte Methode.
Zudem ist es ein trauriger Fakt, dass zwar die Erstinstallation im Allgemeinen hervorragend ist, die nachfolgenden Moves, Adds and Changes (MACs) meist jedoch recht stiefmütterlich ausgeführt werden und einen regelrechten Kabelsalat hinterlassen. Man braucht weder einen Fachabschluss noch einen Taschenrechner, um sich auszurechnen, dass derart nachlässig durchgeführte Arbeiten die zuverlässige Funktion und zukünftige Verfügbarkeit beeinträchtigen.
Wer trifft die Topologieentscheidung?
Was in der Vergangenheit ein erfolgreiches und relativ unkompliziertes Miteinander der verschiedenen Funktionsbereiche im RZ war, ist nun zu einem höchst sensiblen Gleichgewicht geworden. Jede einseitige Veränderung kann dieses Gleichgewicht empfindlich stören und andere Funktionsbereiche massiv beeinflussen. Dies wiederum treibt die Betriebskosten (OPEX) über den Lebenszyklus in die Höhe, die dann unter Umständen um Größenordnungen über denen liegen, die bei einer sorgfältig geplanten und mit allen Bereichen abgestimmten Vorgehensweise entstanden wären.
Warum ist die physische Ebene für RZ-Verantwortliche so wichtig? Ganz einfach: Die Entscheidung für eine bestimmte Netzwerkarchitektur kann über kurz oder lang ausschlaggebend dafür sein, wo sich beispielsweise ein neues leistungsfähiges Gerät mit hoher Wärmeabgabe aufstellen lässt und wo nicht. Ist die notwendige Flexibilität nicht gegeben, hat dies oft bittere Folgen für die Kosten des Kühlsystems, die so hoch sein können wie jene für das IT-Equipment selbst.
Nicht weniger entscheidend ist die gewählte Architektur für eine bequeme Verwaltung des IT-Equipments und eine korrekte Dokumentation - ein äußerst wichtiger Aspekt, insbesondere für die Fehlersuche bei unerwarteten Ausfällen.
Auf lange Sicht ist die Gefahr massiver Folgekosten und Flexibilitätseinbußen groß, wenn die Netzwerkarchitektur und damit die Verkabelungstopologie für den gegenwärtigen und zukünftigen RZ-Bedarf nicht optimal gewählt sind. Eine Allround-Lösung gibt es längst nicht mehr.
Weitsichtig planen
Es steht außer Frage, dass die physische Ebene einen entscheidenden Einfluss auf die Leistungsfähigkeit des RZ hat. Doch welche Auswahlmöglichkeiten gibt es? Die Punkt-zu-Punkt- oder Direktverkabelung geht mit schwerwiegenden Einschränkungen einher. Es bleibt kaum Flexibilität für späteres Wachstum. Was noch entscheidender ist: Es gibt eine Flexibilität, um Ersatzgeräte anzuschließen, wenn Geräte ausfallen. Eine Punkt-zu-Punkt-Verkabelung kommt vor allem bei Top-of-Rack- (ToR) oder End-of-Row-Topologien (EoR) zum Einsatz.
Viele Hersteller von Aktivkomponenten favorisieren die ToR-Topologie, bei denen die Switches oben im Rack positioniert sind. Das Argument dafür basiert darauf, das Kupfer im Rack zu lassen und den aggregierten Traffic von den ToR-Switches über Glasfaser zu einem Core-Switch zu übertragen. Befürworter von ToR führen ins Feld, dass damit Kupferkabel als die sich am schnellsten verändernden Komponenten isoliert sind und sich dann innerhalb des Schranks bei Bedarf aufrüsten lassen. Dies ermöglicht allerdings eher die Nutzung von Infiniband als RJ-45 und Ethernet in den Server-Schränken.
Dieses Argument ist nur dort stichhaltig, wo der Betreiber im RZ noch die Kategorie 5e/Klasse D oder Kategorie 6/Klasse E mit 1 GBit/s nutzen kann. Heute legen alle europäischen, amerikanischen und internationalen Normen für das RZ ergänzt durch Empfehlungen der DCA und anderer Gremien fest, dass Kupferverbindungstechnik im RZ mindestens der Kategorie 6A/Klasse EA mit 10 GBit/s entsprechen muss. Insofern erübrigt sich die Notwendigkeit der Aufrüstung von Kupfer in den Schränken auf höhere Datenraten.
Glasfaser unausweichlich?
Für Geschwindigkeiten über 10 GBit/s, also 40 und 100 GBit/s, nimmt man an, dass der Übergang zu Glasfaser ohnehin unausweichlich ist. Dies ist bei einer Erstinstallation kosteneffektiv und ohne viel Aufwand machbar, und der Betreiber ist für die Zukunft gerüstet.
Allerdings arbeiten die Normungsgremien gegenwärtig bereits an Highspeed Interconnects aus Kupfer und Twisted-Pair Anwendungen mit höherer Geschwindigkeit, sodass Kupfer ebenfalls sorgfältig in Betracht zu ziehen ist.
Das ToR-Argument scheint jedoch an der Stelle zu scheitern, wo zwei Switches (Netzwerk A und Netzwerk B für Redundanz) oben in jedem Rack mit Aktivtechnik installiert sind, und zwar anstelle von ein oder zwei passiven Glasfaser-/Kupfer-Patch-Feldern. Dies führt zu erheblichen Mehrkosten einschließlich Arbeitskosten im Laufe des Lebenszyklus, die vorher nicht in den Kostenvergleich der Capex eingegangen sind. Beispielsweise kommen die Stromkosten für all diese zusätzlichen Switches über den Lebenszyklus hinzu, außerdem eine Vielzahl an ungenutzten Ports, die dennoch Strom verbrauchen - alles im Vergleich zu einem maximal ausgelasteten zentralen Switch. Hinzu kommen weiter die Wartungskosten für die Switches und die unvermeidliche Service-Unterbrechung, wenn diese von Zeit zu Zeit ausfallen. Demgegenüber verbraucht eine passive Verkabelung keinen Strom und hat eine MTBF (Mean Time Between Failures), die um Größenordnungen besser ist.
Die strukturierte "Any to All"-Verkabelung
Die Vertreter der strukturierten Verkabelung warten basierend auf den RZ-Standards mit verschiedenen Varianten der strukturierten A2A-Verkabelung auf. Das zugrunde liegende Konzept ist recht einfach. Kupfer- und Glasfaser-Patch-Felder sind in jedem Schrank installiert, die den Kupfer- und Glasfaser-Patch-Feldern in einem zentralen Patch-Bereich entsprechen. Alle Glasfasern sind zu einem Bereich der Schränke/Racks in demselben zentralen Patch-Bereich geführt. Dies ermöglicht es, jedes beliebige Gerät zu installieren und mit jedem anderen beliebigen Gerät über ein Kupfer- oder Glasfaser-Patch-Kabel zu verbinden.
Der fest verlegte Teil des Channels bleibt dabei unverändert. Kabelführungen und Bereiche planen die Techniker zuvor, um die Verkabelung ordnungsgemäß unterzubringen: Diese Methode erfordert bei der Erstinstallation eventuell mehr Verkabelung, bringt jedoch über den Lebenszyklus eines RZ erhebliche Vorteile. Die Übertragungskanäle sind passiv und verursachen keine wiederkehrenden Wartungskosten, wie es beim zusätzlichen Einsatz von Aktivkomponenten der Fall ist. Bei sachgemäßer Planung leisten strukturierte Verkabelungssysteme über mindestens zehn Jahre gute Dienste und unterstützen zwei bis drei Generationen von Aktivkomponenten.
Beispiel aus der Praxis
Der Unterschied lässt sich am besten anhand einer Kostengegenüberstellung verdeutlichen, wie sie die Tabelle 1 (Seite 39) zeigt. Fairerweise sei dazu gesagt, dass dieses Beispiel besonders eindrucksvoll zeigt, um wie viel preiswerter eine A2A-Verkabelung gegenüber einer ToR-Verkabelung sein kann. Natürlich gibt es hin und wieder Einsatzvarianten, bei denen sich ToR als kostengünstiger oder geeigneter erweist.
Es gibt nicht die einzige Lösung, die für alles und jeden geeignet ist. Die folgende Fallstudie in der Tabelle basiert auf zwölf Servern pro Schrank und zeigt den Kostenunterschied zwischen der A2A-Verkabelung in den RZ-Bereichen und 48-Port-Top-of-Rack-Switches für Primär- und Sekundärnetze in jedem Schrank.
Fazit
Die Kernaussage ist, dass es keine Allround-Lösung für die RZ-Architektur gibt, die gleichzeitig für alles und jeden passt. Aus genau diesem Grund ist es für die Planer von Rechenzentren so entscheidend, vorab eine vollständige Kostenanalyse der TCO für alle möglichen Topologien durchzuführen, zusammen mit der Analyse der entsprechenden Vor- und Nachteile hinsichtlich der beabsichtigten Nutzung im RZ. Bei der ToR-Topologie sind während der Erstinstallation weniger Kabel nötig. Diese wird jedoch mit Stromverbrauch und Equipment-Upgrade schnell teurer, während die strukturierte A2A-Verkabelung bei der Erstinstallation durchaus teurer ausfallen kann, dafür in den Betriebskosten deutlich günstiger ist und für die Zukunft weitaus mehr Flexibilität bietet.
Kombination von Topologien ist möglich
Die Möglichkeit, Topologien zu kombinieren, sollte ebenso ins Kalkül eingehen. Zum Beispiel gilt dies für ToR, wenn Infiniband-Konnektivität gebraucht wird und eine A2A-Verkabelung in den anderen Bereichen. Die Planer sollten alle Varianten eingangs sorgfältig beleuchten und durchrechnen (sowohl Erstinvestitionskosten als auch TCO), denn sonst könnten die Kosten unvertretbar hoch ausfallen oder die Flexibilität auf der Strecke bleiben.
Jeder RZ-Verantwortliche sollte mutig genug sein, über den Tellerrand seines eigenen spezifischen Funktionsbereiches zu schauen. Nur durch eine strategische Zusammenarbeit mit dem Ziel, den Anforderungen des Standorts insgesamt gerecht zu werden, kann eine Topologie entstehen, die den größten Gesamtnutzen bringt und für eine längere Zeitdauer den wachsenden Anforderungen Stand hält.
Lesen Sie mehr zum Thema
