Vor- und Nachteile von Topologien im Rechenzentrum
Das Ökosystem RZ im Gleichgewicht
Die Entscheidungsprozesse im Rechenzentrum sind im Laufe der Zeit wesentlich komplexer geworden, und die Verantwortlichkeiten sind dabei immer stärker verteilt. Daher ist die Versuchung groß, Entscheidungen für den jeweiligen Bereich im Alleingang zu treffen. Dies allerdings kann massive Konsequenzen für das RZ als Ganzes haben. Um so etwas zu verhindern, ist das RZ als Ökosystem zu betrachten, das nur dann gut funktioniert, wenn die einzelnen Bestandteile sorgfältig aufeinander abgestimmt sind.Vor einigen Jahren eroberten Top-of-Rack-Switches (ToR) das RZ. Sie versprachen Erleichterung für überfüllte Kabeltrassen und Einsparungen bei der Verkabelung. Für viele RZs ging diese Rechnung jedoch nicht auf. Betreiber von RZs, in denen bereits eine 10GBase-T-fähige strukturierte Verkabelung verlegt war, kritisierten alsbald, dass es keine kostengünstigen Switches auf dem Markt gab, die es ihnen ermöglichte, die Vorteile dieser Investition zu nutzen. Stattdessen war das verfügbare Equipment preisintensiv und energiehungrig. Viele Komponentenhersteller empfahlen daher eine Aufrüstung auf passende 10GBase-T-Komponenten, um die kürzeren, proprietären Punkt-zu-Punkt-Twinax-Kabel mit ToR-Topologie verwenden zu können. Damit versprachen sie eine Reduzierung der Kosten für die strukturierte Verkabelung. Die Verkabelungskosten reduzierten sich tatsächlich, allerdings erhöhten sich gleichzeitig die Kosten für das Equipment, die Wartung und die Energie, sodass diese im Endeffekt erheblich höher lagen als die an der Verkabelung erzielten Einsparungen. Dieses Beispiel zeigt deutlich, wie wichtig eine ausgewogene, ganzheitliche Herangehensweise ist, die die Auswirkungen jeder einzelnen Entscheidung auf die TCO im gesamten RZ-Ökosystem berücksichtigt. Strombegrenzung Ein vordergründiger Aspekt bei der Geräteplanung für ein RZ sollte die Strombegrenzung pro Rack sein. In den vergangenen Jahren haben sich die meisten IT-Manager damit auseinandergesetzt und den Stromverbrauch senken müssen. Im Rahmen dieser Entwicklung gewinnt Virtualisierung zunehmend an Bedeutung. Sie setzt zu einem gewissen Grad Energieressourcen frei. Dennoch ändert dies nichts an der Tatsache, dass der Stromverbrauch die Menge an Equipment, das in Schrank oder Rack installiert werden kann, klar begrenzt. Ein weiterer zu verzeichnender Trend geht zur Anmietung von Colocation-Flächen. Doch auch hier sind zumeist Beschränkungen beim Energieverbrauch vorhanden. Sobald ein genauer Überblick über die Energiemenge pro Schrank existiert, lässt sich die Anzahl der Server und Switches sowie des weiteren Equipments aufschlüsseln, das in einem gegebenen Schrank einzubauen ist. Kühlung und Lüftung In engem Zusammenhang mit dem Stromverbrauch steht die Kühlung. Es ist äußerst wichtig, einen Überblick darüber zu haben, wie die Kühlung im Raum und im Schrank funktioniert und die Geräteleistung beeinflusst. Hersteller von Aktivkomponenten können Angaben zur Leistungsaufnahme ihrer Geräte machen. Eine wesentliche Information fehlt in den meisten RZ jedoch - der Luftaustausch im Ökosystem RZ als Ganzes. In vielen Fällen ist man besser beraten, stark Wärme erzeugende Geräte im Raum zu verteilen, anstatt diese an einem Punkt zu konzentrieren und damit einen Hotspot zu schaffen, der zusätzliche Kühlung erfordert. Anwendungen unter die Lupe nehmen Selbstverständlich gibt jeder Bereich im RZ sein Bestes für das Unternehmen. Dennoch ist kein Gerät im Ökosystem wichtiger als das andere. Bei der Bestückung der Racks mit Aktivtechnik gilt es, mit besonderer Sorgfalt vorzugehen. Anstatt das Neueste und Teuerste zu wählen, sollten vorrangig die benötigten Dienste und der ROI abgesichert sein. Wenn Unternehmen sich beispielsweise Server-Equipment anschaffen, sind die Auswahlkriterien relativ eindeutig: Rechenleistung, Gesamtleistung, erforderliche Netzwerkverbindungen, Management-Features, I/O-Geschwindigkeit etc. Daneben sind die Anwendungen ausschlaggebend, die darauf laufen sollen, außerdem welches Betriebssystem und welchen Support diese benötigen. Früher erfolgten Server-bezogene Entscheidungen auf Grundlage der Empfehlung des Entwicklers der jeweiligen Anwendung. Durch offene Systeme hat sich dies geändert. Dennoch gibt es Anwendungen, die "anwendungsfreundlicher" sind, wenn sie auf bestimmten Hardwaretypen laufen. Anwendungsfreundlicher bedeutet in diesem Kontext, dass die Anwendungsentwickler ihre Software auf bestimmten Plattformen getestet haben und es daher einfacher ist, sie auf dieser Plattform zu betreiben. Ebenso haben sich Input/Output und Speicherung in den letzten Jahren verändert: Fibre Channel ist jetzt eine 16 Gbit/s-Anwendung, die die im Ethernet verfügbare Geschwindigkeit übersteigt (zum Zeitpunkt der Verfassung des Artikels). Fibre Channel existiert bereits recht lange und ist eine bewährte Technik, die sich durch einen geringen Overhead und hohe Stabilität auszeichnet. Fibre Channel over Ethernet (FCoE) verkaufen die Anbieter ebenso mit dem Vorzeichen der Einsparung an Verkabelung. Bei näherer Betrachtung der Anforderungen zur Implementierung dieser Technik wird ersichtlich, dass diese oft mit einer Umkonfigurierung der Switches und Server einhergeht. Im Prinzip wird dabei ein Paket mit recht geringem Overhead in ein Paket mit größerem Overhead gepackt und ein Netzprotokoll genutzt, das ein erneutes Senden gestattet. Eine Lösung, die mit dieser Anwendung verbundenen möglichen Probleme zu beseitigen, ist eine so genannte Netzwerkglättung und die Datenübertragung auf Schicht 2 anstelle von Schicht 3. Platzierung der Switches In Hinblick auf das Switching hat sich in relativ kurzer Zeit viel verändert. Für ToR-Switches machen die Hersteller aktuell viel Werbung. Das Konzept ist, Switches in die oberste Höheneinheit im Schrank zu platzieren, diese mit einem Aggregation-Switch zu verbinden und dann mit dem Netzwerkkern. Eine Analyse der Verkehrsmuster im RZ zeigt, dass der Server-zu-Server-Verkehr vorrangig ein Ost-West-Muster aufweist. Das heißt, der Datenverkehr läuft vornehmlich innerhalb des RZ ab und verlässt es nicht. Entscheidend ist deshalb, die Anzahl der Hops zu minimieren. ToR-Switching kann durchaus dort sinnvoll sein, wo noch die Kategorie 5e oder Kategorie 6 mit Datenraten von 1 GBit/s im RZ zulässig ist. Alle europäischen, amerikanischen und internationalen Standards für RZ sowie die Data Center Alliance und andere empfehlen bei der Kupferverkabelung im RZ mindestens die Kategorie 6A/Klasse EA, die fähig sein sollte 10 GBit/s zu unterstützen. Geschwindigkeits-Upgrades mit Kupferkabeln im Schrank sind dann verzichtbar. Für Datenraten über 10 GBit/s, etwa 40Gbit/s und 100 GBit/s, empfehlen viele Experten allgemein Glasfaser, die sich bequem und kosteneffektiv bei der Erstinstallation für eine spätere Verwendung verlegen lässt. Allerdings arbeiten die Normungsgremien gegenwärtig eifrig an der nächsten Generation der Twisted-Pair-Verkabelung. Daher ist auch Kupfer sorgfältig in Betracht zu ziehen. Es sollte sichergestellt sein, dass die Menge der Switches von der Anzahl der Server-Ports bestimmt wird, die eine Netzwerkanbindung benötigen, und nicht von der Anzahl an Racks/Schränken im RZ. Ungenutzte Ports kosten - und dies nicht nur bei den Anschaffungskosten. Sie verbrauchen ständig Strom (selbst im Ruhemodus) und produzieren Jahr für Jahr Wartungskosten. Die neuen 10GBase-T-Switches zeichnen sich durch eine geringe Leistungsaufnahme und geringe Latenz aus und bieten eine größere Reichweite im Vergleich zu den vorherigen Direct-Attach-Kupferkabeln. Zudem sind sie erheblich preiswerter als Glasfaser-Switches. Bei Direct-Attach-Kupferkabeln auf SFP+-Basis zählt das Kabel vielfach zur Netzwerkinvestition. ToR-Switches sind mit dem Versprechen auf dem Markt, die Kosten für die strukturierte Verkabelung zu reduzieren, doch in Wahrheit findet nur eine Verschiebung zum Kabelverkauf statt. Außerdem: Für Direct-Attach-Kabel gibt es gewöhnlich eine 90-tägige Garantie, während die meisten Hersteller für einen strukturierten Verkabelungskanal eine 20-jährige Garantie gewähren. Wichtig zu wissen ist auch, dass ein strukturierter Verkabelungskanal mit RJ45-Schnittstelle interoperabel und abwärtskompatibel ist - im Gegensatz zu vielen Direct-Attach-Kabeln, die nur mit bestimmten Switches und Server-NICs arbeiten. Sobald Geräte von einem anderen Hersteller kommen, sind diese proprietären Kabel auszutauschen. Der bei weitem kostspieligste Faktor beim ToR-Switching ist die Menge der ungenutzten Ports. Der Stromverbrauch ist ein limitierender Faktor bezüglich der möglichen Anzahl von Geräten im Rack. Mit einem internationalen Durchschnitt von rund 6 kW pro Rack begrenzt sich die Server-Zahl im RZ auf 14. Sind 48-Port-Switches installiert (jeweils ein Primär- und ein Sekundär-Switch), kommen auf jeden Switch 34 ungenutzte Ports. Sollen diese ebenfalls genutzt werden, muss der Betreiber Punkt-zu-Punkt Kabel mit bis zu sieben Meter Länge zu anderen Schränken ziehen. Jeder, der schon einmal RZ gesehen hat, das mit Punkt-zu-Punkt-Kabeln bestückt ist, wird bestätigen, dass es mit der Zeit nahezu unmöglich ist, eine solche Umgebung zu verwalten. Ironischerweise sollte aber gerade diese Verkabelungsvariante das Kabelwirrwarr beseitigen. Stattdessen erreicht sie genau das Gegenteil, sobald es darum geht, alle Ports zu verwenden. Bei einer ToR-Topologie kann sich die Anzahl nicht ungenutzter Ports schnell weiter erhöhen. In diesem Fall ist die Investition in weitere Switches unvermeidlich. Damit verbunden sind weitere Betriebs- und Wartungskosten und noch mehr Stromverbrauch - auch durch die ungenutzten Ports. Schließlich übersteigen die Kosten bei Weitem alle Einsparungen, die sich durch eine Reduzierung der strukturierten Verkabelung erzielen lassen. Flexibilität im Einsatz Seit geraumer Zeit befürworten die Verfechter der strukturierten Verkabelung in Einklang mit den RZ-Standards verschiedene Formen einer strukturierten Any-to-All-Verkabelung (A2A). Das Konzept von A2A ist recht einfach: Kupfer- und Glasfaser-Patch-Felder sind in jedem Schrank installiert und haben eine Eins-zu-Eins-Entsprechung mit den in einem zentralen Patch-Bereich installierten Kupfer- und Glasfaser-Patch-Feldern. Vom Schrank-/Rack-Bereich laufen alle Kabel in diesen zentralen Patch-Bereich. Dieser Ansatz bietet die größte Flexibilität, da sich jedes beliebige Gerät einbauen lässt und es mit jedem anderen Gerät über ein Kupfer- oder Glasfaser-Patch-Kabel verbunden werden kann. Dabei bleibt der fest verlegte Anteil des Übertragungskanals unverändert. Verlegewege und -bereiche sind vorab geplant, und die Verkabelung ist sauber untergebracht. Zwar sind bei dieser Methode mitunter mehr Kabel während der Erstinstallation nötig, dennoch bringt sie über den Lebenszyklus des RZ hinweg erhebliche Vorteile. Diese Channel sind passiv. Es fallen keine regelmäßigen Wartungskosten an, wie es beim zusätzlichen Einsatz von Aktivtechnik der Fall ist. Bei sorgfältiger Planung leisten strukturierte Verkabelungssysteme über mindestens zehn Jahre gute Dienste und unterstützen zwei bis drei Generationen von aktiven Komponenten. Ein konkretes Beispiel Eine strukturierte Verkabelung und zentrale Switches sparen signifikante Summen beim Equipment, das der Betreiber dann vollständig nutzen kann. In einem kürzlich angestellten Vergleich beliefen sich die Kosten für ToR-Switching in einem RZ mit 720 Racks auf über 33 Millionen Dollar. Die gleiche Funktionalität mit strukturierter Verkabelung und 10GBase-T, was längere Übertragungsstrecken und eine bessere Ausnutzung ermöglicht, kostete rund 5,2 Millionen Dollar. Beide Zahlenwerte gelten ohne Einrechnung der Software. Fazit Um eine ausgewogene Sichtweise auf das RZ zu bekommen, ist es ratsam stets zunächst alle Fakten aus einer übergeordneten Perspektive zu betrachten und die vorhandenen, von den Industrienormen empfohlenen Verkabelungsoptionen zu durchdenken. In einem Ökosystem wirkt sich ein einzelner Faktor immer auf alle anderen aus. Wesentlich ist daher, die Gesamtperformance und den ROI vor Augen zu haben, um Entscheidungen zu vermeiden, die zwar kurzfristig Vorteile bringen, doch langfristig gesehen unflexibel und teuer sind.
Lesen Sie mehr zum Thema
