Kostenanalysen für das Rechenzentrum
Strukturierte Verkabelung oder Top-of-Rack Switching
Die IT stellt stetig steigende Anforderungen an ein Rechenzentrum und verursacht damit zusätzliche Kosten. Neue und schnellere Anwendungen benötigen höhere Bandbreiten und eine leistungsstärkere Verkabelung. Die Bewältigung noch größerer Datenmengen benötigt zusätzliches Sever- und Switch-Equipment, und damit einher geht ein gesteigerter Stromverbrauch für Betrieb und Kühlung der Geräte. Die Kostenkontrolle im RZ wird zum zentralen Thema.Kostenkontrolle bedeutet jedoch genauso eine sorgfältige Analyse der verschiedenen Verkabelungskonfigurationen, die im RZ zum Einsatz kommen können. Nicht jede ist dabei für alle RZs gleichermaßen geeignet. Vor- und Nachteile jeder Lösung sind im Hinblick auf die spezifischen Bedürfnisse zu prüfen. Bei der Evaluation einer Top-of-Rack-Verkabelung (ToR) im Vergleich zu einer strukturierten Variante gilt es beispielsweise, Aspekte wie Kabel-Management, Skalierbarkeit und Upgrades zu bedenken. Wie wirken sich Top-of-Rack und strukturierte Verkabelung aber auf die Kostenkontrolle im RZ aus? Die folgenden Überlegungen untersuchen die Frage der Verkabelung aus der Kostenperspektive und analysieren dabei unter anderem die Auswirkung der gewählten Topologie auf Verkabelungs- und Wartungskosten, Port-Auslastung, Stromverbrauch und Kühlung. Bei einer strukturierten Verkabelung dienen Verteiler- oder Patch-Bereiche dazu, flexible standardbasierende Verbindungen zwischen dem Equipment (etwa von Switch zu Server, Server zu Speichergeräten und Switch zu Switch) zu schaffen. Patch-Felder sind eins-zu-eins mit den Switch-Ports und Server-Ports verbunden und haben über eine fest verlegte Verkabelung (Permanent Link) die gleiche Entsprechung in einem oder mehreren zentralen Verteiler- oder Patch-Bereichen. Diese Bereiche können sich am Ende oder in der Mitte einer Schrankreihe befinden und bilden eine "Any-to-All"-Verkabelungskonfiguration, die es ermöglicht, jeden beliebigen Switch-Port mit jedem beliebigen Geräte-Port zu verbinden. Bei einer ToR-Konfiguration sind kleinere Edge Switches (1 bis 2 HE) auf der obersten Schrankposition platziert und über kurze vorkonfektionierte Small-Form-Factor-Pluggable-Twinaxialkabel (zum Beispiel SFP+ und QSFP), aktive optische Kabel (AOC) oder modulare RJ45-Patch-Kabel direkt mit den Servern im Rack verbunden. Bei diesen so genannten Punkt-zu-Punkt Verbindungen erübrigt sich der zentrale Patch-Bereich. Beide Verkabelungstopologien haben sowohl Vorteile als auch Nachteile. So ist bei ToR beispielsweise die Anzahl an Switches erheblich größer, während der Umfang der benötigten strukturierten Verkabelung anfangs geringer ist. Beim Für und Wider ist zu beachten, dass Umbauten, die so genannten Moves, Adds und Changes (MACc), in einer ToR-Konfiguration weitaus komplizierter und zeitaufwändiger und Veränderungen auf jeweils einzelne Racks oder Schränke beschränkt sind. Bei einem zentralen Patch-Bereich hingegen lassen sich die Patch-Kabel mühelos in jeder Weise umstecken. Welche Kostenbetrachtungen sollten Betreiber nun vor der Entscheidung für eine strukturierte Verkabelung oder ToR anstellen? Als erste Kostenbetrachtung ist an diesem Punkt die Wahl des Verkabelungssystems und Auswirkung auf Wartungs-, Equipment- und Verkabelungskosten zu nennen. Mit einem ToR-Switch in jedem Schrank (oder auch zwei bei Primär- und Sekundärnetzen) hängt die Menge der Switch-Ports von der Anzahl der im RZ vorhandenen Schränke ab und nicht von der Anzahl der für die Anbindung der Geräte tatsächlich benötigten Switch-Ports. Aus diesem Grund kann die Anzahl der Switches und Stromversorgungen im Vergleich zu einer passiven strukturierten Verkabelung doppelt so hoch ausfallen. Zudem muss der Betreiber ToR-Switches mit Strom versorgen und beständig warten. Folglich sind etwa in einem RZ mit 39 Schränken, das mit zwei getrennten Netzwerken arbeitet, die Kosten für Equipment und Wartung bei einer ToR-Topologie mehr als doppelt so hoch wie bei einer strukturierten Verkabelung. Die Nutzung von Verteilerbereichen im Zusammenhang mit einer strukturierten Verkabelung verursacht ebenfalls Kosten. ToR spart die Kosten für die strukturierte Verkabelung zwar ein, jedoch sind die hier verwendeten kurzen Small-Form-Factor-Pluggable-Twinaxialkabel in der Regel teurer als die Patch-Kabel für das strukturierte Verkabelungssystem. Die zusätzlichen Kosten dieser ToR-Kabel machen im Handumdrehen alle anderen Einsparungen wieder zunichte. Dies gilt vor allem, wenn Switch-Hersteller die Verwendung proprietärer Kabel verlangen. In der Tat belaufen sich die Kosten der ToR-Kabel für jeden genutzten Port auf mehr als das Doppelte der Kosten bei einer strukturierten Verkabelung. Selbst wenn die Kosten der ToR-Kabel nicht in Betracht gezogen werden, sind die Einsparungen durch eine strukturierte Verkabelung so erheblich, dass der Kostenaufwand dafür im Verhältnis zu den erzielten Gesamteinsparungen bei Equipment und Wartung nur etwa fünf Prozent ausmacht. Zudem geben die Hersteller für eine strukturierte Verkabelung im Allgemeinen eine Garantie von 15 bis 25 Jahren (herstellerabhängig). Demgegenüber steht eine durchschnittliche Garantie von nur 90 Tagen auf ToR-Kabelbaugruppen. Es gibt weitere Argumente. Bei einer ToR-Topologie erhöhen sich schnell auch die Kosten für die Server. Twisted-Pair-Netzwerkkarten (NICs) sind preiswerter als SFP+- oder QSFP-NICs. Server-Plattformen kommen oft vorgerüstet mit Twisted-Pair-Kupfer-NICs auf dem Motherboard zum Betreiber. Bei ToR-Topologien mit Small-Form-Factor-Pluggable-Twinaxialkabeln muss er SFP+- oder QSFP-NICs gewöhnlich zukaufen. Diese rangieren zwischen 300 Euro und 600 Euro. Für eine zweite Kostenbetrachtung sollte der Betreiber den maximalen Port-Zugriff und die Port-Nutzung unter die Lupe nehmen. Untersuchungen von Datacenter Dynamics und der Gartner Group zeigen, dass der Stromverbrauch eines Server-Schranks im Durchschnitt zwischen fünf und sechs Kilowatt liegt. Ausgehend von diesem Wert beträgt die Anzahl der Server in einem Schrank etwa 14. Die Anzahl der durch die Server benötigten Switch-Ports ist jedoch für gewöhnlich niedriger als die Anzahl der am ToR-Switch verfügbaren Verbindungen. Nutzt der Betreiber zum Beispiel nur 14 Ports eines 32-Port Switches, bleiben 18 Ports ungenutzt. Bei Nutzung zweier separater redundanter Netzwerke mit 14 Servern pro Schrank, bei denen jeder Server an zwei 32-Port Switches angebunden ist, werden 28 der 64 Ports für die 14 Server verwendet, 36 Ports hingegen nicht. Bei einer strukturierten Verkabelung sind dagegen grundsätzlich alle aktiven Ports voll nutzbar, da sie nicht einzelnen Schränken zugeordnet sind. Es ist möglich, die 32 in der ToR-Konfiguration einem Schrank zugeordneten Switch-Ports bei Bedarf über den Verteilerbereich auf jeden beliebigen Schrank aufzuteilen. Selbst wenn Edge Switches für den Ost-West Verkehr (also von Server zu Server) arbeiten, ermöglicht es die strukturierte Verkabelung, die Switches zentral in Verteilerbereichen zu platzieren, wodurch sich die Anzahl ungenutzter Ports und der Nord-Süd-Verkehr von und zu den Aggregaten und Core Switches verringern. Die Anzahl ungenutzter Ports in Umgebungen mit hoher Server-Dichte, wo der Stromverbrauch der Server-Schränke 20 kW bereits überschreitet, ist geringer, aber die ungenutzten Ports summieren sich auch hier. In einer Server-Farm mit 200 Server-Schränken à 40 Server und einem 48-Port-Switch pro Schrank beispielsweise kommen in der Summe 1.600 ungenutzte Ports (also acht ungenutzte Ports pro Schrank) heraus und produzieren Gesamtkosten von rund 565.400 Euro. Die Entscheidung für eine strukturierte Verkabelung kann daher selbst in diesen Umgebungen mit extrem hoher Gerätedichte signifikante Kosteneinsparungen mit sich bringen. Ungenutzte Switch-Ports effektiv managen zu können, ist ein entscheidender Gesichtspunkt bei einer ToR-Konfiguration. Manche RZs nutzen eine Switch-Fabric-Architektur, bei der sich die Zahl ungenutzter Ports und die Menge an Equipment und Verkabelung gegenüber der Drei-Schichten-Switch-Architektur verringern kann. Dennoch bleibt die Überlegenheit eines strukturierten Verkabelungssystems bestehen. In einer dritten Kostenbetrachtung geht es um die Auswirkung von Port- und Gerätenutzung auf den Stromverbrauch. Heute spielt der Stromverbrauch eine zentrale Rolle für RZ-Manager, da die Energiekosten unaufhörlich steigen und Umweltinitiativen stärker in den Fokus rücken. Wie die Tabelle auf Seite 24 zeigt, verringert sich die erforderliche Anzahl an Switches und Stromversorgungen bei einer strukturierten Verkabelung um mehr als die Hälfte durch den Vorteil, alle Switch-Ports nutzen zu können. Dies hilft dabei, die Geräte- und Energiekosten zu senken und ist förderlich für viele Umweltinitiativen. Weniger Stromversorgungen bedeuten zugleich weniger Aufwand und weniger Kosten, wenn es später darum geht, auf energieeffizientere Stromversorgungen umzusteigen. Haben Switches in einer ToR-Konfiguration ihre volle Auslastung erreicht und ein neuer Server kommt im Schrank hinzu, bleibt nichts anderes übrig, als einen zusätzlichen Switch im Schrank zu installieren und demzufolge auch zusätzliche Stromversorgungen. Dies geht dann vom Strombudget ab, das für die Server insgesamt vorgesehen ist. Schlimmstenfalls ist nicht einmal genügend Reserve für diesen Schrank vorhanden. Selbst im Rahmen einer Virtualisierungslösung, die die Anzahl der Server und den damit verbundenen Strom- und Kühlungsbedarf reduziert, kann die höhere Anzahl an erforderlichen Stromversorgungen bei ToR die durch die Virtualisierung erzielten Einsparungen zum Teil wieder zunichtemachen. Zu bedenken ist, dass Switch-Ports Strom verbrauchen, selbst wenn der Betreiber sie nicht nutzt. Ungeachtet der verwendeten Konfiguration und Technik variiert der Stromverbrauch auch zwischen den Switch-Typen der verschiedenen Hersteller. Den realen Stromverbrauch und die Leistungsaufnahme pro Port sollte der Betreiber für das gesamte RZ unter die Lupe nehmen.
Lesen Sie mehr zum Thema
