Stromverteilung unter der Lupe
Details der PDU-Technik
Server werden immer schneller und leistungsfähiger, haben sich jedoch in den vergangenen Jahren kaum verändert. Um die Server herum hat sich die Welt des Rechenzentrums allerdings weiter gedreht. Mit viel Aufwand haben die Techniker die Kühlung der Rechner und Router verbessert, und der Strom kommt immer häufiger nicht aus einer normalen Stromverteilung, sondern aus einer so genannten intelligenten Stromschaltleiste.Der Stromverbrauch eines Rechenzentrums ist nicht nur der größte Kostenanteil bei den Betriebskosten. Die maximal verfügbare elektrische Leistung definiert auch mehr und mehr die Leistungsgrenzen eines Rechenzentrums, und dies auf zweierlei Weise. Zum einen ist die Kühlleistung innerhalb eines Rechnerraums beschränkt. Sie entsteht aus dem Verhältnis der Kühlaggregate zum zur Verfügung stehenden Platz im Rechnerraum. Ältere Rechenzentren können teilweise nur 500 Watt pro Quadratmeter kühlen. Zum anderen begrenzt die insgesamt verfügbare elektrische Leistung die in einem Rechnerraum installierbare Server-Kapazität. Der zur Verfügung stehende Raum an sich ist dagegen angesichts der Anschlussleistungen heutiger Hochleistungsserver von teilweise weit über 10 kW immer weniger der begrenzende Faktor. Um die Räume eines Rechenzentrums also optimal auszunutzen, muss der Betreiber die benötigte elektrische und Kühlleistung regeln. Dies setzt eine zuverlässige Bestimmung der Verlustleistung der Server voraus. Sie lässt sich selbstverständlich durch simple Addition der im Datenblatt angegebenen maximalen Verlustleistung der Server-Netzteile ermitteln. Dies stellt zweifelsohne eine nicht zu überschreitende Lastgrenze dar. Die real von den in der Regel überdimensionierten Netzteilen abgeforderte elektrische Leistung liegt jedoch teilweise deutlich unter der spezifizierten Nennleistung, sodass hier Stromreserven entstehen, die gewinnbringend durch weitere Installation von Servern nutzbar wären. Je weiter der Betreiber jedoch den Sicherheitspuffer an zusätzlich verfügbarer Leistung ausnutzt, desto notwendiger wird eine präzise und zeitnahe Messung der verbrauchten elektrischen Leistung. Genau für diese Leistungsmessung eignen sich die so genannten intelligenten Stromschaltleisten. Sie überwachen permanent den Stromverbrauch der angeschlossenen Rechner und können bei Anomalien und ungünstigen Trends frühzeitig Alarmmeldungen absetzen, um dem Rechenzentrumsbetreiber Reaktionsmöglichkeiten zu bieten. In Bezug auf die Genauigkeit einer Strommessung ist die EU Norm IEC 62053 das Maß der Dinge. Sie fordert eine Messgenauigkeit von besser als einem Prozent, was aktuelle Produkte mühelos erreichen oder sogar noch überbieten. Dies ist umso erstaunlicher, da die gleiche Baugruppe den Strom nicht nur misst, sondern zudem schaltet. Schaltströme wiederum können je nach Dimensionierung der Stromverteilung bis zu 80 Ampere betragen. Die räumlich enge Verbindung zwischen hochgenauer Messtechnik und robuster Stromschalttechnik machen die PDU zu einem hochkomplexen und schwer zu beherrschenden Produkt. Darüber hinaus wirken auf die Stromschaltleisten hoher mechanischer und thermischer Stress. Viele PDUs sind vertikal in Rechenschränke eingebaut und erstrecken sich über die gesamte Bauhöhe des Schranks. Viele Kühlkonzepte blasen kalte Luft durch den Unterboden und saugen die durch die Rechner erwärmte Luft über den Schank ab. Das eine Ende der PDUs steht also am kalten Ende des Schranks, das andere Ende am warmen Ende. Permanente Vibrationen durch Festplatten sowie mechanische Druck- und Zugbelastung durch die angeschlossenen - meist nach einiger Zeit verknoteten - Stromkabel tun ein Übriges. Es ist also durchaus sinnvoll, die mechanische Zuverlässigkeit der PDUs näher unter die Lupe zu nehmen. Genau dies geschieht im PDU-Testlabor der TU Chemnitz. Dort klassifizieren die Wissenschaftler über einen formalen Ansatz die Testkandidaten und suchen nach möglichen Schwachstellen. Bei diesen Untersuchungen treten interessante Muster zutage. Unternehmen, die schon länger auf dem Markt vertreten sind und auch hochwertige Produkte anbieten, tendieren dazu, im Gerät mehrere Leiterplatten zu verbauen und viel Aufwand in mechanische Stabilität zu legen. Auch für die Fixierung der Sekundärkabel existiert eine Vielzahl an Lösungen. Universell, preiswert und wenig beliebt sind so genannte Retention-Clips, also kleine Drahtbügel, die das eingesteckte Kabel vor Abziehen schützen sollen. Bessere Lösungen erfordern mitunter spezielle Kabel, es gibt aber auch Lösungen, die in der Praxis gut anwendbar sind und dennoch nur mit wenig Zusatzkosten verbunden sind. Bisherige Tests in Chemnitz mit einer Reihe von PDUs haben ergeben, dass gerade asiatische Anbieter mitunter schon beim mechanischen Aufbau Fehler machen. Ein simpler Abzugskrafttest kann dann schon einmal zum Herausziehen der gesamten IEC-Steckdose führen. Wenn dann die Zuleitungen zur Steckdose nur dürftig isoliert sind, mag man sich die Auswirkungen dieser Sparmaßnahmen am falschen Ende gar nicht vorstellen. Die PDU ist hohen thermischen Außeneinflüssen ausgesetzt. Umso wichtiger ist ein inneres Elektronikdesign, das dem bereits bestehenden Problem nicht noch weitere Probleme hinzufügt. Dabei liegt der Schwerpunkt der Untersuchungen in zwei Bereichen: Der Eigenstromverbrauch des Geräts ist nicht nur durch den Strompreis ein Kostenfaktor. Es entsteht auch ein weiterer Wärmeeintrag in das Gerät. Hier hat sich die Industrie in den vergangenen Jahren massiv verbessert. Einige der ersten Schaltleisten, die in den Jahren 2006 und 2007 auf den Markt kamen, brauchten noch bis zu 40 Watt an Strom für den Eigenbedarf. Die besten heutigen Stromschaltleisten kommen mit fünf bis sechs Watt aus, was sich nicht nur positiv auf den Geldbeutel sondern auch auf die Zuverlässigkeit des Geräts auswirkt. Ungünstige Anordnungen von Bauelementen sind ein beliebtes Mittel, um in Konsumgütern eine definierte maximale Lebensdauer zu erreichen. Kondensatoren in heißen Luftströmen verlieren sehr voraussagbar an Kapazität und führen früher oder später zum Ausfall der Elektronik. Eine einfache Analyse mit der Thermokamera sowie das Mapping der Thermowerte auf das Bild einer normalen Kamera zeigen hier mögliche Problemgebiete. Das Bild auf Seite 42 zeigt als Beispiel ein Schaltungsdetail einer PDU eines großen Marktführers, bei dem aus nicht nachvollziehbaren Gründen die warmen Enden der Relais (dort wo die Spule die ganze Zeit Strom zieht, um das Relais zu halten) direkt nebeneinander gebaut sind und auch gleich noch ein betriebswichtiger Elektrolyt-Kondensator daneben. Mit etwas mathematischem Aufwand ließe sich die Lebensdauer dieser PDU recht genau bestimmen. Das interessanteste Objekt der Betrachtung ist jedoch die Netzwerkschnittstelle. Diese Ethernet-Schnittstelle steuert die PDU und schaltet in letzter Konsequenz die angeschlossenen Server ein oder aus. PDUs versorgen in einem Server-Schrank bis zu 42 Server und mehr mit Strom. Ein Ausfall einer PDU hat also ernsthafte Folgen für den Betrieb des Rechenzentrums. Daher sind PDUs - wie auch alle anderen Komponenten der Stromversorgung - mindestens doppelt ausgeführt. Diese Redundanz kostet viel Geld, ist aber für einen sicheren Betrieb eines RZ unabdingbar. Umso erstaunlicher ist, dass in den weitaus meisten Installationen die beiden redundanten PDUs in einem Schrank zu 100 Prozent identisch sind und das Management von einem gemeinsamen Steuernetzwerk und letztlich von einer gemeinsamen Steuersoftware aus erfolgt. Wenn es gelingt, über das Steuernetz mit einem erfolgreichen Angriff auf die PDU die Schaltausgänge zu steuern, sind all die Millionen in unterbrechungsfreie Stromversorgungen und Dieselaggregate schlecht investiertes Geld. Beide PDUs fahren zur gleichen Zeit herunter oder blockieren, und die Server sind damit außer Betrieb genommen. Umso erstaunlicher ist die Fahrlässigkeit, mit der eine große Anzahl von PDU-Herstellern für die IT-Sicherheit ihrer Geräte sorgt. Tests haben hier regelmäßige nahezu unglaubliche Schwachstellen ergeben. Eine PDU eines großen Markenherstellers (das Gerät ist mittlerweile vom Markt genommen) ließ sich durch eine sehr einfache Attacke auf den TCP/IP-Port nicht nur komplett unbrauchbar machen, es reagierte nicht mehr auf Schaltkommandos, hatte jedoch vorsorglich vorher noch alle Relais abgeschaltet. Selbst ein Reboot durch Abziehen der Stromversorgung löste das Problem nicht. Ein derartiger Fehler wäre der Jackpot für jeden Angreifer. Häufig kommen standardisierte Ethernet-Module günstiger Anbieter für die Ethernet-Kommunikation zum Einsatz, deren Sicherheitsmängel in einschlägigen Online-Foren hinreichend dokumentiert sind. An dieser Stelle haben diejenigen Unternehmen einen Vorteil, die wie zum Beispiel der Hersteller Raritan, ihre Historie nicht in der Elektrik, sondern in der Informationstechnik haben. Dort verstehen die Verantwortlichen Risiken des Netzwerks besser und implementieren die entsprechende Maßnahmen sinnvoller und sauberer. Das Wissen um die Kommunikationstechnik zeigt sich auch in kleinen Details. MAC-Adressen für das Ethernet müssen weltweit eindeutig und zentral registriert sein. Dies ist allerdings mit Kosten verbunden, die manche kleinere Unternehmen gern einsparen. So liefern nicht registrierte MAC-Adressen - gerade bei kleineren Anbietern beliebt - einen allgemeinen Hinweis, wie das betreffende Unternehmen mit dem Thema Netzwerk und Kommunikation umgeht. Fazit Alle kritischen Punkte sind bei der Wahl der geeigneten PDU genauestens abzuwägen, und zwar vor allem vor dem Hintergrund des zwar redundant, aber meist homogen aufgebauten Systems, das von einem Höchstmaß an Zuverlässigkeit hinsichtlich Technik und Material abhängt. Internationale Marken, vorzugsweise mit einer Historie aus dem Bereich Kommunikationstechnik, bieten erfahrungsgemäß mehr Qualität als die teils günstigeren Angebote weniger spezialisierter Hersteller. Die Crux: Von außen sind die meisten potenziellen Problemquellen nicht sichtbar. Daher lohnt es sich, bei der Wahl der geeigneten PDU auf Qualität zu setzen. Kompromisse können deutlich kostspieliger enden.
Lesen Sie mehr zum Thema
