Energieversorgung für Rechenzentren
Wenn es keinen Ausfall geben darf
Die Energieversorgung von Rechenzentren unterliegt ganz besonderen Anforderungen. Ein Abschalten für Wartungsarbeiten ist kaum möglich, und ungeplante Unterbrechungen wären nicht tolerierbar. Basierend auf einer Stromversorgung als TN-S-System (Stromversorgung mit strikt getrenntem Schutz- und Neutralleiter) mit einer durchgängigen Differenzstromüberwachung lässt sich jedoch eine Versorgung aufbauen, die zugleich sicher, wirtschaftlich und transparent arbeitet. Das Rechenzentrum der Hartl Group in Hofkirchen setzt dazu Janitza-Messtechnik zur Überwachung der Stromversorgung ein.
Rechenzentren sehen oft wie unscheinbare Bürogebäude aus, müssen jedoch die Sicherheit eines Panzerschranks mit der Autarkie einer Polarstation und der Erreichbarkeit einer Feuerwehrzentrale verbinden. Die Kunden wollen ihre Daten geschützt wissen und zugleich jederzeit vollen Zugriff haben, selbst wenn ein Sturm am Standort der Server die Stromversorgung lahmgelegt hat. Dies beeinflusst auch die Anforderungen an die Elektroinstallation. Bewährte Konzepte selbst aus anspruchsvollen Industrieanwendungen sind nicht ohne Weiteres übertragbar. Dies beginnt schon bei so gängigen Standardprodukten wie RCDs (Residual Current Devices, Fehlerstrom-Schutzeinrichtungen). Dieser bewährte Schutz für Mensch und Maschine kann in Rechenzentren scheinbar ohne jeden äußeren Anlass ganze Server-Racks lahmlegen. Grund dafür sind die Netzfilter in Schaltnetzteilen und weiteren IT-Geräten, genauer gesagt, die dort häufig genutzten Y-Kondensatoren. Über diese können betriebsbedingt geringe Ableitströme in Größenordnungen von einigen Milliampere fließen. Da in der IT-Technik derartige Geräte in großer Zahl verbaut sind, können sich die Ströme leicht zu den 15 bis 18 mA summieren, bei denen der RCD bereits auslösen kann. Nachdem der Personenschutz gemäß DIN VDE 0100-410 natürlich auch in Rechenzentren gegeben sein muss, ist eine Alternative nötig. Dazu zunächst ein Blick auf die normativen Vorgaben.
Normen für das Rechenzentrum
Speziell mit der Messtechnik zur Befähigung zur Energieeffizienz von Rechenzentren befasst sich die harmonisierte DIN EN 50600-2-2:2019. In ihr sind drei Granularitätsniveaus definiert. Die Beschreibung enthält die Messpunkte, an denen der Stromverbrauch der elektrischen Einrichtungen zu erfassen ist. Ein Energie-Management bei Rechenzentren beschränkt sich dabei nicht allein auf Effizienz, sondern dient der Überwachung von Energieflüssen. Daraus resultieren Anforderungen an die Granularitätsniveaus.
Granularitätsniveau 1 beschreibt den Einsatz von Messgeräten an Primär- und Sekundärversorgungen (Trafos, Generatoren, Quellen). Mit entsprechender Messtechnik lassen sich hier auch die Spannungsqualität des EVU kontrollieren und Schwachstellen, zum Beispiel während des Netzersatzanlagenbetriebs, ausmachen. Granularitätsniveau 2 beschreibt den Einsatz von Messgeräten an Zwischenpunkten wie Primärverteilungseinrichtungen und endgültigen Sekundärverteilungseinrichtungen (NSHV, USV, UV, Verbraucher, die direkt an die Verteilungseinrichtungen angeschlossen sind). An diesen Stellen wird die Gesamtenergie auf die unterschiedlichen Gewerke verteilt. Dies sind Verbraucher wie Klimatechnik, USV-Anlagen, AB-Systemverteiler für die IT, Beleuchtung etc. Auf Basis dieser Messungen lassen sich Kennzahlen wie der PUE-Wert (Power Usage Effectiveness) und DCiE (Datacenter Infrastructure Efficiency) bestimmen.
An dieser Stelle müssen auch Neutralleitermessungen stattfinden. Durch viele einphasige Lasten mit dritten Oberschwingungsanteilen kann der Neutralleiter im Extremfall überhitzen und einen Totalausfall verursachen. Trotz symmetrischer Belastung der Phasen addieren sich dritte Oberschwingungen (zum Beispiel 150 Hz) im Neutralleiter.
Granularitätsniveau 3 beschreibt den Einsatz von Messgeräten an den Steckdosen und Systemen zur Regelung der Umgebungsbedingungen (Klimageräte, Netzwerktechnik, IT). Hier sind auch die PDUs (Power Distribution Units) der einzelnen Racks erfasst. Da das IT-Equipment ständig ersetzt und erweitert wird, kann die Leistung pro Rack stark variieren. An dieser Stelle ist die Überwachung der Stromstärken erforderlich, um einzelne Stromkreise nicht zu überlasten. Mittels flächendeckenden Messungen lässt sich der Verbrauch einzelner Racks verrechnen und Kunden in Form von Kostenstellen zuordnen. Ferner können Techniker an dieser Stelle oberschwingungsbehaftete Netzteile identifizieren, die in Summe den Neutralleiter gefährden.
Energie für die Hartl Group
Die Hartl Group ist ein regionaler IT-Dienstleister in Deutschland. Full-Managed-Service für Cloud-Lösungen und SAP-Hosting gehören zum Leistungsspektrum, zudem das Vermieten von Servern. „Viele unserer Kunden kommen aus den Branchen Finanzwesen, Automotive, Versicherungen und Pharma. Es sind aber auch kleinere Mittelständler dabei“, beschreibt Projektleiter Bernd Buchbauer den Kundenkreis. Im Jahr 2015 nahm das Unternehmen einen Neubau mit 74 Schränken im niederbayerischen Hofkirchen in Betrieb. Die gesamte Ausstattung von der Stromversorgung bis zur Daten- und Glasfaserverkabelung hat die Firma Vintin aus dem Raum Schweinfurt übernommen. Der Spezialist unterstützt Unternehmen, Organisationen und öffentlichen Einrichtungen bei der digitalen Transformation. Vintin beauftragte die Ingenieurgesellschaft Ideas Christian Müller mit der Projektierung der Stromversorgung. Ideas ist spezialisiert auf Ingenieursdienstleistungen im Bereich Energieanlagen und -systeme. Müller hat ein Konzept mit einem zentralen Trafo und je zwei NEA- und USV-Anlagen entwickelt (Netzersatzanlagen und unterbrechungsfreie Stromversorgungen). Die Stromversorgung umfasst das eigentliche Rechenzentrum und die Büroräume sowie ein Backup Rechenzentrum, das in Containern neben dem Gebäude untergebracht ist. Damit befindet es sich in einem separaten Brandabschnitt. Die Anschlussleistung beträgt 400 kW zuzüglich 40 kW für das Backup.
Stromversorgung gibt es nicht von der Stange
Müller hat die Anlage von der Einspeisung bis zu den PDUs in enger Zusammenarbeit mit der Hartl Group entwickelt. Die erste Frage betraf die Redundanz bei der Einspeisung: ein oder zwei Trafos? Da ein Rechenzentrum ohnehin fünf Tage lang autark funktionieren muss, entschied man sich für einen Trafo in Kombination mit dem Dienstleistungsvertrag namens Trafotechnik24. Bei einem Ausfall garantiert der Anbieter Bayernwerk, innerhalb von 24 Stunden einen Ersatztransformator zu liefern. Mit den beiden NEAs und USVs ist der Betrieb solange doppelt gesichert. Müller: „Es gibt acht komplette Szenarien, die wir berücksichtigt haben, etwa was passiert, wenn die Trafostation oder wenn eine NEA brennt. Für diesen Fall haben wir Netzkupplungen, sodass wir das Rechenzentrum weiter im Normalbetrieb fahren können. Der Trafowechsel kann dann mit bestromter Hauptsammelschiene stattfinden. Außerdem können wir beide Anlagen netzparallel betreiben, da sie synchronisierfähig sind.“
Auch die restliche Infrastruktur ist darauf abgestimmt. Die Klimatechnik benötigt so wenig Strom, dass sie bei Bedarf über eine USV laufen kann. Andere Teile der Gebäudetechnik verfügen zumindest über eine SV (sichere Versorgung). Auch eine PV-Anlage ist vorhanden, deren Energie das Gebäude überwiegend selbst verbraucht. Erweiterungen, gegebenenfalls sogar eine weitere Trafostation, sind ebenfalls vorgesehen. Die Anlage ist somit ganz auf die individuellen Anforderungen der Hartl Group abgestimmt. Oder wie Müller es formuliert: „Stromversorgung für ein Rechenzentrum gibt es nicht von der Stange.“
Die richtige Messtechnik
Die gesamte Installation ist als TN-S-System mit zentralem Erdungspunkt ausgeführt. Dies ist für die EMV-Eigenschaften und das frühzeitige Identifizieren von beginnenden Isolationsfehlern entscheidend. Bei Anlagen mit fehlerhaften Verbindungen zwischen Neutral- und Schutzleiter vagabundieren Rückleiterströme über das Erdungssystem. Ein besonders ungünstiger Fall ist beispielsweise ein weit von der Trafostation entfernter Verbraucher in einem gut geerdeten Metallcontainer. Der Großteil des Stroms wird dann über das Erdungssystem und über Wasserleitungen, Lüftungssysteme, Armierungen etc. abfließen, nicht über den Neutralleiter. Durch die vagabundierenden Ströme mit verschiedenen Frequenzen und Gleichstromanteilen kann es zu Korrosion bis hin zum Lochfraß an Wasserleitungen kommen.
Die Messtechnik stammt von Janitza Electronics. Ansprechpartner dort war Gerald Fritzen, LANline-Lesern auch als Referent beim Datacenter Symposium bekannt, der auf Rechenzentren spezialisiert ist und schon viele Projekte begleitet hat. „Wir haben ein Messkonzept über alle Granularitätsstufen, das heißt von der Einspeisung bis zum Endstromkreis aufgebaut“, umreißt er das Projekt. „Besonders wichtig dabei war, dass wir in Anlagenteilen, in denen nichtlineare Ströme auftreten können, neben Fehlerströmen auch den Neutralleiter überwachen.“ Dies entspricht auch der Bitcom-Forderung nach einer ständigen Überwachung eines sauberen TN-S-Systems mit Aufschaltung auf eine durchgängig besetzte Leitzentrale. Dazu ist bei der Hartl Group das Alarm-Management in die ohnehin vorhandene IT-Rufbereitschaft eingebunden.
Allzweckwaffe Differenzstrommessung
Hochverfügbarkeit ist im Rechenzentrum Pflicht. Aber auch eine noch so gute, redundante Stromversorgung kann nicht verhindern, dass eine Sicherung auslöst. Deshalb müssen sich anbahnende Isolationsfehler und zu hohe Phasenströme zu erkennen sein, bevor ein FI-Schalter oder Leitungsschutzschalter anspricht. Davor schützen eine RCM-Messung (Residual Current Monitor/Differenzstrommessung) und eine Stromüberwachung über alle Granularitätsstufen.
Diese erhöht nicht nur die Betriebssicherheit signifikant, sie macht auch die vierjährige Isolationsmessung der ortsfesten elektrischen Anlagen im Rahmen der DGUV V3 überflüssig. Abgesehen von den enormen Kosten ist diese in einem Rechenzentrum organisatorisch kaum möglich. Die Messung muss jedoch lückenlos sein. Müller: „Für eine vollständige Überwachung sind Messungen nötig: drei Außenleiter, N-Leiter, Differenzstrom. Fehlt einer, kann man die Messung nicht sauber bewerten. Deswegen setzen wir das UMG 96RM-E ein.“ Auch bei der Wartung will er keine Kompromisse machen: „Die Messung muss reproduzierbar sein. Deshalb haben wir Wandler-Prüfklemmen installiert. Bei der Wartung können wir so eine unterbrechungsfreie Vergleichsmessung mit einem mobilen UMG durchführen.“
Die Messungen erfolgen bis in die Zuleitungen zu den Racks. Ursprünglich waren dort intelligente PDUs vorgesehen, was sich jedoch nicht bewährt hatte. Hartl-Mann Buchbauer dazu: „Eine einfache PDU geht praktisch nicht kaputt; wenn, dann eher die Messtechnik. Außerdem stehen die Racks im Sicherheitsbereich. Die Überwachung zusammengefasst in einem Gerät ist sehr viel einfacher und bietet zudem ein besseres Preis/Leistungsverhältnis gegenüber vielen Einzelgeräten. Außerdem kann ich durch die Messung bis zur Rack-Versorgung Kostenstellen für vermietete Server generieren.“ Neben der RCM-Überwachung übernimmt die Messtechnik noch weitere Aufgaben, beispielsweise die Steuerung der Notstromversorgung.
- Wenn es keinen Ausfall geben darf
- Sichere Steuerung direkt aus dem Messgerät
Lesen Sie mehr zum Thema
