VSC-4
Ein Supercomputer für die Forschung
An der TU Wien wurde der schnellste Computer Österreichs installiert. Der Vienna Scientific Cluster 4 (VSC-4) durchbricht die Petaflop-Schallmauer des Landes. Prof. Herbert Störi vom Institut für Angewandte Physik der Technischen Universität Wien im Interview.
funkschau: Herr Professor Störi, warum braucht es den neuen Supercomputer? Weshalb genügten die Vorgänger VSC-1, VSC-2 und VSC-3 nicht mehr?
Herbert Störi: VSC-1 und VSC-2 wurden letztlich wegen mangelnder Energieeffizienz außer Betrieb genommen. VSC-3 wird wahrscheinlich bis 2021 weiter betrieben. Dann wird er sieben Jahre in Betrieb gewesen sein. Wir benötigen zwei Systeme, um den Bedarf unserer Kunden zu decken. Das sind derzeit etwa 300 Projekte mit 1.200 individuellen Nutzern.
funkschau: Aus welchen Grund sind die Systeme aktuell so lange in Gebrauch?
Störi: Der Fortschritt hinsichtlich Energieeffizienz und Rechenleistung pro Core hat sich in den letzten Jahren stark verlangsamt. Dadurch werden Investitionszyklen länger und die Systeme werden länger genutzt.
funkschau: Inwiefern wird der neue Supercomputer den wissenschaftlichen Fortschritt an den fünf beteiligten Universitäten beeinflussen?
Störi: Moderne Hochleistungsrechner sind aus der Forschung in einer Vielzahl von Gebieten nicht wegzudenken. Das neue System wird die verfügbare Leistung, gemessen etwa am SpecRate 2017 Floating Point Benchmark mehr als verdoppeln. Projekte, die Matrix-Algebra intensiv nutzen, werden von den AVX512 Vektor-Einheiten in den Skylake-Prozessoren zusätzlich profitieren. Die 48 Cores pro Knoten ermöglichen auch effiziente Shared-memory-Parallelisierung. Ein Knoten erreicht dabei eine Linpack-Leistung von drei Teraflops.
Darüber hinaus verfügt der VSC-4 über ein sehr leistungsfähiges Filesystem, was speziell dem Trend zu Forschungsarbeiten mit großen Datenmengen entgegenkommt. Das Filesystem ist IBM Spectrum Scale und hat eine Kapazität von circa 8,5 Petabyte brutto und nach Abzügen für Redundanz etwa 6,5 bis sieben Petabyte netto. Die Input-/Output- (I/O) Bandbreite beträgt etwa 60 Gigabyte pro Sekunde.
funkschau: Beeindruckende Kennzahlen. Wie lange hat die Entwicklung des Supercomputers genau gedauert?
Störi: Von einer ersten, leider erfolglosen Ausschreibung im Jahr 2017 bis zur jetzt laufenden Abnahme vergingen 2,5 Jahre. Davor war noch eine Periode von einigen Monaten, um das Ausschreibungsdokument vorzubereiten.
funkschau: Wie hoch waren letztendlich die Gesamtkosten für das Projekt inklusive Aspekte?
Störi: Das System samt Filesystem kostete etwa acht Millionen Euro. Kosten für Zuleitungen und Anschluss an Elektro und Kühlung betrugen etwa 600.000 Euro. Die anteiligen Kosten für mitgenutzte Einrichtungen der Infrastruktur lassen sich nicht einzeln ausweisen. Auch der Rechenraum wurde schon in einer früheren Bauphase errichtet.
funkschau: In welchen Räumen der TU Wien befindet sich der Supercomputer denn genau?
Störi: Der Standort ist das Objekt 214 im Arsenal in der Franz Grill Straße 9 in Wien.
funkschau: Warum hat man sich für diesen Ort entschieden?
Störi: Der Standort bietet einen direkten 10-Kilovolt-Anschluss von Wienstrom und entsprechende Kühlmöglichkeiten. Auch der Öl-gekühlte VSC-3 und weitere Systeme stehen an diesem Standort.
funkschau: Sie sagten, der Rechenraum wurde bereits vorab errichtet. Musste er für das System nochmals angepasst werden?
Störi: Diesbezüglich gab es kein Problem, das System ist recht kompakt.
funkschau: Welche Anforderungen stellt der Supercomputer im Detail an das Rechenzentrum?
Störi: Die elektrische Leistung beträgt im Extremfall nahezu 600 Kilowatt, im Normalbetrieb etwa 450 Kilowatt. Dafür musste von unseren Transformatoren beziehungsweise vom Verteiler-Raum eine eigene Niederspannungsleitung von drei mal 400 Volt, 1.200 Ampere gelegt werden.
funkschau: In wie vielen Schränken und Prozessoren versammelt der neue Supercomputer wie viel Terabyte Arbeitsspeicher?
Störi: Das System füllt zwölf Rackschränke plus drei Schränke für das Filesystem. Es besteht aus 790 Rechenknoten mit je zwei Prozessorsockeln plus einige weitere für Login, Management des Clusters und so weiter. Die Prozessoren der Rechenknoten sind Intel Skylake 8174 mit je 24 Kernen und 3,1 GHz Taktrate. Es handelt sich dabei um übertaktete 8168-Prozessoren. Der gesamte Arbeitsspeicher beträgt 106 Terabyte, also 700 x 96 + 78 x 384 + 12 x 768 Gigabyte.
funkschau: Welcher PC-Kapazität entspricht das in etwa?
Störi: Man kann von einer Kapazität von circa 10.000 Vier-Kern-PCs ausgehen.
funkschau: Energieeffizienz ist ein großes Thema – gerade im Rechenzentrumsumfeld. Wie lautet Ihr Ansatz hierfür?
Störi: Nachdem man auf die Effizienz der Systeme wenig Einfluss hat, ist der Hebel, an dem wir ansetzen, die Kühlung. Ein großer Teil der Systeme ist direkt mit Flüssigkeit gekühlt, der VSC-3 mit Öl und der VSC-4 mit Wasser. Im Bereich der Direktkühlung haben wir einen Power Usage Effectiveness (PUE) von etwa 1,05. Alles andere ist mehr oder weniger Standard.
funkschau: Wie funktioniert diese Kühlung?
Störi: Die Rechen-Knoten sind direkt wassergekühlt. Die Knoten werden mit einem eigenen Reinwasser-Kreislauf gekühlt, der mit Wasser-Glykol-Gemisch rückgekühlt wird. Das Wasser-Glykol-Gemisch wird in passiven Kühlern am Dach mit Außenluft gekühlt. Die Kühler mussten entsprechend erweitert werden. Ein Teil der im System entstehenden Wärme wird in die Raumluft abgegeben. Die Raumluft wird in Kühlgeräten, die mit Kaltwasser aus einer Kompressor-Kühlanlage versorgt werden, gekühlt.
funkschau: Die Kühlung wurde speziell für diesen Einsatz entwickelt. Was unterscheidet sie von anderen?
Störi: Der Primärkreis der Wasserkühlung und die entsprechenden wassergekühlten Rechenknoten sind neu. Das Konzept hierfür ist maßgeschneidert und stammt von Lenovo. Der Sekundärkreis mit dem Wasser-Glykol-Gemisch wird gemeinsam mit dem Öl-gekühlten VSC-3 genutzt und wurde hinsichtlich Energieeffizienz optimiert. Das System verbraucht für Pumpen und Ventilatoren etwa drei Prozent der abgeführten Energie zusätzlich zur Energie für die Rechner. In Anbetracht der immer höheren maximalen Außentemperaturen werden derzeit die Trockenkühler durch besprühbare Kühler ersetzt.
funkschau: Was, wenn es zu einer Störung kommt und Kühlmittel ausläuft?
Störi: Unter den Doppelböden befinden sich dichte Betonwannen, die eventuell auslaufendes Kühlmittel, vor allem Öl, auffangen. Für den VSC-4 alleine wäre das nicht erforderlich.
funkschau: Was kann man bei den verfügbaren Kühlsystemen verbessern?
Störi: Ein Wunsch an diverse Hersteller direkt gekühlter Systeme (Wasser oder Öl) wäre es, mehr Bedacht auf höhere Temperaturen des Kühlmittels (bei uns Wasser-Glykol-Gemisch) im Sekundärkreislauf zu nehmen. Das würde mehr Durchfluss im Primärkreis und damit geringere Spreizung sowie leistungsfähigere Wärmetauscher erfordern. Diese Auslegung würde das Leben bei den auftretenden immer höheren maximalen Temperaturen der Außenluft deutlich erleichtern.Ein weiterer Wunsch wäre eine Reduktion des Anteils der Abwärme, welche über die Raumluft abgeführt wird.
funkschau: Welche universitären Institute profitieren letztendlich vom VSC-4?
Störi: Alle wissenschaftlichen Einrichtungen in Österreich und zum Teil darüber hinaus.
Lesen Sie mehr zum Thema
