Pure Storage: Flash für KI vorgestellt
Datenspeicherplattform für KI und HPC
Pure Storage hat eine Speicherplattform entwickelt, die Leistung, Skalierbarkeit und Leistungsfähigkeit der Flash-Blade-Technik für GPU-intensive KI- und HPC-Workloads der nächsten Generation bereitstellen soll
Pure Storage hat vor Kurzem FlashBlade//EXA vorgestellt. Die leistungsstarke Datenspeicherplattform ist laut dem Hersteller für die höchsten Anforderungen von KI und High-Performance Computing (HPC) konzipiert. Während herkömmliche Ansätze zur Datenspeicherung das Potenzial von KI bisher eingeschränkt haben, durchbricht FlashBlade//EXA den Metadaten-Engpass mit seiner Architektur, die auf FlashBlade basiert, so das Versprechen.
Diese ist für hohe Parallelität und enormen Mengen an Metadaten-Operationen ausgelegt, die für große KI- und HPC-Workloads typisch sind. Laut erster Szenarien soll FlashBlade//EXA voraussichtlich eine Leseleistung von mehr als 10 Terabyte pro Sekunde in einem einzigen Namespace liefern und damit als leistungsstärkste Speicherlösung der Branche neue Maßstäbe setzen.
Die FlashBlade//EXA-Architektur skaliert Daten und Metadaten unabhängig voneinander, bietet laut dem Hersteller eine nahezu unbegrenzte Skalierbarkeit mit handelsüblichen Data Nodes von Drittanbietern, die eine hoch skalierbare, mehrdimensionale Leistung ermöglichen. Sie reduziert die Komplexität bei der Bereitstellung, Verwaltung und Skalierung durch die Verwendung von Standard-Protokollen und -Networking.
Hintergrund: Leistungsstärkere GPUs haben das Tempo und den Umfang erhöht, in dem sich grundlegende KI-Modelle trainieren lassen. Das explosionsartige Wachstum der Modellgröße und -komplexität führt zu einem Paradigmenwechsel bei den Speicheranforderungen. Lösungen müssen dabei nahtlos mit der Rechenintensität und dem Volumen sowie der Vielfalt der Datenanforderungen von KI und HPC schritthalten.
Herkömmliche Speichersysteme wurden nicht für die modernen KI-Anforderungen entwickelt. Bei der Anwendung auf KI und HPC in großem Stil stoßen sie auf kritische Einschränkungen bei parallelen und gleichzeitigen Lese- und Schreibvorgängen, der Metadatenleistung, der extrem niedrigen Latenz, dem asynchronen Checkpointing und dem vorhersehbaren hohen Durchsatz.
Eine moderne Storage-Lösung muss eine massiv parallele, disaggregierte Architektur bieten, um Flexibilität in großem Maßstab zu ermöglichen – und sicherzustellen, dass der Speicher dazu beiträgt, das Tempo der KI zu beschleunigen.
Herkömmliche Hochleistungs-Speicherarchitekturen wurden für traditionelle HPC-Umgebungen optimiert, mit besser vorhersehbaren und regelmäßigen Workloads sowie einem Schwerpunkt auf der reinen Leistungsskalierung. Die heutigen KI-Workloads sind jedoch komplex und multimodal – einschließlich Text, Bilder, Videos – und werden gleichzeitig von Zehntausenden von GPUs verarbeitet. Diese dramatische Veränderung erfordert eine fortschrittliche Metadatenoptimierung in Verbindung mit einer massiven Leistungsskalierung, um verschiedene Datentypen und eine hohe Parallelität effizient zu verwalten.
„FlashBlade//EXA bietet eine massiv parallele Architektur, die eine unabhängige Skalierung von Daten und Metadaten ermöglicht, um Kunden eine unübertroffene Leistung, Skalierbarkeit und Anpassungsfähigkeit für einige der größten und anspruchsvollsten Datenlandschaften der Welt zu bieten. Storage beschleunigt jetzt das Tempo der HPC- und KI-Entwicklung im großen Stil“, sagte dazu Rob Lee, Chief Technology Officer von Pure Storage.
Lesen Sie mehr zum Thema
