Cloudera kündigt DataFlow für die Public Cloud an
Cloud-native Datenflüsse automatisieren und verwalten
Cloudera kündigte die Verfügbarkeit von DataFlow für die Public Cloud an. Dabei handelt es sich um einen Cloud-nativen Datenfluss-Service zur Verarbeitung hybrider Streaming-Workloads auf der Cloudera Data Platform (CDP). Mit DataFlow für die Public Cloud sollen Anwendende nun komplexe Datenflussvorgänge automatisieren, die betriebliche Effizienz von Streaming-Datenflüssen mit automatischen Skalierungsfunktionen steigern und Cloud-Kosten senken können.
Viele Unternehmen nutzen bereits Apache NiFi, um Daten über hybride Cloud-Architekturen durch die visuelle Gestaltung von No-Code-Datenflüssen zu erfassen und zu verarbeiten. Auch wenn die Cloud eine einfache Möglichkeit zur Verarbeitung oder Speicherung großer Datenmengen bietet, gibt es mehrere Herausforderungen, die es zu bewältigen gilt. Die Bereitstellung zahlreicher anspruchsvoller Datenströme in einem einzigen Cluster kann Betriebs- und Monitoring-Probleme verursachen. Wenn mehrere NiFi-Flows um dieselben Ressourcen konkurrieren, kann dies zu Leistungsproblemen führen.
DataFlow für die Public Cloud ist ein Cloud-nativer Service für NiFi auf Kubernetes und umfasst laut Cloudera wichtige Betriebs- und Monitoring-Funktionen, die diverse Herausforderungen meistern sollen. Unter anderem stehe ein zentraler Datenfluss-Katalog für Verwaltbarkeit, Erkennung und Versionskontrolle zur Verfügung. Eine weitere Funktion stellt ein zentrales Monitoring-Dashboard dar, welches die Fehlerbehebung und Leistungsoptimierung von Datenströmen über mehrere Cloud-Cluster hinweg ermöglichen soll. Außerdem sorgen ein Bereitstellungsassistent und robuste APIs für die automatische Skalierung von Datenflüssen auf Kubernetes, die die CDP verwaltet, so die weiteren Angaben. Schließlich verfüge DataFlow über vordefinierte Abläufe, so genannte "ReadyFlows", für einige der gängigsten Streaming-Anwendungsfälle.
Lesen Sie mehr zum Thema
