Der Begriff Big Data ist bei datengetriebenen Unternehmen nicht mehr aus dem Geschäftsalltag wegzudenken. Die Verwendung von Datenanalyse und BI-Lösungen gewährt Firmen wichtige Einblicke in ihre Unternehmensdaten. So können Entwicklungen beobachtet, Probleme erkannt und Maßnahmen ergriffen werden.
Viele BI-Werkzeuge sind nicht für eine effektive Nutzung im Kontext von Big Data oder sogar Echtzeit-Big Data konzipiert. Häufig sind sie auf die Untersuchung historischer Daten beschränkt, das bedeutet eine Analyse in Echtzeit ist in den seltensten Fällen möglich. Allerdings benötigen Unternehmen die relevanten Informationen unmittelbar, wenn ein Wert seinen Normalbereich verlässt, um sogleich entsprechende Maßnahmen einleiten zu können. Die enormen Datenmengen stellen Analysten außerdem vor die Herausforderung, von vornherein eine Auswahl der zu überwachenden Metriken festzulegen. Denn bei den meisten Tools ist die Skalierbarkeit nicht ausreichend, sodass so große Mengen nicht gleichzeitig verarbeitet werden können. Aufgrund dessen besteht aber die Gefahr, kritische Einblicke zu verpassen: Wenn Metriken nicht auf einer ganzheitlichen Ebene analysiert werden können, werden Verbindungen zwischen Vorfällen oft gar nicht erst erkannt. Häufig beeinflussen Ereignisse in einem Bereich aber Entwicklungen in einem anderen.
Des Weiteren variieren die zu untersuchenden Metriken zwischen verschiedenen Branchen und Anwendungsfällen sehr stark – jedes Unternehmen hat seine eigenen Key Performance Indicators (KPIs), ja sogar jeder Mitarbeiter hat unterschiedliche Fragen an ein solches System. Traditionelle BI-Lösungen sind aber oft sehr statisch, lassen sich nur schwer an die individuellen Daten eines Unternehmens anpassen, wodurch es zu unnötigen Alarmierungen und Falschmeldungen durch zu starre Schwellenwerte kommen kann. Gängige Dashboards, die gegebene Daten nur visualisieren, anstatt wichtige Ereignisse an die Oberfläche zu bringen, machen es außerdem erforderlich, dass Analysten genau wissen müssen, nach was sie in den Daten suchen, um die erforderlichen Antworten erhalten zu können. Hierzu müssen sie zunächst verstehen und festlegen, wo die Grenzwerte für die zu beobachtenden Metriken liegen, das heißt, welches Datenverhalten für ein Unternehmen überhaupt „normal“ ist. Nur so können Abweichungen von der Norm, sprich Anomalien, von den Verantwortlichen überhaupt erst erkannt werden.
Vor diesem Hintergrund ist Data Science zunächst eine sehr zeitaufwendige Aufgabe. Zusätzlich ist es im Kontext von Big Data unmöglich, jede potenzielle Frage nach jedem möglichen Zusammenspiel von Daten zu stellen – die Anzahl der Kombinationen und Permutationen sind enorm. Mit traditioneller BI können Analysten Probleme, wenn überhaupt, also erst sehr spät identifizieren, was zu Umsatz-, Qualitäts- und Effizienzeinbußen führen kann.