Generell sind die technischen Fortschritte ein großer Treiber von Big-Data. So ist neben der Anzahl und Größe an Daten (Volume) und deren Vielfalt an Formen (Variety) auch entscheidend, dass Analysen schnell zur Verfügung stehen (Velocity). Diese drei Herausforderungen werden mit Hilfe der Big-Data-Technologien gelöst. Aber all diese technischen Möglichkeiten bringen noch keinen direkten Nutzen. Erst durch geeignete Fragestellungen und Anwendungsfälle kann auch ein wirklicher Mehrwert (Value) durch Big-Data erreicht werden.
Big-Data – neue Technologien bieten die Möglichkeit, Kunden auf Basis großer Datenmengen auf eine ganz neue Art kennen zu lernen – entscheidend dabei ist der richtige Anwendungsfall. Dem Thema Big-Data wird in den letzten Jahren eine stetig wachsende Bedeutung zugemessen. Oft liest man von gestiegenen Datenmengen, vor allem durch das Web 2.0, bei dem der Nutzer eigene Inhalte erstellt und sich vernetzt. Doch bei Big-Data geht es nicht nur um die Vielzahl und Größe von Daten, die zu verwerten sind. Auch die Form der Daten hat sich verändert. Während früher Unternehmensdaten vornehmlich strukturiert waren und in relationalen Datenbanken gespeichert wurden, bestehen mit Big-Data auch neue Möglichkeiten, semi- und unstrukturierte Daten zu analysieren.
In den meisten Unternehmen ist man sich der Menge an vorhandenen Daten oft nicht bewusst. Aber aus jeder Interaktion mit dem Kunden kann auch ein analytischer Mehrwert entstehen. Denn der Kunde teilt mit jeder Kommunikation gleichzeitig auch Informationen über sich und sein Verhalten mit.
Zum Beispiel kontaktieren Kunden ein Callcenter, um sich über Produkte zu informieren, sich zu beschweren oder Fragen zu stellen. Diese Anrufe können viele wertvolle Informationen enthalten, etwa ob ihr Produktzuschnitt für die Kunden passend ist oder ob sich Kündigungen anbahnen, denen man vorbeugen kann. Der Callcenter-Agent ist aber mit der Informationsweitergabe oder der operativen Behandlung der Beschwerde beschäftigt und hat für analytische Fragestellungen keine Zeit. Daher ist es notwendig, die Gesprächsinhalte durch geeignete Technologien analytisch nutzbar zu machen. Beispielsweise durch die Analyse und Verschlagwortung legitimiert aufgezeichneter Gespräche.
Ein anderer häufig gewünschter Anwendungsfall ist die Analyse sozialer Netzwerke. Wenn beispielsweise die Möglichkeit besteht, „Likes“ und Kommentare zum eigenen Unternehmen oder den Produkten in den sozialen Netzwerken mit Kundendaten zu verbinden und diese ins CRM zu transportieren, um sie dort zu analysieren, dann versteht man die hohen Erwartungen, die in den letzten Jahren immer mehr in Big-Data gesetzt werden.
Kritisch zu betrachten im Kontext der Analyse von Kundendaten sind vor allem die rechtlichen Rahmenbedingungen. Nicht unbegründet ist daher bereits vom „gläsernen Kunden“ die Rede. Denn hinter den Vorteilen, Erkenntnisse aus solchen Datenbergen über Kunden zu erhalten, stehen natürlich immer auch Themen wie Datenschutz und personelle Selbstbestimmung.
Bevor wir aber zu den Herausforderungen rund um Big-Data kommen, werden zunächst die technischen Grundlagen skizziert, die die Realisierung der Anwendungsfälle ermöglichen. Betrachtet man dazu die drei vorher angesprochenen Herausforderungen, die Menge an Daten, die Vielfältigkeit der Daten und die Geschwindigkeit, in der die Daten analysiert werden müssen, so kann man genau drei Themengebiete entdecken, die in den letzten Jahren immer gefragter wurden. Um eine Menge an Daten zu verarbeiten, ist die Lösung mit der größten Relevanz das dezentralisierte Berechnen von parallel zu verarbeitenden Programmen. Google hat einen äußerst effektiven Algorithmus entwickelt, den "MapReduce-Algorithmus". Dieser verarbeitet durch die Verteilung hoch parallelisierter Rechenoperationen große Datenmengen in kurzer Zeit. Dieser Ansatz wurde von Programmierern adaptiert und unter dem Projektnamen "Hadoop" als Open-Source-Code bereitgestellt.
Um der Herausforderung zu begegnen, dass neben strukturierten Daten nun auch semi- oder gar unstrukturierte Daten verarbeitet werden sollen, sind neben der klassischen zeilenorientierten Datenbank mehrere neue Speichermethoden entwickelt worden. Auch hier ist der Suchmaschinenanbieter, der mit der Indexierung des Internets natürlich viele Daten in allen Formen verarbeiten muss, Vorreiter gewesen und hat dafür ein eigenes Speichermodell entwickelt, die so genannte „Big Table“. Dabei ist die Anzahl an Spalten pro Zeile nicht festgelegt, sondern wird datengetrieben pro Zeile individuell definiert.
Um die Geschwindigkeit zu erhöhen, in der komplexe Analyseaufgaben gelöst werden müssen, wird immer häufiger In-Memory-Technologie verwendet, bei der die Daten im viel schnelleren Arbeitsspeicher liegen und nicht auf Festplatten zwischengespeichert werden. Unterstützt wird diese Entwicklung durch die stetig sinkenden Preise für Arbeitsspeicher innerhalb der letzten Jahre.
Diese genannten Methoden und Technologien verwendet beispielsweise ein Kreditkartenhersteller und versucht so, diejenigen Kunden, die sich bald scheiden lassen werden anhand ihrer Transaktionen bestimmen zu können. So wurde analytisch aus einer sehr großen Masse an Kundentransaktionen ermittelt, dass diese Kunden plötzlich vermehrt Einrichtungsgegenstände, wie Möbel, Handtücher und Bettwäsche kaufen sowie vermehrt auf Diätprodukte setzen und mehr Alkohol trinken.
Ziel eines Automobilherstellers wiederum ist es, Werkstattaufenthalt zu verkürzen und die Effizienz der Werkstatt zu erhöhen, indem das Auto die Fehler schon an die Werkstatt übermittelt, sobald sie auftreten und nicht erst, wenn das Auto in der Werkstatt ist. Dazu werden bis zu 75 Steuergeräte in ein Fahrzeug verbaut, welche Datenmengen bis zu 15 Gigabyte produzieren.