Definition

Big Data  (von englisch big „groß“ und data „Daten“) bezeichnet Datenmengen, die

  • zu groß oder
  • zu komplex sind oder
  • sich zu schnell ändern oder
  • zu schwach strukturiert

sind, um sie mit manuellen und klassischen Methoden der Datenverarbeitung auszuwerten. Der traditionellere Begriff im Deutschen ist Massendaten.

Big Data ist häufig der Sammelbegriff für digitale Technologien, die in technischer Hinsicht für die neue Ära digitaler Kommunikation und Verarbeitung und in sozialer Hinsicht für den gesellschaftlichen Umbruch verantwortlich gemacht werden. Big Data steht grundsätzlich für große digitale Datenmengen, aber auch für die Analyse und Auswertung.

Die 5 Vs in Big Data

Das “Big” bezieht sich auf drei Dimensionen:

  • Volume: Umfang, Datenvolumen
  • Velocity: Die Geschwindigkeit, mit der die Datenmengen generiert und transferiert werden
  • Variety: Bandbreite der Datentypen und -quellen

Erweitert wird die Definition um die zwei Vs:

  • Value: Potential von Big Data für die sozioökonomische Entwicklung
  • Veracity: Inkosistente und unvollständige Daten, Latenz und Mehrdeutigkeit

Hierbei stehen die Erweiterungen für den unternehmerischen Mehrwert und die Sicherstellung der Datenqualität stehen. Der Begriff „Big Data“ unterliegt als Schlagwort einem kontinuierlichen Wandel; so wird mit Big Data ergänzend auch oft der Komplex der Technologien beschrieben, die zum Sammeln und Auswerten dieser Datenmengen verwendet werden.

Big Data-OMF-AI

Datenherkunft

Die gesammelten Daten können aus verschiedensten Quellen stammen:

  • angefangen bei jeglicher elektronischer Kommunikation,
  • über von Behörden und Firmen gesammelte Daten,
  • bis hin zu den Aufzeichnungen verschiedenster Überwachungssysteme.

Bereiche und Anwender von Big Data

Big Data kann auch Bereiche umfassen, die bisher als privat galten. Der Wunsch der Industrie und bestimmter Behörden, möglichst freien Zugriff auf diese Daten zu erhalten, sie besser analysieren zu können und die gewonnenen Erkenntnisse zu nutzen, gerät dabei unweigerlich in Konflikt mit geschützten Persönlichkeitsrechten des Einzelnen. Ein Ausweg ist allein durch

  • Anonymisieren vor dem Ausbeuten, wenn nicht schon durch
  • Anonymisieren vor dem Auswerten

zu erreichen. Klassische Anwender von Methoden des Big Data sind die Provider sozialer Netzwerke und von Suchmaschinen. Die Analyse, Erfassung und Verarbeitung von großen Datenmengen ist heute in vielen Bereichen alltäglich. Datenmengen dienen im Allgemeinen der Umsetzung von Unternehmenszielen oder zur staatlichen Sicherheit. Bisher haben vor allem große Branchen, Unternehmen und Anwendungsbereiche der Wirtschaft, Marktforschung, Vertriebs- und Servicesteuerung, Medizin, Verwaltung und Nachrichtendienste die digitalen Methoden der Datensammlung für sich genutzt. Die erfassten Daten sollen weiterentwickelt und nutzenbringend eingesetzt werden. Die Erhebung der Daten dient meistens für konzernorientierte Geschäftsmodelle, sowie Trendforschung in den sozialen Medien und Werbeanalysen, um zukunftsweisende und gewinnbringende Entwicklungen zu erkennen und in diese Prognosen zu investieren.

Hintergrund

Mengen von Massendaten wachsen typischerweise exponentiell. Berechnungen aus dem Jahr 2011 zufolge verdoppelt sich das weltweite erzeugte Datenvolumen alle 2 Jahre. Diese Entwicklung wird vor allem getrieben durch die zunehmende maschinelle Erzeugung von Daten z. B. über Protokolle von Telekommunikationsverbindungen (Call Detail Record, CDR) und Webzugriffen (Logdateien), automatische Erfassungen von RFID-Lesern, Kameras, Mikrofonen und sonstigen Sensoren. Big Data fallen auch in der Finanzindustrie an (Finanztransaktionen, Börsendaten) sowie im Energiesektor (Verbrauchsdaten) und im Gesundheitswesen (Verschreibungen). In der Wissenschaft fallen ebenfalls große Datenmengen an, z. B. in der Geologie, Genetik, Klimaforschung und Kernphysik. Der IT-Branchenverband Bitkom hat Big Data als einen Trend im Jahr 2012 bezeichnet. Bei großen Datenkomplexen verbietet sich der unwirtschaftliche Aufwand für ein Speichern auf Vorrat. Dann werden lediglich Metadaten gespeichert oder das Auswerten setzt mitlaufend oder mindestens gering zeitversetzt mit dem Entstehen der Daten auf.

Weitere Bedeutungen von Big Data

Big Data bezeichnet primär die Verarbeitung von großen, komplexen und sich schnell ändernden Datenmengen. Als Buzzword wird der Begriff in den Massenmedien aber auch verwendet für

  • die zunehmende Überwachung der Menschen durch Geheimdienste auch in westlichen Staaten bspw. durch Vorratsdatenspeicherung
  • die Verletzung von Persönlichkeitsrechten von Kunden durch Unternehmen
  • die zunehmende Intransparenz der Datenspeicherung durch Delokalisierung (Cloud Computing)
  • der Wunsch der Industrie aus den vorhandenen Daten einen Wettbewerbsvorteil erlangen zu können
  • die Automatisierung von Produktionsprozessen (Industrie 4.0, Internet der Dinge)
  • die intransparente Automatisierung von Entscheidungsprozessen in Software
  • der Einsatz neuer Technologien statt Standardsoftware (insbesondere in Unternehmen mit einer konservativen IT oft durch Verwendung von Software as a Service um firmeninterne IT-Einschränkungen zu umgehen)
  • die Entwicklung von eigenen Softwarelösungen („inhouse IT“) statt dem Einsatz von „off-the-shelf“ Software durch Fremdunternehmen
  • Werbung, basierend auf Daten über die Internet- und Handynutzung
  • die Organisation von Zusammenarbeit im Rahmen von People Analytics Projekten

selbst wenn in diesem Zuge teilweise weder große noch komplexe Datenmengen anfallen.

Beispiele zu Big Data

In der Forschung können durch Verknüpfung großer Datenmengen und statistische Auswertungen neue Erkenntnisse gewonnen werden, insbesondere in Disziplinen, in denen bisher viele Daten noch von Hand ausgewertet wurden. Unternehmen erhoffen sich von der Analyse von Big Data Möglichkeiten zur Erlangung von Wettbewerbsvorteilen, zur Generierung von Einsparungspotentialen und zur Schaffung von neuen Geschäftsfeldern. Staatliche Stellen erhoffen sich bessere Ergebnisse in der Kriminalistik und Terrorismusbekämpfung. Beispiele, in denen man Vorteile erwartet, sind:

  • Zeitnahe Auswertung von Webstatistiken und Anpassung von Onlinewerbemaßnahmen (wird aber bereits seit Jahren gemacht)
  • Bessere, schnellere Marktforschung
  • Entdeckung von Unregelmäßigkeiten bei Finanztransaktionen (Fraud-Detection)
  • Einführung und Optimierung einer intelligenten Energieverbrauchssteuerung (Smart Metering)
  • Erkennen von Zusammenhängen in der medizinischen Diagnostik
  • Echtzeit-Cross- und Upselling im E-Commerce und stationären Vertrieb
  • Aufbau flexibler Billingsysteme in der Telekommunikation
  • Geheimdienstliches Erstellen von Bewegungsprofilen mit Programmen wie Boundless Informant
  • Datenzugriff und -analyse auf raumzeitliche Rasterdaten in Wissenschaft und Industrie, beispielsweise nach dem Open-Geospatial-Consortium-Standard Web Coverage Service
  • Vorhersage von Epidemien
  • Verbesserungen der Arbeitsbedingungen für Mitarbeiter, etwa die Reduzierung von Burnout Raten, durch datenbasierte Change Projekte
  • Auffinden von Fachkräften durch datengestützte Webanalysen
  • Verarbeitung von Daten aus Wettersatelliten und anderen naturwissenschaftlich eingesetzten Sensoren

Die reine Analyse von Kundendaten ist jedoch noch nicht automatisch Big Data – oft handelt es sich bei vielen Anwendungen aus dem Marketing viel mehr um „Small-Data“-Analytics.

Verarbeitung von Big Data

Klassische relationale Datenbanksysteme sowie Statistik- und Visualisierungsprogramme sind oft nicht in der Lage, derart große Datenmengen zu verarbeiten. Für Big Data kommen daher neue Arten von Datenspeicher- und Analyse-Systemen zum Einsatz, die parallel auf bis zu Hunderten oder Tausenden von Prozessoren bzw. Servern arbeiten. Dabei gibt es u.a. folgende Herausforderungen:

  • Verarbeitung vieler Datensätze
  • Verarbeitung vieler Spalten innerhalb eines Datensatzes
  • Schneller Import großer Datenmengen
  • Sofortige Abfrage importierter Daten (Realtime Processing)
  • Kurze Antwortzeiten (Latenz und Verarbeitungsdauer) auch bei komplexen Abfragen
  • Möglichkeit zur Verarbeitung vieler gleichzeitiger Abfragen (Concurrent Queries)
  • Analyse verschiedenartiger Informationstypen (Zahlen, Texte, Bilder, …)

Die Entwicklung von Software für die Verarbeitung von Big Data befindet sich noch in einer frühen Phase. Bekannt ist der MapReduce-Ansatz, der bei Open-Source-Software (Apache Hadoop und MongoDB) sowie bei einigen kommerziellen Produkten (Aster Data, Greenplum, u. a.) zum Einsatz kommt.

Kritik an Big Data

Schwammiger Begriff und Hype

Der Begriff „Big Data“ wird für jegliche Art der Datenverarbeitung verwendet, selbst wenn die Daten weder groß, noch komplex sind oder sich schnell ändern; und mit herkömmlichen Techniken problemlos verarbeitet werden können. Die zunehmende Aufweichung des Begriffs führt dazu, dass er zunehmend ein aussageloser Marketingbegriff wird und vielen Prognosen zufolge innerhalb der nächsten Jahre eine starke Abwertung erfahren wird („Tal der Enttäuschungen“ im Hypezyklus).

Fehlende Normen

Kritik gibt es an „Big Data“ vor allem dahingehend, dass die Datenerhebung und -auswertung oft nach technischen Aspekten erfolgt, also dass beispielsweise der technisch einfachste Weg gewählt wird, die Daten zu erheben und die Auswertung von den Möglichkeiten, diese Daten zu verarbeiten, begrenzt wird. Statistische Grundprinzipien wie das einer repräsentativen Stichprobe werden oft vernachlässigt. So kritisierte die Sozialforscherin Danah Boyd:

  • Größere Datenmengen müssten nicht qualitativ bessere Daten sein
  • Nicht alle Daten seien gleichermaßen wertvoll
  • „Was“ und „Warum“ seien zwei unterschiedliche Fragen
  • Bei Interpretationen sei Vorsicht geboten
  • Nur weil es verfügbar ist, sei es nicht ethisch.

So ermittelte ein Forscher beispielsweise, dass Menschen nicht mehr als 150 Freundschaften pflegen (Dunbar-Zahl), was sodann als technische Begrenzung in sozialen Netzwerken eingeführt wurde – in der falschen Annahme, als „Freunde“ bezeichnete Bekanntschaften würden echte Freundschaften widerspiegeln. Sicherlich würde nicht jeder alle seine Facebook-Freunde in einem Interview als Freunde benennen – der Begriff eines „Freundes“ signalisiert bei Facebook lediglich eine Kommunikationsbereitschaft.

Fehlende Substanz der Auswertungen

Ein anderer kritischer Ansatz setzt sich mit der Frage auseinander, ob Big Data das Ende aller Theorie bedeutet. Chris Anderson, Chefredakteur beim Magazin Wired beschrieb 2008 das Glaubwürdigkeitsproblem jeder wissenschaftlichen Hypothese und jedes Modells bei gleichzeitiger Echtzeitanalyse lebender und nicht lebender Systeme. Korrelationen werden wichtiger als kausale Erklärungsansätze, die sich oft erst später bewahrheiten oder falsifizieren lassen.

Fehlende Regulierung

Der schleswig-holsteinische Datenschutzbeauftragte Thilo Weichert warnt: „Big Data eröffnet Möglichkeiten des informationellen Machtmissbrauchs durch Manipulation, Diskriminierung und informationelle ökonomische Ausbeutung – verbunden mit der Verletzung der Grundrechte der Menschen.“