Data Lake
Ein Data Lake ist ein zentraler Speicher, der große Mengen roher Daten aus vielen Quellen – strukturiert wie unstrukturiert – in ihrem Ursprungsformat und kostengünstig ablegt und die Struktur erst bei der Auswertung festlegt (schema-on-read).
Ein Data Lake ist ein zentraler Datenspeicher, der beliebig große Mengen an Rohdaten aus vielen unterschiedlichen Quellen in ihrem ursprünglichen Format aufnimmt – strukturierte Tabellen ebenso wie halbstrukturierte Dateien und unstrukturierte Inhalte wie Bilder, Logdateien oder Freitext. Anders als ein klassisches Data Warehouse, das Daten vor dem Laden in ein festes Modell bringt, speichert der Data Lake zunächst alles unverändert und legt die Struktur erst beim Lesen für eine konkrete Auswertung fest. Dieses Prinzip heißt schema-on-read und macht den Data Lake zur flexiblen, kostengünstigen Sammelstelle für sämtliche Daten eines Unternehmens.
Der Grundgedanke: Daten müssen nicht erst mühsam aufbereitet werden, bevor sie überhaupt gespeichert werden dürfen. Stattdessen fließt alles Verfügbare in einen gemeinsamen Speicher – oft ein kostengünstiger Objektspeicher in der Cloud – und steht dort für spätere Analysen, Data-Science-Projekte oder Machine-Learning-Modelle bereit. Der Data Lake ist damit weniger ein fertiges Auswertungssystem als ein Reservoir, aus dem verschiedene Werkzeuge und Teams je nach Fragestellung schöpfen. Erst die Analyse entscheidet, welche Struktur die Daten annehmen.
Auf einen Blick
- Zentraler Speicher für rohe Daten in ihrem Ursprungsformat
- Nimmt strukturierte, halbstrukturierte und unstrukturierte Daten auf
- Struktur entsteht erst bei der Auswertung (schema-on-read)
- Kostengünstig und flexibel, meist als Cloud-Objektspeicher
- Basis für Data Science, Machine Learning und explorative Analysen
Wie funktioniert ein Data Lake?
Ein Data Lake nimmt Daten aus operativen Systemen wie ERP, Onlineshop, CRM, Maschinen- und Sensordaten oder externen Quellen auf und legt sie zunächst unverändert ab. Statt eines festen Datenbankschemas dient meist ein kostengünstiger Objektspeicher als Fundament, in dem Dateien beliebigen Formats liegen. Erst wenn eine Auswertung ansteht, werden die relevanten Daten gelesen, interpretiert und in die benötigte Form gebracht. Genau darin liegt der Unterschied zum Warehouse: Aufwand für Struktur und Bereinigung entsteht nicht beim Speichern, sondern beim Auswerten.
Schema-on-read statt schema-on-write
Beim klassischen Data Warehouse gilt schema-on-write: Das Datenmodell steht fest, und jeder Datensatz muss beim Laden in dieses Schema passen. Der Data Lake kehrt das um. Nach dem Prinzip schema-on-read werden die Rohdaten ohne Vorgaben gespeichert, und erst die einzelne Abfrage legt fest, wie sie zu lesen und zu strukturieren sind. Das erlaubt es, dieselben Daten für unterschiedliche Zwecke unterschiedlich zu interpretieren, und Datenquellen aufzunehmen, deren Struktur beim Speichern noch gar nicht bekannt oder festgelegt ist.
Zonen im Data Lake
In der Praxis wird ein Data Lake meist in Zonen gegliedert, um trotz der Formatfreiheit Ordnung zu halten. Eine Rohzone (raw) enthält die unveränderten Eingangsdaten, eine bereinigte Zone (cleansed) die geprüften und harmonisierten Daten, und eine kuratierte Zone (curated) die für den fachlichen Gebrauch aufbereiteten Datensätze. Ohne solche Struktur und ohne einen Datenkatalog droht der Lake zum „Data Swamp" zu werden – einer unübersichtlichen Datenhalde, in der niemand mehr weiß, welche Daten woher stammen und ob sie verlässlich sind.
Warum ein Data Lake wichtig ist
Der Nutzen eines Data Lake liegt in Flexibilität, Kosten und der Fähigkeit, auch mit unstrukturierten und sehr großen Datenmengen umzugehen. Weil Daten nicht vor dem Speichern modelliert werden müssen, lassen sich neue Quellen schnell anbinden und Analysen ausprobieren, ohne dass ein aufwendiges Datenmodell entworfen werden muss. Das ist besonders wertvoll für explorative Fragestellungen, bei denen zu Beginn noch gar nicht feststeht, welche Auswertung am Ende gebraucht wird.
Gerade für Data Science und Machine Learning ist der Data Lake attraktiv, weil solche Verfahren oft große, rohe und vielfältige Datenbestände benötigen. Der kostengünstige Objektspeicher macht es wirtschaftlich, auch Daten aufzubewahren, deren Wert heute noch unklar ist, die aber morgen eine Analyse ermöglichen könnten. Die Kehrseite: Ohne Steuerung von Datenqualität, Metadaten und Zugriffsrechten wächst der Aufwand bei jeder Auswertung, und die Ergebnisse werden unzuverlässig. Der Data Lake verlagert Komplexität vom Speichern zum Nutzen – gute Data Governance ist deshalb Voraussetzung, nicht Kür.
Data Lake und das ERP-System
Das ERP-System ist eine der wichtigsten Quellen für einen Data Lake, weil dort Aufträge, Rechnungen, Bestände, Einkäufe und Stammdaten strukturiert zusammenlaufen. Diese ERP-Daten werden über eine API oder einen Konnektor in den Data Lake übertragen und dort mit Daten anderer Herkunft kombiniert, die im ERP selbst gar nicht abgebildet sind – etwa Klickpfade aus dem Onlineshop, Sensordaten aus der Produktion, Bilder oder Servicetickets im Freitext.
Damit ergänzt der Data Lake das ERP, ersetzt es aber nicht. Das ERP bleibt das führende System für das operative Tagesgeschäft und für belastbare, strukturierte Kennzahlen. Der Data Lake dient dagegen als übergreifendes Reservoir für vielfältige Rohdaten und für Analysen, die über die eingebauten Reporting-Funktionen des ERP hinausgehen. Für tagesaktuelles Standard-Reporting im Mittelstand genügen häufig die ERP-eigenen Auswertungen oder ein schlankes Data Warehouse; ein Data Lake lohnt sich, sobald große, heterogene oder unstrukturierte Datenmengen ins Spiel kommen.
Abgrenzung: Data Lake vs. Data Warehouse und Lakehouse
Data Lake und Data Warehouse werden oft verwechselt, verfolgen aber gegensätzliche Ansätze. Ein Data Warehouse speichert strukturierte, bereits aufbereitete Daten nach einem festen Schema und eignet sich für definierte, wiederkehrende Auswertungen mit hoher Verlässlichkeit. Ein Data Lake speichert rohe Daten jeder Art im Ursprungsformat und ist auf Flexibilität und explorative Analysen ausgelegt. Vereinfacht gilt: Das Warehouse gibt zuerst Ordnung und dann Antworten, der Lake gibt zuerst Raum und stellt Ordnung erst bei Bedarf her.
Data Lakehouse als Mischform
Weil beide Konzepte Stärken und Schwächen haben, hat sich die Mischform des „Data Lakehouse" etabliert. Sie kombiniert den kostengünstigen, formatfreien Speicher eines Data Lake mit Verwaltungs- und Strukturmerkmalen eines Warehouse – etwa Transaktionssicherheit, Schema-Verwaltung und performanten Abfragen direkt auf den Rohdaten. Ziel ist es, roh gespeicherte Daten und verlässliches Reporting in einer Plattform zu vereinen, statt Lake und Warehouse getrennt zu betreiben. Ein Data Mart bleibt davon unberührt: Er ist ein fachlich zugeschnittener Ausschnitt und typischerweise dem Warehouse zugeordnet.
Data Lake im DACH-Mittelstand
Lange galt der Data Lake als Thema für Großkonzerne mit eigenen Big-Data-Teams. Cloud-Objektspeicher und verwaltete Analyseplattformen haben die Einstiegshürde gesenkt, sodass zunehmend auch mittelständische Handels- und Fertigungsbetriebe im DACH-Raum solche Speicher betreiben – etwa um Shop-, Marktplatz-, ERP- und Maschinendaten an einem Ort zusammenzuführen. Wichtig ist ein klares Ziel: Ein Data Lake ohne konkreten Anwendungsfall und ohne Governance verursacht Kosten, ohne Nutzen zu stiften.
Beim Datenschutz ist besondere Sorgfalt geboten. Sobald personenbezogene Daten wie Kunden- oder Mitarbeiterdaten in den Lake fließen, gelten die Vorgaben der DSGVO – insbesondere Zweckbindung, Datenminimierung und Löschkonzepte. Gerade das für einen Data Lake typische Sammeln „auf Vorrat" steht im Spannungsfeld zu diesen Grundsätzen: Rohe personenbezogene Daten ohne definierten Zweck aufzubewahren, ist datenschutzrechtlich problematisch. Bei Cloud-Diensten außerhalb der EU sind zusätzlich die Vorgaben zur Übermittlung in Drittländer und der Speicherort der Daten zu prüfen.
Praxisbeispiel
Data Lake bei einem Multichannel-Händler
Ein mittelständischer Händler betreibt einen Onlineshop, verkauft über mehrere Marktplätze und hat ein eigenes Lager mit Kommissionier-Hardware. Neben den strukturierten Auftrags- und Bestandsdaten aus dem ERP fallen große Mengen anderer Daten an: Klick- und Suchverläufe im Shop, Bewertungstexte, Bilder von Retouren, Logdateien der Lagergeräte. Diese Daten passen nicht in ein festes Warehouse-Schema, könnten aber wertvolle Hinweise auf Kaufverhalten und Retourengründe enthalten.
Der Händler richtet einen Data Lake in einem Cloud-Objektspeicher ein. Ein Konnektor spielt ERP-Daten, Shop-Events und Retouren-Bilder in ihrer Rohform in getrennte Zonen. Ein Data-Science-Team liest daraus gezielt die relevanten Datensätze, verknüpft Klickpfade mit Verkäufen und trainiert ein Modell, das Retouren vorhersagt. Für das monatliche Standard-Reporting bleibt weiterhin das strukturierte Data Warehouse zuständig – der Data Lake liefert die explorative Basis für Analysen, die dort nicht möglich wären.
Häufige Fragen
Passende Leistungen
Quellen
Fragen zu Data Lake in deinem ERP-Projekt?
Wir beraten herstellerunabhängig – und setzen es auf Wunsch selbst um.