LakeFS

LakeFS ist eine Open-Source-Plattform, die Git-ähnliche Versionierungsfunktionen — Branches, Commits, Merges und Rollbacks — für Data Lakes und große Datensätze bereitstellt und damit die Reproduzierbarkeit und Governance von Daten-Workflows grundlegend verbessert. Die Plattform arbeitet als transparente Schicht über bestehenden Object-Storage-Systemen wie AWS S3, Azure Blob Storage, Google Cloud Storage und MinIO und erfordert keine Datenmigration oder Formatänderungen. Datenwissenschaftler und -ingenieure können isolierte Branches für Experimente erstellen, Datenänderungen testen und erst nach Validierung in den Haupt-Branch mergen — genau wie bei Code-Versionierung.

Die KI-gestützten Funktionen umfassen automatische Datenqualitäts-Hooks, die vor einem Merge die Datenintegrität, Schema-Konformität und statistische Eigenschaften prüfen. LakeFS bietet nahtlose Integrationen mit dem gesamten modernen Data-Stack: Spark, Trino, Hive, dbt, Airflow, Databricks und Jupyter Notebooks können über das S3-kompatible Gateway ohne Code-Änderungen mit versionierten Daten arbeiten. Die atomare Commit-Semantik gewährleistet konsistente Datensätze selbst bei parallelen Schreibvorgängen, und die Zero-Copy-Branching-Technologie erstellt Branches ohne Datenduplikation, was Speicherkosten minimal hält.

Das Audit-Log dokumentiert alle Datenänderungen für Compliance und Nachvollziehbarkeit. LakeFS ist unter der Apache-2.0-Lizenz Open Source und kann vollständig selbst gehostet werden. LakeFS Cloud bietet gehostetes Management mit Team-Features und Enterprise-Support.

Das Unternehmen hat seinen Sitz in Israel und bietet EU-Cloud-Regionen für DSGVO-konforme Nutzung. Ein vollständiger Auftragsverarbeitungsvertrag ist für Cloud-Kunden verfügbar.