Evidently AI

Evidently AI ist eine Open-Source-Plattform für das Monitoring und Testing von Machine-Learning-Modellen in der Produktion, die Data Drift, Concept Drift und Modell-Degradation erkennt, bevor sie zu Business-Problemen führen. Die Plattform wurde als Python-Bibliothek konzipiert und lässt sich nahtlos in bestehende Data-Science-Workflows integrieren, um ML-Modelle kontinuierlich auf ihre Zuverlässigkeit zu überwachen. Evidently bietet über 100 vordefinierte Metriken und Tests für Datenqualität, Daten-Drift, Modell-Performance und Fairness.

Die interaktiven HTML-Reports visualisieren Verteilungsänderungen, Feature-Drift und Performance-Metriken und machen komplexe statistische Analysen für Data Scientists und Stakeholder gleichermaßen verständlich. Das ML-Monitoring-Dashboard ermöglicht die kontinuierliche Überwachung von Produktionsmodellen mit konfigurierbaren Alerting-Schwellenwerten und automatischen Benachrichtigungen bei kritischen Abweichungen. Evidently unterstützt verschiedene ML-Aufgaben: Klassifikation, Regression, Ranking, NLP und Empfehlungssysteme.

Die Test-Suite-Funktionalität ermöglicht die Definition von Qualitäts-Gates, die in CI/CD-Pipelines integriert werden können, um sicherzustellen, dass nur zuverlässige Modelle in die Produktion gelangen. Evidently bietet native Integrationen mit MLflow, Airflow, Grafana, Prefect und verschiedenen Feature Stores. Die Plattform ist unter der Apache-2.0-Lizenz vollständig Open Source und kann selbst gehostet werden, was volle Datenkontrolle gewährleistet.

Evidently Cloud bietet zusätzlich gehostetes Monitoring mit Team-Collaboration-Features. Das Unternehmen hat seinen Hauptsitz in London und legt großen Wert auf Datenschutz. Für die Cloud-Version ist ein Auftragsverarbeitungsvertrag verfügbar, die Self-Hosted-Version ist von Natur aus DSGVO-konform.