LiteLLM
Universaler API-Proxy für 100+ KI-Modelle — ein Interface, alle Anbieter
Auf einen Blick: LiteLLM ist ein KI-Tool aus der Kategorie Code & Entwicklung von Berrie AI Incorporated (San Francisco, Kalifornien, USA), kostenlos nutzbar. Für deutsche Firmen ist LiteLLM vor allem als selbst gehostetes Gateway interessant: Die Datenverarbeitung bleibt in der eigenen Infrastruktur, und Inhalte fließen nur zu den selbst gewählten und selbst konfigurierten LLM-Anbietern, mit denen eigene AV-Verträge nötig sind. Stand: 28.10.2026
Datenschutz-Profil: LiteLLM im Detail
Geprüft am 28.10.2026 anhand der Angaben des Anbieters. Bedingungen ändern sich – vor dem Einsatz im Unternehmen bitte die verlinkten Quellen prüfen.
- Anbieter
- Berrie AI Incorporated (Schreibweise im Website-Footer; GitHub-Organisation und Lizenztext nennen "Berri AI"). Eine eigene EU-Gesellschaft wird nicht genannt. (San Francisco, Kalifornien, USA)
- Serverstandort
- Selbst gehostet (Open Source und Enterprise): Verarbeitung ausschließlich in der eigenen Infrastruktur des Betreibers; ein dokumentierter Offline-Modus reduziert ausgehende Verbindungen, einen vollständig air-gapped Betrieb beschreibt der Anbieter nicht ausdrücklich. Daten verlassen das eigene System nur in Richtung der vom Betreiber selbst angebundenen LLM-Anbieter. Laut Doku speichert LiteLLM beim Selbsthosting keine Daten und keine Telemetrie auf eigenen Servern; auch für Enterprise gibt der Anbieter an, dass keine Daten die eigene Umgebung verlassen. Die Lizenzprüfung kontaktiert einen Anbieter-Server nur, wenn der Lizenzschlüssel nicht lokal per Signatur verifiziert werden kann. Ein aktuell beworbenes, vom Anbieter betriebenes Cloud-Angebot ist auf Website und Doku nicht beschrieben; ältere Doku-Stände nannten eine LiteLLM Cloud mit US- und EU-Region (Frankfurt), die entsprechenden Seiten sind aber nicht mehr erreichbar.
- AV-Vertrag (Art. 28 DSGVO)
- Keine Angabe des Anbieters. Weder ein DPA nach Art. 28 DSGVO noch eine öffentliche Datenschutzerklärung oder Nutzungsbedingungen wurden auf litellm.ai oder docs.litellm.ai gefunden. Beim reinen Selbsthosting verarbeitet der Anbieter laut eigener Doku keine Inhaltsdaten im Auftrag; AV-Verträge sind dann vor allem mit den angebundenen LLM-Anbietern zu schließen. Für Enterprise-Verträge verweist der Anbieter auf den Vertrieb sowie auf Beschaffung per Rechnung, AWS Marketplace oder Azure Marketplace.
- Training mit Eingaben
- Keine Angabe des Anbieters zu einer Trainingsnutzung. Beim Selbsthosting erhält der Anbieter laut Doku keine Eingaben oder Antworten, eine Trainingsnutzung durch LiteLLM ist dann technisch ausgeschlossen. Telemetrie ist standardmäßig deaktiviert und hat keinen Standard-Endpunkt beim Anbieter. Ob die jeweils angebundenen LLM-Anbieter Eingaben zum Training nutzen, richtet sich nach deren eigenen Bedingungen und liegt in der Verantwortung des Betreibers.
- Speicherung & Löschung
- Beim Selbsthosting bestimmt der Betreiber die Speicherdauer vollständig selbst, da alle Daten in der eigenen Datenbank liegen. Der Proxy speichert standardmäßig Spend Logs (inklusive Request-/Response-Daten), Error Logs und bei Enterprise Audit Logs in der eigenen Datenbank; Spend- und Error-Logs lassen sich per general_settings abschalten (disable_spend_logs, disable_error_logs). Spend Logs, Error Logs, Audit Logs und Cache-Daten liegen laut FAQ unverschlüsselt vor, LLM-API-Keys und Credentials werden verschlüsselt gespeichert. Konkrete Löschfristen nennt der Anbieter nicht.
- Übermittlung in Drittländer
- Beim Selbsthosting findet laut Doku keine Übermittlung an den Anbieter statt; Drittlandübermittlungen ergeben sich nur aus den vom Betreiber angebundenen LLM-Anbietern. Der Anbieter selbst sitzt in den USA; die Enterprise-Lizenzprüfung erfolgt lokal per Signatur oder gegen den Anbieter-Server license.litellm.ai, zu dabei übermittelten Daten: Keine Angabe des Anbieters. Zu EU-US Data Privacy Framework oder Standardvertragsklauseln: Keine Angabe des Anbieters.
- Zertifikate
- SOC 2 Type II: Der Anbieter gibt an, SOC 2 Type II auditiert zu sein; der Bericht ist laut Doku über das LiteLLM Trust Center (trust.litellm.ai, Vanta-basiert) erhältlich. Prüfzeitraum und Auditor werden öffentlich nicht genannt. ISO 27001, BSI C5: Keine Angabe des Anbieters.
- Besonderheiten
- LiteLLM ist ein Open-Source-LLM-Gateway unter MIT-Lizenz; nur der Ordner enterprise/ im Repository steht unter einer kommerziellen Lizenz. Vollständiges Selbsthosting ist möglich und ein Offline-Modus zur Reduzierung ausgehender Verbindungen ist dokumentiert; Telemetrie ist standardmäßig aus, Docker-Images sind signiert (cosign) und schwachstellengescannt. Enterprise ergänzt SSO, RBAC, SCIM und Audit Logs; öffentliche Rechtstexte (Privacy Policy, Terms, DPA) fehlen jedoch.
Einordnung für den Einsatz in Deutschland
Für deutsche Firmen ist LiteLLM vor allem als selbst gehostetes Gateway interessant: Die Datenverarbeitung bleibt in der eigenen Infrastruktur, und Inhalte fließen nur zu den selbst gewählten und selbst konfigurierten LLM-Anbietern, mit denen eigene AV-Verträge nötig sind. Datenschutzrechtlich ist damit weniger der Anbieter als die eigene Konfiguration entscheidend, insbesondere das abschaltbare, unverschlüsselte Logging von Prompts in der Proxy-Datenbank. Fehlende öffentliche Rechtstexte des US-Anbieters (Privacy Policy, Terms, DPA) sind beim reinen Selbsthosting verschmerzbar, sollten aber bei Enterprise-Verträgen vor Abschluss eingefordert werden. Der angegebene SOC-2-Type-II-Nachweis ist nur über das Trust Center auf Anfrage einsehbar.
Quellen (7)
- LiteLLM Docs: Data Privacy and Security
- LiteLLM Docs: Compliance (SOC 2 Type II)
- LiteLLM Docs: Security and Encryption FAQ
- LiteLLM Website: Security
- LiteLLM Website: About (Firma, Sitz, Gründer)
- LiteLLM Website (Produkt, Varianten, Footer mit Firmenname)
- GitHub BerriAI/litellm: LICENSE (MIT, Ausnahme enterprise/)
Was sich bei LiteLLM geändert hat
- Datenschutz-Profil anhand der aktuellen Anbieterangaben geprüft und ergänzt (Serverstandort, AV-Vertrag, Training, Speicherung, Drittland, Zertifikate).
📋 Inhaltsverzeichnis
Was ist LiteLLM?
LiteLLM ist ein Open-Source-API-Proxy, der es ermöglicht, über eine einzige OpenAI-kompatible Schnittstelle auf über 100 verschiedene KI-Modelle zuzugreifen — von OpenAI und Anthropic über Mistral und Google bis hin zu lokalen Modellen via Ollama. Für Entwickler und Unternehmen löst LiteLLM eines der größten Probleme beim KI-Einsatz: die Abhängigkeit von einem einzelnen Anbieter. Der Kernvorteil ist die Vereinheitlichung: Statt für jeden Anbieter eine eigene API-Integration zu pflegen, schreibt man den Code einmal gegen die LiteLLM-API, und LiteLLM übersetzt die Anfrage automatisch in das Format des jeweiligen Anbieters.
Wenn ein Anbieter ausfällt, kann man in Sekunden auf einen anderen umschalten — ohne Code-Änderungen. LiteLLM bietet zentrale Features für den Enterprise-Einsatz: Budgetverwaltung pro Team oder Projekt, Rate-Limiting, Logging aller Anfragen, A/B-Testing verschiedener Modelle und automatisches Fallback bei Ausfällen. Für DSGVO-Compliance kann LiteLLM so konfiguriert werden, dass bestimmte Anfragen ausschließlich an EU-basierte Modelle oder lokale Instanzen geroutet werden.
LiteLLM ist kostenlos und Open Source, verfügbar als Python-Paket und Docker-Container. Das Tool ist vollständig kostenlos nutzbar und erfordert keine Kreditkarte. Für professionelle Anwender lohnt sich ein Blick auf die Nutzungslimits, die bei kostenlosen Plänen häufig eingeschränkt sind.
Für Entwicklerteams ist die Integration in bestehende Workflows entscheidend: Unterstützt das Tool die genutzten IDEs und Programmiersprachen? Wie verhält es sich mit proprietärem Code in Bezug auf Datenschutz und Trainingsausschluss? GitHub Copilot Business und Cursor Pro bieten hier Opt-out-Optionen für das Modelltraining.
✨ Features & Funktionen
LiteLLM bietet 8 leistungsstarke Funktionen:
100+ KI-Modelle über eine API
OpenAI-kompatibles Format
Automatisches Fallback
Budget-Management pro Team
Rate-Limiting und Logging
A/B-Testing verschiedener Modelle
DSGVO-Routing möglich
Docker und Kubernetes Support
⚖️ Vor- & Nachteile im Detail
Basierend auf echten Nutzererfahrungen, Tests und Community-Feedback:
✓ Vorteile
- Eliminiert Vendor Lock-in
- Zentrale Kostenkontrolle
- Einfache Migration zwischen Anbietern
- Robustes Fallback-System
- Aktive Community
✗ Nachteile
- Erfordert technisches Setup
- Zusätzliche Latenz durch Proxy
- Nicht alle Features 1:1 abgebildet
🔄 Alternativen zu LiteLLM
Wenn LiteLLM nicht das Richtige für dich ist, schau dir diese Alternativen an:
Cline
Open-Source-KI-Coding-Agent für VS Code mit eigenen API-Keys und voller Kontrolle
Details ansehen →Codestral
Mistrals Code-KI-Modell aus Europa mit 80+ Sprachen und DSGVO-Konformität
Details ansehen →Mintlify Writer
Automatische Codedokumentation direkt aus dem Quellcode generieren
Details ansehen →🏁 Unser Fazit zu LiteLLM
LiteLLM gehört zu den besten KI-Tools seiner Kategorie. Die Kombination aus hoher Leistung, gutem Preis-Leistungs-Verhältnis und einsteigerfreundlicher Bedienung macht es zur ersten Wahl für die meisten Anwendungsfälle.
Preisklasse: LiteLLM ist komplett kostenfrei – mit 5 klar erkennbaren Stärken und 3 bekannten Schwächen.
Tipp: Vergleiche LiteLLM auch mit CodeScene, GitHub Copilot, Windsurf – alles direkte Alternativen in unserer Datenbank.
Quellen & Transparenz
Dieses Tool wurde anhand öffentlich verfügbarer Informationen katalogisiert. Nutzer-Bewertungen sind besonders willkommen:
Externe Links führen zur offiziellen Website des Anbieters. Die genauen URLs zu Pricing und Privacy Policy können abweichen. Letzte Prüfung unserer Bewertung: November 2026.
❓ Häufig gestellte Fragen zu LiteLLM
War diese Bewertung hilfreich?
Nutzerbewertungen zu LiteLLM
Noch keine Bewertungen vorhanden. Sei der Erste!
Deine Erfahrung teilen
Hast du LiteLLM selbst genutzt? Hilf anderen mit deiner ehrlichen Bewertung!