vLLM

vLLM ist eine Open-Source-Inferenz-Engine, die speziell für die schnelle und effiziente Ausführung großer Sprachmodelle auf lokaler Hardware optimiert wurde. Das Projekt wurde an der UC Berkeley entwickelt und hat sich seit 2023 zum De-facto-Standard für die produktive Bereitstellung von Open-Source-LLMs etabliert. Die Kerninnovation von vLLM ist PagedAttention, ein Speicherverwaltungssystem, das den GPU-Speicher für den KV-Cache deutlich effizienter nutzt als herkömmliche Lösungen.

In der Praxis bedeutet das: Mehr gleichzeitige Anfragen auf der gleichen Hardware, höherer Durchsatz und geringere Latenz. Benchmarks zeigen einen 2-4x höheren Durchsatz im Vergleich zu Standard-Inferenz-Frameworks. vLLM unterstützt alle gängigen Open-Source-Modelle: Llama, Qwen, Mistral, Gemma, DeepSeek und viele weitere.

Die API ist kompatibel mit dem OpenAI-API-Format, sodass bestehende Anwendungen ohne Code-Änderungen auf lokale Modelle umgestellt werden können. Für Unternehmen ist das ein entscheidender Vorteil: Man kann von Cloud-APIs auf lokale Modelle migrieren, ohne die gesamte Anwendungslogik umzuschreiben. Die Installation erfolgt über pip und benötigt eine NVIDIA-GPU mit CUDA-Unterstützung.

Für produktive Deployments empfiehlt sich eine GPU mit mindestens 24 GB VRAM. vLLM ist komplett kostenlos und unter Apache-2.0-Lizenz verfügbar.