Was ist On-Device AI?

On-Device AI bezeichnet KI-Berechnungen, die direkt auf dem Endgerät des Nutzers stattfinden — Smartphone, Laptop, Tablet oder Wearable — statt in der Cloud eines Anbieters. Die Inferenz läuft also lokal auf dem Chip des Geräts, ohne dass Daten an externe Server gesendet werden. Bekannte Beispiele sind Apple Intelligence auf iPhones und Macs, Samsung Galaxy AI, Microsofts Copilot+ PCs mit NPU sowie lokale Modelle, die über Tools wie Ollama oder LM Studio auf dem eigenen Rechner laufen.

Wie funktioniert On-Device AI?

Damit KI-Modelle auf begrenzter Hardware laufen, kommen mehrere Techniken zum Einsatz:

Kleine, effiziente Modelle: Statt Modellen mit hunderten Milliarden Parametern werden kompakte Varianten (oft 1–15 Milliarden Parameter) verwendet, z. B. Gemma, Phi, Qwen oder Llama in kleinen Größen
Quantisierung: Die Modellgewichte werden von 16 Bit auf 4–8 Bit reduziert — das spart Speicher und Rechenleistung bei geringem Qualitätsverlust
Spezial-Chips (NPUs): Moderne Prozessoren von Apple, Qualcomm, Intel und AMD enthalten Neural Processing Units, die KI-Berechnungen energieeffizient beschleunigen
Hybride Ansätze: Einfache Anfragen werden lokal beantwortet, komplexe an die Cloud weitergereicht (etwa bei Apple mit "Private Cloud Compute")

Vorteile und Nachteile

Vorteile:

Maximaler Datenschutz: Daten verlassen das Gerät nicht — ideal für sensible Informationen
Offline-Fähigkeit: Funktioniert ohne Internetverbindung, etwa im Zug oder Flugzeug
Keine API-Kosten: Nach der Anschaffung der Hardware fallen keine laufenden Gebühren an
Geringe Latenz: Keine Netzwerk-Roundtrips, Antworten kommen sofort

Nachteile:

Kleinere Modelle erreichen nicht die Qualität großer Cloud-Modelle bei komplexen Aufgaben
Hardware-Anforderungen: Ausreichend RAM und moderne Chips sind Voraussetzung
Akkuverbrauch und Wärmeentwicklung auf Mobilgeräten
Updates und Modellpflege liegen beim Nutzer bzw. Gerätehersteller

Abgrenzung zu Edge AI und Cloud-KI

On-Device AI ist ein Spezialfall von Edge AI: Edge AI umfasst generell KI am "Rand" des Netzwerks (auch Industrieanlagen, Kameras, Router), während On-Device AI konkret das Endgerät des Nutzers meint. Der Gegensatz ist Cloud-KI, bei der Anfragen an Rechenzentren von OpenAI, Google oder Anthropic gehen — mit mehr Leistung, aber auch Datenübertragung und laufenden Kosten.

Bedeutung für deutsche Unternehmen

Für deutsche Unternehmen ist On-Device AI vor allem aus Datenschutz-Sicht attraktiv: Lokale Verarbeitung vermeidet Drittlandtransfers und vereinfacht die DSGVO-Konformität erheblich. Typische Einsatzszenarien sind Diktier- und Transkriptionsfunktionen, lokale Dokumentensuche, Code-Assistenten auf Entwickler-Laptops und KI-Funktionen in Branchen mit strengen Vertraulichkeitspflichten (Recht, Medizin, Finanzen). Mit immer leistungsfähigeren kleinen Modellen wird die Lücke zur Cloud-KI stetig kleiner.