Inkling 2 Mini: Starkes Open-Weight-Modell für den eigenen Laptop

Inkling 2 Mini: Starkes Open-Weight-Modell für den eigenen Laptop

Zwei Wochen nach dem Flaggschiff Inkling 2 Small legt Thinking Machines Lab am anderen Ende der Größenskala nach: Das am 20. November 2026 veröffentlichte Inkling 2 Mini ist ein offenes Mixture-of-Experts-Modell mit 26,4 Milliarden Parametern, das ausdrücklich für den Betrieb auf dem eigenen Rechner gedacht ist. Der Hersteller bewirbt den Neuzugang als schnelles, leistungsfähiges Modell, das klein genug für den eigenen Laptop sei. Die Gewichte stehen unter Apache-2.0-Lizenz auf Hugging Face zum Download bereit.

Geloopte Architektur: 24 Schichten, 48 Durchläufe

Von den 26,4 Milliarden Parametern sind pro Token nur 3,4 Milliarden aktiv. Die eigentliche Besonderheit ist aber die „geloopte" Transformer-Architektur: Das Modell besteht aus 24 Schichten in vier Blöcken, von denen die beiden mittleren pro Token dreimal durchlaufen werden. Effektiv ergeben sich so 48 Schichtdurchläufe — mehr Rechentiefe, ohne dass zusätzliche Gewichte gespeichert werden müssen. Entstanden ist Mini durch radikales Zusammenstreichen eines größeren Modells aus der Inkling-Trainingsreihe: Zwei Drittel der Experten wurden entfernt (128 statt 384 pro Schicht), anschließend wurde das verkleinerte Modell mit rund einer Billion Token aus einem größeren internen Inkling-Modell destilliert und per Feintuning und Reinforcement Learning nachgeschärft.

Die Gewichte liegen nativ in den Kompaktformaten NVFP4 und MXFP8 vor — der Speicherbedarf liegt damit bei nur rund 20 GB, ohne Qualitätsverlust durch nachträgliche Quantisierung. Das Modell verarbeitet Text und Bilder als Eingabe und unterstützt ein Kontextfenster von bis zu einer Million Token.

Benchmarks: Auf Augenhöhe mit Qwen3.8-27B

Thinking Machines zufolge führt Inkling 2 Mini unter allen Open-Weight-Modellen mit weniger als 100 Milliarden Parametern Benchmarks wie DeepSWE v1.1 (48,2 Prozent) und den Vals Index v2.2 (46,5 Prozent) an. Im Intelligence Index v5 von Artificial Analysis erreicht es nach Herstellerangaben 20,1 Punkte und liegt damit gleichauf mit Alibabas Qwen3.8-27B. Beim Coding-Benchmark SWE-Bench Verified stehen 79,2 Prozent zu Buche. Laut Hugging Face liegt das Modell in 32 von 48 Benchmarks vor Konkurrenten wie Gemma 4 31B, Muse Glimmer und Nemotron 3.5 Super VL — die Plattform bleibt aber vorsichtig: In eigenen Praxistests sei es „mindestens vergleichbar" mit Qwen 3.8 27B, weitere Validierung sei nötig. Schwächen räumt Thinking Machines selbst ein: Bei Mehrfach-Dialogen (MultiChallenge: 50,0 Prozent) und komplexen Vorgaben (ComplexConstraints: 33,4 Prozent) gehört das Modell nicht zur Spitze. Bemerkenswert ist die Effizienz: Im Stanford-Maß „Intelligence per Watt" erreicht Mini auf NVIDIAs DGX Spark 0,703 Punkte — gegenüber 0,430 für das ältere Qwen3.6-35B-A3B.

Lokal ausprobieren: Mac ab 32 GB RAM genügt

Zum Start läuft Inkling 2 Mini laut Hersteller über Ollama auf jedem Mac mit mindestens 32 GB RAM sowie auf NVIDIAs Desktop-KI-Rechner DGX Spark. Für llama.cpp stehen GGUF-Quantisierungen in 4 Bit (IQ4_NL) und 8 Bit (Q8_0) bereit, Apple-Silicon-Nutzer können auf MLX zurückgreifen, Server-Betreiber auf SGLang und vLLM. Auch im Modellkatalog von LM Studio ist das Modell bereits gelistet. Wie praxistauglich das ist, zeigte Thinking Machines mit einer Demo: Ein MacBook Pro mit M5-Pro-Chip und 48 GB RAM baute damit im Flugmodus — also komplett offline — einen funktionierenden Flugsimulator.

Was bedeutet das für Anwender in Deutschland?

Inkling 2 Mini ist eine der interessantesten Lokal-KI-Veröffentlichungen des Jahres für deutsche Nutzer. Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung, Feintuning und den Einbau in eigene Produkte ohne Lizenzkosten. Vor allem aber läuft das Modell komplett auf eigener Hardware: Es fließen keine Daten an US-Server ab, ein Auftragsverarbeitungsvertrag entfällt, und auch DSGVO-kritische Inhalte wie Mandanten- oder Patientendaten verlassen das Haus nicht — ein echtes Argument für Kanzleien, Praxen und Mittelständler, denen Cloud-KI bisher zu heikel war. Die Einstiegshürde ist moderat: Ein Mac mit 32 GB RAM genügt, und kompakte KI-Workstations mit NVIDIAs RTX Spark sind laut heise ab etwa 4.600 Euro erhältlich. Einen Dämpfer gibt es allerdings: Laut Model Card kann die Ausgabequalität außerhalb des Englischen niedriger ausfallen. Wer deutschsprachige Texte produktiv erzeugen will, sollte vor dem Einsatz eigene Tests fahren. Unser Rat für mittelständische Unternehmen: das Modell kostenlos über Ollama oder LM Studio ausprobieren und mit den Alternativen in unserer Übersicht lokaler KI-Modelle vergleichen.

Quellen