Granite 3

Granite 3 ist IBMs Open-Source-Sprachmodell, das speziell für den Unternehmenseinsatz entwickelt wurde. Mit 8 Milliarden Parametern ist es kompakt genug für den lokalen Betrieb auf Consumer-Hardware, bietet aber eine Qualität, die für viele Business-Anwendungen ausreicht. IBM hat bei der Entwicklung besonderen Wert auf Zuverlässigkeit, Faktentreue und die Minimierung von Halluzinationen gelegt — kritische Eigenschaften für den professionellen Einsatz.

Die RAG-Optimierung mit einer Bewertung von 4.0 macht Granite 3 zu einer guten Wahl für Wissensmanagementsysteme und Dokumentensuche in Unternehmen. IBM hat das Modell auf sorgfältig kuratierte, lizenzrechtlich einwandfreie Daten trainiert und bietet sogar eine IP-Absicherung für kommerzielle Nutzer. Die englische Chat-Qualität erreicht 4.0, Deutsch wird mit 3.0 grundlegend unterstützt.

Die Apache-2.0-Lizenz ermöglicht uneingeschränkte kommerzielle Nutzung, was zusammen mit IBMs Reputation für Enterprise-Software Vertrauen schafft. Hardware-seitig ist Granite 3 mit nur 6 GB VRAM sehr genügsam und läuft problemlos auf einer RTX 3060 oder vergleichbaren GPUs. Auch CPU-Betrieb ist möglich.

Für kleine und mittlere Unternehmen, die einen zuverlässigen lokalen KI-Assistenten ohne Cloud-Abhängigkeit benötigen, ist Granite 3 eine solide und sichere Wahl. Die Integration mit IBMs watsonx-Plattform bietet zusätzliche Möglichkeiten für Unternehmen, die bereits im IBM-Ökosystem arbeiten. IBMs langjährige Enterprise-Erfahrung spiegelt sich in der Robustheit und Vorhersagbarkeit des Modells wider.