Solar

Solar ist ein 10,7-Milliarden-Parameter-Modell des koreanischen Unternehmens Upstage und zeichnet sich durch eine innovative Architektur namens 'Depth Upscaling' aus. Bei diesem Verfahren wird ein kleineres vortrainiertes Modell durch Hinzufügen zusätzlicher Schichten vergrößert und dann weitertrainiert — eine effiziente Methode, die weniger Rechenressourcen benötigt als das Training eines Modells von Grund auf. Solar erreicht damit eine Qualität, die deutlich über dem liegt, was die relativ geringe Parameterzahl vermuten lässt.

Das Modell wurde besonders für Koreanisch und Englisch optimiert und liefert in beiden Sprachen gute Ergebnisse. Auch auf Deutsch sind die Ergebnisse solide, wenn auch nicht auf dem Niveau speziell europäischer Modelle. Die kompakte Größe von 10,7B macht Solar zu einem effizienten Modell für den lokalen Betrieb — etwa 8 GB VRAM genügen für den quantisierten Betrieb.

Allerdings steht Solar unter der CC-BY-NC-SA-Lizenz, die kommerzielle Nutzung ausschließt. Für nicht-kommerzielle Projekte, Forschung und persönliche Nutzung ist das Modell jedoch frei verfügbar. Upstage hat mit Solar gezeigt, dass auch kleinere Unternehmen aus Asien innovative Beiträge zur Open-Source-KI leisten können.

Das Depth-Upscaling-Verfahren hat in der Forschungsgemeinschaft viel Aufmerksamkeit erregt und wird von anderen Teams weiterentwickelt. Solar eignet sich besonders für Nutzer, die ein kompaktes, effizientes Modell mit guter multilingualer Unterstützung suchen und keine kommerzielle Lizenz benötigen.