Nomic Embed Text V2

Nomic Embed Text V2 ist ein bahnbrechendes Embedding-Modell, das als erstes eine Mixture-of-Experts-Architektur (MoE) für Texteinbettungen nutzt. Mit insgesamt 475 Millionen Parametern, von denen bei jeder Anfrage nur 305 Millionen aktiviert werden, bietet das Modell eine optimale Balance zwischen Leistung und Effizienz. Die MoE-Schichten bestehen aus 8 Experten mit Top-2-Routing, wodurch das Modell je nach Eingabesprache und -thema automatisch die relevantesten Spezialisten aktiviert.

Nomic Embed V2 wurde auf 1,6 Milliarden kontrastiven Paaren in über 100 Sprachen trainiert und unterstützt Kontextlängen bis zu 8.192 Token dank Rotary Positional Embeddings. Die erzeugten Embeddings können von 768 auf 256 Dimensionen gekürzt werden (Matryoshka-Darstellung), ohne signifikanten Qualitätsverlust — ideal für Anwendungen mit begrenztem Speicher. Das Modell eignet sich hervorragend für RAG-Systeme (Retrieval-Augmented Generation), semantische Suche, Dokumentenklassifikation und Clustering.

In Benchmarks übertrifft Nomic Embed V2 viele größere Modelle und bietet dabei deutlich schnellere Inferenz. Die lokale Nutzung erfolgt über Ollama, die Transformers-Bibliothek oder direkt als ONNX-Modell. Mit der Apache-2.0-Lizenz ist das Modell vollständig kommerziell einsetzbar und bietet eine datenschutzfreundliche Alternative zu Cloud-Embedding-Services wie OpenAI Ada.