SambaNova Cloud

SambaNova Cloud ist eine ultraschnelle KI-Inferenz-Plattform, die auf proprietärer RDU-Hardware (Reconfigurable Dataflow Unit) basiert und sich durch außergewöhnliche Geschwindigkeit bei der Verarbeitung großer Sprachmodelle auszeichnet. Im Gegensatz zu herkömmlichen GPU-basierten Lösungen nutzt SambaNova eine einzigartige Dataflow-Technologie mit einer dreistufigen Speicherarchitektur, die Datenbewegungen minimiert und dadurch schnellere Inferenz, geringere Latenz und verbesserte Energieeffizienz ermöglicht. Die Plattform bietet eine OpenAI-kompatible API, über die Entwickler Modelle wie DeepSeek-R1 mit bis zu 200 Token pro Sekunde, Llama 3.1 70B mit 461 Token pro Sekunde und Llama 3.1 405B mit 132 Token pro Sekunde bei voller Präzision ausführen können.

Die neueste Hardware-Generation, der SN50-RDU, ist der fünfte Prozessor von SambaNova und wurde speziell für agentische Inferenz-Workloads entwickelt. Er liefert laut Hersteller die fünffache Maximalgeschwindigkeit und über dreifache Durchsatzleistung im Vergleich zu Nvidia B200-GPUs bei einem durchschnittlichen Energieverbrauch von nur 20 Kilowatt pro Rack. SambaNova Cloud bietet einen dauerhaft kostenlosen Free Tier mit Zugang zu Modellen wie Llama 3.3 70B, Llama 3.1 bis 405B und Qwen 2.5 72B, mit Ratenlimits von 10 bis 30 Anfragen pro Minute je nach Modellgröße.

Zusätzlich erhalten neue Nutzer 5 Dollar Startguthaben. Für höhere Anforderungen gibt es den Developer Tier mit Pay-as-you-go-Abrechnung für erhöhte Ratenlimits. Die Plattform richtet sich an Entwickler und Unternehmen, die Echtzeit-KI-Anwendungen, Chatbots, agentische Workflows oder Batch-Verarbeitung mit minimaler Latenz betreiben möchten.