Cerebras AI

Cerebras AI ist eine KI-Inferenzplattform, die auf dem weltweit größten Chip basiert und die schnellste verfügbare KI-Inferenz für große Sprachmodelle bietet — bis zu 20-mal schneller als herkömmliche NVIDIA-GPU-basierte Lösungen. Das Tool richtet sich an KI-Entwickler, Unternehmen und Forschungsteams, die Echtzeit-KI-Anwendungen, autonome Agenten und komplexe mehrstufige Reasoning-Aufgaben betreiben, die extrem niedrige Latenzen und hohen Durchsatz erfordern. Die Leistung ist beeindruckend: Llama 3.1 8B läuft mit 1.800 Tokens pro Sekunde, Llama 3.1 70B mit 450 Tokens pro Sekunde, und Llama 3.1 405B erreicht 969 Tokens pro Sekunde — das ist 12-mal schneller als GPT-4o und 18-mal schneller als Claude 3.5 Sonnet.

Diese Geschwindigkeit wird durch den einzigartigen Wafer-Scale-Chip ermöglicht, der 44 GB SRAM auf einem einzigen Chip integriert und das gesamte Modell on-chip speichert, wodurch der Speicherbandbreiten-Engpass herkömmlicher Architekturen eliminiert wird. Die Inferenz erfolgt in voller 16-Bit-Genauigkeit über eine OpenAI-kompatible API, die als Drop-in-Ersatz für bestehende Integrationen dient. Das Preismodell ist nutzungsbasiert: Llama 3.1 8B kostet 0,10 US-Dollar pro Million Tokens, Llama 3.1 70B 0,60 US-Dollar, und Llama 3.1 405B 6 US-Dollar für Input und 12 US-Dollar für Output pro Million Tokens.

Der kostenlose Plan ermöglicht den Einstieg, der Developer-Plan bietet API-Zugang zu Bruchteilen der Kosten von Alternativen, und der Enterprise-Plan umfasst feinabgestimmte Modelle und dediziertem Support.