LMArena (Chatbot Arena)

LMArena, auch bekannt als Chatbot Arena, ist eine offene Benchmark-Plattform zur Bewertung großer Sprachmodelle durch menschliche Präferenzen, die eine der einflussreichsten und meistzitierten Ranglisten in der KI-Community bereitstellt. Das Tool richtet sich an KI-Forscher, Entwickler, Unternehmen und alle, die fundierte Entscheidungen darüber treffen möchten, welches Sprachmodell für ihre spezifischen Anforderungen am besten geeignet ist. Das Kernprinzip ist einfach und wirkungsvoll: Nutzer stellen eine Frage und erhalten Antworten von zwei anonymen Sprachmodellen.

Nach dem Vergleich stimmen sie für die bevorzugte Antwort, und erst danach werden die Identitäten der Modelle enthüllt. Aus über 6 Millionen solcher Nutzerbewertungen werden Elo-Ratings berechnet — dasselbe Bewertungssystem, das auch im Schach verwendet wird. Die statistische Methodik nutzt eine Bootstrap-Technik mit 1.000 Permutationen der Online-Spiele für stabile Bewertungen und ermöglicht die schnelle Integration neuer Modelle.

Fortgeschrittene statistische Verfahren, vom Bradley-Terry-Modell bis zu E-Values, sorgen für zuverlässige und stichprobeneffiziente Rankings. Die Plattform hat über 90 Sprachmodelle bewertet, darunter kommerzielle Modelle wie GPT-4 und Gemini sowie Open-Source-Modelle wie Llama und Mistral. Die gesamte Plattform einschließlich UI-Frontend, Model-Serving-Backend und Bewertungspipelines ist Open Source (FastChat), sodass jeder die Arena klonen, prüfen oder eine eigene Instanz betreiben kann.

LMArena ist vollständig kostenlos nutzbar und wird von der Community getragen.