Twelve Labs

Twelve Labs ist eine bahnbrechende KI-Plattform für Video-Verständnis und -Suche, die Videos so durchsuchbar macht wie Text. Die Technologie nutzt multimodale KI-Modelle, die gleichzeitig visülle Inhalte, gesprochene Sprache, Text im Bild und Aktionen in Videos analysieren und verstehen können. Entwickler können über die Twelve Labs API natürlichsprachliche Suchanfragen an Videobibliotheken stellen und erhalten präzise Ergebnisse mit Zeitstempeln.

Statt Videos manüll zu taggen oder zu katalogisieren, versteht die KI den semantischen Inhalt und kann Fragen wie 'Zeige mir die Szene, in der der Sprecher über Nachhaltigkeit redet und ein Diagramm zeigt' beantworten. Twelve Labs bietet verschiedene Modelle an: Marengo für die Video-Suche, Pegasus für die Video-Zusammenfassung und Generierung von Text aus Videos. Die Plattform wird von namhaften Unternehmen und Medienorganisationen genutzt, um große Videobibliotheken effizient zu durchsuchen und zu analysieren.

Twelve Labs hat bedeutende Finanzierungsrunden von Investoren wie NVIDIA, Samsung und Index Ventures erhalten. Die API ist entwicklerfreundlich gestaltet mit SDKs für Python und JavaScript. Die Plattform eignet sich besonders für Medienunternehmen, E-Learning-Plattformen, Sicherheitsanwendungen und Content-Management-Systeme.

Die Plattform unterstützt über 20 Videoformate und kann Videos bis zu mehreren Stunden Länge verarbeiten. Twelve Labs wurde 2021 gegründet und hat bereits über 30 Millionen US-Dollar an Finanzierung erhalten. Die Classify-API ermöglicht die automatische Kategorisierung von Videoinhalten nach benutzerdefinierten Taxonomien.

Die Generate-API kann automatisch Kapitel, Highlights und Social-Media-Clips aus langen Videos erstellen. Die Plattform verarbeitet täglich Millionen von Videostunden.