Multimodal

Was bedeutet multimodal?

Multimodal bezeichnet in der Künstlichen Intelligenz die Fähigkeit eines Modells, verschiedene Arten von Daten -- sogenannte Modalitäten -- gleichzeitig zu verarbeiten und zu erzeugen. Während frühere KI-Modelle auf eine einzige Datenart spezialisiert waren (Text oder Bild oder Audio), können multimodale Modelle mehrere Modalitäten kombinieren: Text, Bilder, Audio, Video und mehr.

Die bekanntesten multimodalen Modelle sind GPT-4o (OpenAI), Gemini 1.5 und 2.0 (Google) sowie Claude mit Vision-Fähigkeiten (Anthropic). Sie können beispielsweise ein Foto analysieren und dazu eine Textbeschreibung liefern, oder gesprochene Sprache verstehen und darauf schriftlich antworten.

Welche Modalitäten gibt es?

Die wichtigsten Modalitäten, die aktülle KI-Modelle verarbeiten oder erzeugen können:

• Text: Die aelteste und am weitesten entwickelte Modalität. Alle Large Language Models verarbeiten Text.
• Bilder: Modelle können Fotos, Screenshots, Diagramme und Grafiken analysieren (Vision) oder neü Bilder erzeugen (Generierung). Tools wie DALL-E, Midjourney und Stable Diffusion sind spezialisierte Bild-Generatoren.
• Audio: Sprache-zu-Text (Speech-to-Text), Text-zu-Sprache (Text-to-Speech) und Musikgenerierung. GPT-4o kann direkt gesprochene Sprache verarbeiten und antworten.
• Video: Videoanalyse und Videogenerierung. Googles Gemini kann Videos analysieren, Tools wie Sora (OpenAI) und Runway können Videos generieren.
• Code: Obwohl technisch auch Text, wird Programmcode oft als eigene Modalität behandelt, da er spezielle Verarbeitungslogik erfordert.

Multimodale Modelle im Ueberblick

GPT-4o ("omni"): Das "o" steht für "omni" und unterstreicht den multimodalen Ansatz. GPT-4o kann Text, Bilder und Audio als Eingabe verarbeiten und Text sowie Audio als Ausgabe erzeugen. Es kann beispielsweise ein handgeschriebenes Rezept auf einem Foto lesen, Matheaufgaben von einem Whiteboard lösen oder in Echtzeit ein Gespräch führen.

Gemini 1.5/2.0 (Google): Googles Modell ist von Grund auf multimodal konzipiert. Es kann Text, Bilder, Audio und Video verarbeiten. Besonders beeindruckend: Mit seinem riesigen Kontextfenster von bis zu einer Million Tokens kann es stundenlange Videos oder ganze Codebasen analysieren.

Claude (Anthropic): Claude unterstützt Bild-Eingaben (Vision) und kann Dokumente, Fotos, Diagramme und Screenshots analysieren. Die Bildanalyse ist besonders präzise bei Dokumenten und strukturierten Inhalten.

Praxisbeispiele für multimodale KI

Multimodale KI eröffnet Anwendungsfälle, die mit reinen Textmodellen unmöglich wären:

• Dokumentenverarbeitung: Ein Foto einer Rechnung hochladen und automatisch alle relevanten Daten extrahieren -- Rechnungsnummer, Betrag, Fälligkeitsdatum. Das spart Stunden manüller Dateneingabe.
• Barrierefreiheit: KI beschreibt Bilder für sehbehinderte Menschen, transkribiert Sprache für Hörgeschädigte oder erzeugt Gebärdensprache-Avatare aus Text.
• Qualitätskontrolle: In der Fertigung analysiert KI Produktfotos und erkennt Defekte, die dem menschlichen Auge entgehen könnten.
• Medizin: Röntgenbilder, MRT-Scans und Laborberichte können gleichzeitig mit der Patientenakte analysiert werden, um Diagnosen zu unterstützen.
• Kundenservice: Ein Kunde fotografiert ein defektes Produkt, die KI erkennt das Problem und schlägt eine Lösung vor -- ohne dass ein Mitarbeiter das Bild manüll prüfen muss.
• Bildung: Schüler fotografieren eine Matheaufgabe, die KI erkennt die Formel und erklärt den Lösungsweg Schritt für Schritt.

Herausforderungen multimodaler Modelle

Trotz beeindruckender Fortschritte gibt es Herausforderungen:

• Halluzinationen bei Bildern: Modelle können Bildinhalte falsch interpretieren, etwa Text in Bildern fehlerhaft lesen oder Objekte verwechseln
• Kosten: Multimodale Eingaben (besonders Bilder und Video) verbrauchen deutlich mehr Tokens als reiner Text und sind entsprechend teurer
• Datenschutz: Bilder und Videos enthalten oft sensible Informationen. Unternehmen müssen sicherstellen, dass diese Daten DSGVO-konform verarbeitet werden
• Qualitätsunterschiede: Die meisten Modelle sind bei Text noch deutlich besser als bei Bild oder Audio. Die Modalitäten sind unterschiedlich weit entwickelt

Bedeutung für Unternehmen

Multimodale KI ist für Unternehmen besonders relevant, weil reale Geschäftsprozesse selten nur aus Text bestehen. Rechnungen kommen als PDF mit Logos und Stempeln, Kundenanfragen enthalten Fotos, Präsentationen kombinieren Text und Grafiken. Multimodale Modelle können diese realen, gemischten Daten erstmals ganzheitlich verarbeiten.

Deutsche Unternehmen sollten prüfen, welche ihrer Prozesse von multimodaler KI profitieren können. Oft sind die größten Effizienzgewinne dort zu finden, wo bisher Menschen zwischen verschiedenen Datenformaten "uebersetzen" mussten -- etwa bei der manuellen Erfassung von Papierdokumenten oder der Beschreibung von Produktbildern.

Fazit

Multimodale KI bringt Künstliche Intelligenz näher an die menschliche Wahrnehmung, die ebenfalls verschiedene Sinne gleichzeitig nutzt. Für Unternehmen bedeutet das: KI-Tools werden vielseitiger und können komplexere, realitätsnahe Aufgaben uebernehmen. Wer die Möglichkeiten multimodaler Modelle versteht, kann Prozesse automatisieren, die bisher als zu komplex für KI galten.