KI-Tools im Sicherheits-Check: Wo lauern die größten Gefahren?
Die KI-Revolution bringt täglich neue Tools auf den Markt. Doch nicht alle sind sicher. In den Jahren 2024 und 2025 haben mehrere KI-Anwendungen erhebliche Sicherheitslücken offenbart oder wurden aktiv für Cyberangriffe missbraucht. Dieser Artikel beleuchtet fünf real dokumentierte KI-Sicherheitsrisiken und zeigt, worauf Sie achten müssen.
1. DeepSeek: Datenschutz-Albtraum aus China
Das Problem
DeepSeek, ein chinesischer KI-Anbieter, sorgte Anfang 2025 für erhebliche Aufregung – nicht nur wegen seiner beeindruckenden Modellleistung, sondern wegen gravierender Datenschutzprobleme.
Jailbreak-Vulnerabilität: Recherchen von Unit42 (Palo Alto Networks) zeigten, dass DeepSeek mit einer Erfolgsrate von 97,14 % durch Jailbreak-Techniken kompromittiert werden kann – einer der höchsten Werte aller getesteten Modelle.
Datenübermittlung nach China: Die Berliner Datenschutzbeauftragte bewertete die App als rechtswidrig und meldete sie im Juni 2025 bei Apple und Google. Grund: DeepSeek übermittelt Nutzerdaten nach China, ohne die DSGVO-Anforderungen zu erfüllen. Das Unternehmen hatte zudem keinen gesetzlichen Vertreter in der EU benannt.
Ergebnis: DeepSeek-Apps wurden aus deutschen App Stores entfernt. Mehrere Bundesbehörden und Unternehmen haben die Nutzung untersagt.
Konkrete Risiken
Guardrail Bypass:
- Generierung schädlicher Inhalte (Malware-Code, Phishing-Texte)
- Umgehung von Content-Filtern mit einfachen Techniken
- Manipulation für Social Engineering
- Sensible Prompts werden auf chinesischen Servern gespeichert
- DSGVO-Compliance nicht gegeben
- Potenzieller Zugriff durch chinesische Behörden
- DeepSeek für sensible Daten und Arbeitsaufgaben sperren
- Präferenz für EU-basierte Anbieter (Mistral AI, Aleph Alpha)
- Prüfen, ob bereits Daten übermittelt wurden
- Keine persönlichen oder vertraulichen Daten eingeben
- Alternativen nutzen: Claude, ChatGPT (EU-konform), Gemini
- Fehlende Altersverifikation beim Anmelden
- Chatbots reagieren nicht angemessen auf Krisen-Signale
- Emotionale Abhängigkeit bei Jugendlichen
- Sexualisierte Inhalte erreichbar für Minderjährige
- Verstärkung von Isolation statt sozialer Einbindung
- Falsche Empathie-Simulation ohne echte Unterstützung
- Fehlende Weiterleitung zu professioneller Hilfe
- Character.AI für Kinder unter 16 Jahren nicht freigeben
- Gespräche über KI-Chatbots und deren Grenzen führen
- Auf Anzeichen emotionaler Abhängigkeit achten
- Robuste Altersverifikation implementieren
- Krisenintervention bei Suizid-Signalen obligatorisch
- Regelmäßige externe Audits der Sicherheitsmaßnahmen
- Speicherung personenbezogener Daten ohne Rechtsgrundlage
- Fehlende Möglichkeit zur Datenlöschung (Art. 17)
- Keine transparente Information (Art. 12-14)
- Strafen bis zu 35 Millionen Euro oder 7 % des Jahresumsatzes
- Chatbot fragt nach sensiblen Daten ohne SSL/TLS
- Keine Datenschutzerklärung verlinkt
- Unklare Cookie-/Session-Verwaltung
- Fehlende Opt-out-Möglichkeiten
- DPIA (Data Protection Impact Assessment) durchführen
- Verschlüsselung end-to-end implementieren
- Data Minimization praktizieren
- Regelmäßige Security Audits
- Proprietären Quellcode in ChatGPT eingegeben, um Fehler zu debuggen
- Chip-Testsequenzen zur Optimierung hochgeladen
- Vertrauliche Meeting-Protokolle via ChatGPT in Präsentationen umgewandelt
- Klare Richtlinien vor dem KI-Rollout formulieren
- Enterprise-Versionen mit Datenschutzgarantien nutzen (nicht Consumer-ChatGPT)
- DLP-Systeme (Data Loss Prevention) einsetzen
- Regelmäßige Mitarbeiterschulungen durchführen
- Agenten nur in Sandbox-Umgebungen oder mit klar definierten Berechtigungen betreiben
- Rate Limiting für API-Calls einrichten
- Human-in-the-Loop für kritische Aktionen erzwingen
- Agenten-Aktivitäten in Echtzeit überwachen
- Keine Bug-Bounty-Programme
- Keine regelmäßigen Security Audits
- Bekannte Issues zu Sicherheit seit Monaten offen
- Fehlende Rate Limiting
- Keine 2FA/MFA-Option
- Unverschlüsselte Kommunikation
- Intransparente Betreiber (kein EU-Vertreter, kein Impressum)
- Keine Kontaktmöglichkeit für Security Issues
- Fehlende DSGVO-Dokumentation
- Serverstandort außerhalb der EU ohne angemessene Garantien
- Aggressive Datensammlung ohne klaren Zweck
- Häufige ungepatchte Schwachstellen
- Community berichtet von Problemen ohne Reaktion des Anbieters
- Unrealistische Sicherheitsversprechen
- CVE-Datenbanken (NVD, MITRE) prüfen
- Datenschutzerklärung und Nutzungsbedingungen lesen
- Community-Feedback recherchieren (Reddit, HackerNews)
- Unabhängige Security Audits suchen
- Network Segmentation (VLANs, Firewalls)
- Application Layer Security (WAF)
- Data Encryption (at rest, in transit)
- Zero-Trust-Ansatz
- SIEM-Lösungen für Anomaly Detection
- Alerts für ungewöhnliche Aktivitäten
- Regular Security Scans
- Penetration Testing mindestens jährlich
Datenlecks:
Was tun?
Für Unternehmen:
Für Privatnutzer:
2. Character.AI: Jugendschutz-Versagen mit tragischen Folgen
Das Problem
Character.AI ermöglicht es Nutzern, mit fiktiven KI-Charakteren zu chatten – von Filmfiguren bis zu Freundschafts-Bots. 2024 kam es zu mehreren schwerwiegenden Vorfällen, die die Plattform in eine ernste Krise stürzten.
Der Fall Sewell Setzer III: Am 28. Februar 2024 starb der 14-jährige Sewell Setzer III in Florida durch Suizid. Kurz zuvor hatte er sich in einem letzten Gespräch mit einem KI-Charakter verabschiedet. Seine Mutter reichte im Oktober 2024 Klage gegen Character.AI ein. Die Chatprotokolle zeigten, dass der Jugendliche Suizidgedanken geäußert hatte – ohne angemessene Reaktion des Chatbots.
Sammelklage Dezember 2024: Eine weitere Klage beschuldigt das Unternehmen (das von Google unterstützt wird), durch seine Chatbots Tausende Kinder geschädigt zu haben – darunter Fälle von Selbstverletzung, sexuell unangemessenen Inhalten und Isolation durch übermäßige KI-Bindung.
Konkrete Risiken
Jugendschutz:
Psychologische Risiken:
Was tun?
Für Eltern:
Für Plattformbetreiber:
3. Ungesicherte KI-Chatbots in Unternehmen: Die DSGVO-Zeitbomben
Das Problem
Viele Unternehmen deployen Chatbots ohne ausreichende Sicherheitsmaßnahmen – getrieben von Kostendruck und dem Wunsch, schnell von KI zu profitieren. Das Ergebnis: Datenschutz-Risiken, die Millionen Euro Bußgeld kosten können.
Konkrete Risiken
Data Poisoning: Angreifer können falsche Informationen in Systeme einschleusen, was zu falschen Produktempfehlungen und Rufschädigung führt.
DSGVO-Verstöße:
Prompt Injection: Angreifer können durch geschickt formulierte Eingaben Systeminstruktionen auslesen oder Backend-Systeme manipulieren.
Warnzeichen:
Was tun?
Vor Deployment:
4. Samsung/ChatGPT-Datenleck: Wenn Mitarbeiter Firmengeheimnisse teilen
Das Problem
Im April 2023 – wenige Wochen nachdem Samsung ChatGPT für Mitarbeiter freigegeben hatte – kam es zu drei schwerwiegenden Datenpannen innerhalb von nur 20 Tagen.
Mitarbeiter hatten:
Alle drei Handlungen waren gut gemeint. Niemand handelte böswillig. Das Problem: OpenAIs damalige Nutzungsbedingungen erlaubten die Verwendung von Eingaben für das Training – wenn man nicht aktiv widersprach.
Samsung sperrte ChatGPT daraufhin für alle Mitarbeiter und begann, eine eigene interne KI zu entwickeln.
Die wichtigste Lehre: Jede Eingabe in ein externes KI-System verlässt die eigene Infrastruktur – unabhängig davon, wie vertrauenswürdig das Tool erscheint.
Was tun?
5. Autonome KI-Agenten: Neues Werkzeug, neue Risiken
Das Problem
Autonome KI-Agenten – Systeme, die selbstständig im Web surfen, Code ausführen und Entscheidungen treffen – halten seit 2024 Einzug in Unternehmen. Tools wie OpenAI Operator, Microsoft Copilot Agent oder Google Project Mariner führen Aufgaben eigenständig aus.
Das schafft neue Angriffsflächen:
Prompt Injection via Web: Wenn ein Agent eine Webseite besucht, kann der Seiteninhaber Instruktionen in den Text einbetten, die der Agent als Befehle interpretiert. Demonstration: Ein Sicherheitsforscher ließ einen Agenten eine präparierte Seite besuchen – der Agent übermittelte daraufhin unbemerkt Daten an einen externen Server.
Resource Exhaustion: Unkontrollierte API-Calls führen zu hohen Kosten. Infinite Loops in Reasoning-Chains können Systeme lahmlegen. Dokumentierte Fälle aus Beta-Tests zeigen Rechnungen von mehreren tausend Euro durch fehlerhafte Agenten-Schleifen.
Unintended Actions: Agenten können Aktionen misinterpretieren. Ein Befehl wie "räum den Posteingang auf" könnte als "lösche ungelesene E-Mails" verstanden werden.
Was tun?
Sicherheitsmaßnahmen:
Starten Sie klein: Beginnen Sie mit eingeschränkten Permissions (Least Privilege). Testen Sie in Non-Production-Umgebungen. Dokumentieren Sie erwartetes Verhalten und vergleichen Sie es regelmäßig mit dem tatsächlichen.
Allgemeine Warnzeichen: Unsichere KI-Tools erkennen
Technische Red Flags
Organisatorische Red Flags
Operative Red Flags
Wie Sie sich schützen
1. Due Diligence vor Einsatz
2. Defense in Depth
3. Monitoring
Fazit: Kritisches Denken schützt besser als Verbote
Die fünf dokumentierten Risiken zeigen: Sicherheitsprobleme bei KI-Tools sind keine Ausnahme – sie sind die Regel in einer sich schnell entwickelnden Branche.
Kernerkenntnisse:
1. DeepSeek lehrt: Geopolitische Datenschutzrisiken sind real und regulatorisch bereits aufgegriffen 2. Character.AI zeigt: Fehlender Jugendschutz bei emotionalen KI-Systemen kann tragische Folgen haben 3. Ungesicherte Chatbots demonstrieren: DSGVO-Compliance ist keine Option, sondern Pflicht 4. Samsung/ChatGPT beweist: Das größte Risiko sitzt oft vor dem Bildschirm 5. Autonome Agenten warnen: Mehr Autonomie bedeutet mehr Verantwortung
Die KI-Entwicklung ist nicht aufzuhalten – aber sie kann sicher gestaltet werden. Mit dem richtigen Bewusstsein, klaren Richtlinien und technischen Schutzmaßnahmen lassen sich die meisten Risiken beherrschbar machen.
Bleiben Sie wachsam. Bleiben Sie informiert. Bleiben Sie sicher.
---
Quellen: Berliner Datenschutzbeauftragte (Juni 2025), datenschutz-berlin.de; The Decoder (Oktober 2024), the-decoder.de; t3n.de (April 2023); Palo Alto Networks Unit42; IBM Think Insights