Banken & Finanzen
|CS.124
Sicherheitstests eines KI-Chatbots im Bankwesen
Tests eines LLM-basierten Bank-Chatbots nach OWASP Top 10 for LLM Applications 2025: Prompt Injection, Datenoffenlegung, Schutz vor dem Produktivstart.
Kunde
Großes Finanzinstitut vor der Einführung eines Kunden-Chatbots
Herausforderung
Ein Finanzinstitut bereitete den Start eines Chatbots auf Basis eines großen Sprachmodells (LLM) vor, der Kundenfragen zu Bankprodukten beantwortet. Der Chatbot nutzte Kundendaten und die Geschäftslogik der Bank. Neben klassischen Anwendungsschwachstellen kamen damit LLM-spezifische Risiken hinzu: Prompt Injection, Offenlegung von Daten anderer Kunden und durch Angreifer manipulierte Modellantworten. Die Bank wollte diese Risiken bewerten lassen, bevor das System die Kunden erreicht.
Vorgehensweise
Bedrohungsmodellierung
Aufschlüsselung der Chatbot-Architektur (Modell, System-Prompt, Datenquellen, Anbindungen an Banksysteme) und Abgleich mit den OWASP Top 10 for LLM Applications 2025, u. a. Prompt Injection, Sensitive Information Disclosure, Improper Output Handling, Excessive Agency und System Prompt Leakage.
Prompt-Injection-Tests
Versuche, die Schutzmechanismen des Modells (Guardrails) zu umgehen, Jailbreaks, das Erzwingen unzulässiger Aktionen und der Abruf von Daten anderer Kunden über die Anbindungen des Chatbots.
Datenoffenlegung und Ausgabeverarbeitung
Prüfung der Trennung von Kundensitzungen, Versuche, den System-Prompt auszulesen, und Prüfung, ob die Anwendung Modellantworten vor der Anzeige kontrolliert.
Empfehlungen für Schutzmaßnahmen
Berechtigungsprüfung für Daten in den Banksystemen, im Kontext des angemeldeten Kunden, unabhängig von Anweisungen im Prompt. System-Prompt ohne sensible Daten, Eingabevalidierung, Filterung der Antworten und Überwachung der Anfragen.
Ergebnisse
Vor dem Start des Chatbots fanden wir per Prompt Injection Zugriff auf Daten anderer Kunden, und das Team setzte Schutzmaßnahmen um.
Vor dem Start fanden wir Prompt-Injection-Pfade, über die man an Daten anderer Kunden gelangte.
Die Tests bestätigten, dass der Chatbot Teile seines System-Prompts preisgab.
Das Team des Instituts setzte die empfohlenen Schutzmaßnahmen um, bevor der Chatbot für Kunden freigeschaltet wurde.
Steht bei Ihnen ein ähnliches Projekt an?
30 Minuten mit einem Berater, der solche Projekte leitet. Wir legen den Umfang fest und sagen Ihnen, wovon der Preis abhängt.
Verwandte Projekte
CS.106
Sicherheitstests im Adversary-Emulation-Verfahren
Das SOC der Bank prüfte in 7 APT-Szenarien, was es erkennt, und erhielt Empfehlungen für ein stärkeres Monitoring.
CS.121
Security Architect as a Service: neuer Prüfprozess für Change Requests einer Bank in 3 Wochen
Die Bank baute einen Rückstand von über 4 Monaten ab und bewertete nach 2 Wochen neue Change Requests laufend.
CS.101
Sichere Migration des Privatkundengeschäfts in die AWS-Cloud
Die Privatkundenbank migrierte ihre Dienste ohne Störung für Kunden zu AWS und klassifizierte die Daten nach KNF-Anforderungen.
Wir besprechen Umfang, Methodik und Zeitplan.