Zum Inhalt springen

Banken & Finanzen

|

CS.124

Sicherheitstests eines KI-Chatbots im Bankwesen

Tests eines LLM-basierten Bank-Chatbots nach OWASP Top 10 for LLM Applications 2025: Prompt Injection, Datenoffenlegung, Schutz vor dem Produktivstart.

Mit einem Experten sprechenKostenlose Beratung, unverbindlich.Antwort innerhalb von 1 Werktag

Kunde

Großes Finanzinstitut vor der Einführung eines Kunden-Chatbots

Herausforderung

Ein Finanzinstitut bereitete den Start eines Chatbots auf Basis eines großen Sprachmodells (LLM) vor, der Kundenfragen zu Bankprodukten beantwortet. Der Chatbot nutzte Kundendaten und die Geschäftslogik der Bank. Neben klassischen Anwendungsschwachstellen kamen damit LLM-spezifische Risiken hinzu: Prompt Injection, Offenlegung von Daten anderer Kunden und durch Angreifer manipulierte Modellantworten. Die Bank wollte diese Risiken bewerten lassen, bevor das System die Kunden erreicht.

Vorgehensweise

01

Bedrohungsmodellierung

Aufschlüsselung der Chatbot-Architektur (Modell, System-Prompt, Datenquellen, Anbindungen an Banksysteme) und Abgleich mit den OWASP Top 10 for LLM Applications 2025, u. a. Prompt Injection, Sensitive Information Disclosure, Improper Output Handling, Excessive Agency und System Prompt Leakage.

02

Prompt-Injection-Tests

Versuche, die Schutzmechanismen des Modells (Guardrails) zu umgehen, Jailbreaks, das Erzwingen unzulässiger Aktionen und der Abruf von Daten anderer Kunden über die Anbindungen des Chatbots.

03

Datenoffenlegung und Ausgabeverarbeitung

Prüfung der Trennung von Kundensitzungen, Versuche, den System-Prompt auszulesen, und Prüfung, ob die Anwendung Modellantworten vor der Anzeige kontrolliert.

04

Empfehlungen für Schutzmaßnahmen

Berechtigungsprüfung für Daten in den Banksystemen, im Kontext des angemeldeten Kunden, unabhängig von Anweisungen im Prompt. System-Prompt ohne sensible Daten, Eingabevalidierung, Filterung der Antworten und Überwachung der Anfragen.

Ergebnisse

Vor dem Start des Chatbots fanden wir per Prompt Injection Zugriff auf Daten anderer Kunden, und das Team setzte Schutzmaßnahmen um.

  • Vor dem Start fanden wir Prompt-Injection-Pfade, über die man an Daten anderer Kunden gelangte.

  • Die Tests bestätigten, dass der Chatbot Teile seines System-Prompts preisgab.

  • Das Team des Instituts setzte die empfohlenen Schutzmaßnahmen um, bevor der Chatbot für Kunden freigeschaltet wurde.

Steht bei Ihnen ein ähnliches Projekt an?

30 Minuten mit einem Berater, der solche Projekte leitet. Wir legen den Umfang fest und sagen Ihnen, wovon der Preis abhängt.

Wir besprechen Umfang, Methodik und Zeitplan.

Beratungstermin vereinbaren

Kostenlose Beratung, unverbindlich.

Antwort innerhalb von 1 Werktag

Termin vereinbaren