Bankowość i finanse
|CS.124
Testy bezpieczeństwa chatbota AI w bankowości
Testy bankowego chatbota LLM według OWASP Top 10 for LLM Applications 2025: prompt injection, ujawnianie danych, zabezpieczenia wdrożone przed startem.
Klient
Duża instytucja finansowa wdrażająca chatbota dla klientów
Wyzwanie
Instytucja finansowa przygotowywała start chatbota opartego na dużym modelu językowym (LLM), który odpowiada klientom na pytania o produkty bankowe. Chatbot korzystał z danych klientów i logiki biznesowej banku, więc obok klasycznych podatności aplikacji pojawiły się ryzyka specyficzne dla LLM: prompt injection, ujawnienie danych innego klienta i odpowiedzi modelu zmanipulowane przez atakującego. Bank chciał je ocenić, zanim system trafi do klientów.
Podejście
Modelowanie zagrożeń
Rozpisanie architektury chatbota (model, prompt systemowy, źródła danych, integracje z systemami banku) i odniesienie jej do OWASP Top 10 for LLM Applications 2025, m.in. Prompt Injection, Sensitive Information Disclosure, Improper Output Handling, Excessive Agency i System Prompt Leakage.
Testy prompt injection
Próby obejścia zabezpieczeń modelu (guardrails) i jailbreak, wymuszenia niedozwolonych działań oraz pobrania danych innych klientów przez integracje chatbota.
Ujawnianie danych i obsługa odpowiedzi
Weryfikacja izolacji sesji klientów, próby wydobycia treści promptu systemowego i sprawdzenie, czy aplikacja kontroluje odpowiedzi modelu, zanim je wyświetli.
Rekomendacje zabezpieczeń
Uprawnienia do danych sprawdzane po stronie systemów banku, w kontekście zalogowanego klienta, niezależnie od instrukcji w prompcie. Prompt systemowy bez danych wrażliwych, walidacja wejść, filtrowanie odpowiedzi i monitoring zapytań.
Rezultaty
Przed startem chatbota wykryliśmy dostęp do danych innych klientów przez prompt injection, a zespół wdrożył zabezpieczenia.
Przed startem wykryliśmy ścieżki prompt injection, które dawały dostęp do danych innych klientów.
Testy potwierdziły, że chatbot ujawniał fragmenty promptu systemowego.
Zespół instytucji wdrożył zalecane zabezpieczenia, zanim chatbot trafił do klientów.
Masz podobny projekt przed sobą?
30 minut z konsultantem, który prowadzi takie projekty. Ustalimy zakres i powiemy, od czego zależy wycena.
Powiązane projekty
CS.106
Testy bezpieczeństwa w formule Adversary Emulation
SOC banku sprawdził na 7 scenariuszach APT, co wykrywa, i dostał rekomendacje wzmocnienia monitorowania.
CS.121
Security Architect as a Service: nowy proces opiniowania zmian w banku w 3 tygodnie
Bank rozładował zaległość z ponad 4 miesięcy, a po 2 tygodniach opiniował nowe change requesty na bieżąco.
CS.101
Bezpieczna migracja bankowości detalicznej do chmury AWS
Bank detaliczny przeniósł usługi do AWS bez zakłóceń dla klientów i sklasyfikował dane według wymagań KNF.
Omówimy zakres, metodykę i harmonogram.