Przejdź do treści

Bankowość i finanse

|

CS.124

Testy bezpieczeństwa chatbota AI w bankowości

Testy bankowego chatbota LLM według OWASP Top 10 for LLM Applications 2025: prompt injection, ujawnianie danych, zabezpieczenia wdrożone przed startem.

Porozmawiaj z ekspertemKonsultacja jest bezpłatna i niezobowiązująca.Odpowiadamy w ciągu 1 dnia roboczego

Klient

Duża instytucja finansowa wdrażająca chatbota dla klientów

Wyzwanie

Instytucja finansowa przygotowywała start chatbota opartego na dużym modelu językowym (LLM), który odpowiada klientom na pytania o produkty bankowe. Chatbot korzystał z danych klientów i logiki biznesowej banku, więc obok klasycznych podatności aplikacji pojawiły się ryzyka specyficzne dla LLM: prompt injection, ujawnienie danych innego klienta i odpowiedzi modelu zmanipulowane przez atakującego. Bank chciał je ocenić, zanim system trafi do klientów.

Podejście

01

Modelowanie zagrożeń

Rozpisanie architektury chatbota (model, prompt systemowy, źródła danych, integracje z systemami banku) i odniesienie jej do OWASP Top 10 for LLM Applications 2025, m.in. Prompt Injection, Sensitive Information Disclosure, Improper Output Handling, Excessive Agency i System Prompt Leakage.

02

Testy prompt injection

Próby obejścia zabezpieczeń modelu (guardrails) i jailbreak, wymuszenia niedozwolonych działań oraz pobrania danych innych klientów przez integracje chatbota.

03

Ujawnianie danych i obsługa odpowiedzi

Weryfikacja izolacji sesji klientów, próby wydobycia treści promptu systemowego i sprawdzenie, czy aplikacja kontroluje odpowiedzi modelu, zanim je wyświetli.

04

Rekomendacje zabezpieczeń

Uprawnienia do danych sprawdzane po stronie systemów banku, w kontekście zalogowanego klienta, niezależnie od instrukcji w prompcie. Prompt systemowy bez danych wrażliwych, walidacja wejść, filtrowanie odpowiedzi i monitoring zapytań.

Rezultaty

Przed startem chatbota wykryliśmy dostęp do danych innych klientów przez prompt injection, a zespół wdrożył zabezpieczenia.

  • Przed startem wykryliśmy ścieżki prompt injection, które dawały dostęp do danych innych klientów.

  • Testy potwierdziły, że chatbot ujawniał fragmenty promptu systemowego.

  • Zespół instytucji wdrożył zalecane zabezpieczenia, zanim chatbot trafił do klientów.

Masz podobny projekt przed sobą?

30 minut z konsultantem, który prowadzi takie projekty. Ustalimy zakres i powiemy, od czego zależy wycena.

Omówimy zakres, metodykę i harmonogram.

Umów konsultację

Konsultacja jest bezpłatna i niezobowiązująca.

Odpowiadamy w ciągu 1 dnia roboczego

Umów rozmowę