9 lutego 2022

Czy warto walidować procesy i modele? 9 najważniejszych pytań i odpowiedzi.

Przeprowadziłem wywiad z ekspertem z naszego zespołu data science. Odpowiedział na pytania dotyczące różnic między walidacją ilościową a jakościową i czy w organizacjach z małym wolumenem danych można przeprowadzić walidację.

1. Czym różni się walidacja ilościowa i jakościowa?

2. Jak to jest z walidacją procesów?

Procesy kredytowe mogą być nieoptymalnie wdrożone, mogą powodować zbyt dużą liczbę odrzuceń w procesie aplikacji lub odwrotnie, akceptować zbyt ryzykowne wnioski. Walidacja procesów umożliwia weryfikację wrażliwych miejsc w procesie, uwzględnia również sprawdzenie roli poszczególnych osób decyzyjnych uwikłanych w realizację procesu.

3. Jaki cel ma walidacja procesów decyzyjnych?

Celem walidacji procesów jest ogólnie rozumiana optymalizacja procesu wraz z minimalizacją kosztów i usprawnieniem elementów procesu poprzez skrócenie czasu jego realizacji.

4. Jak można zwalidować reguły decyzyjne, modele eksperckie?

Walidacja modeli eksperckich może być przeprowadzona tylko przez osoby z dużym doświadczeniem eksperckim poprzez włączenie danych i informacji z rynku w ramach backtestingu.
Walidacja reguł eksperckich może być wykonana zarówno na poziomie ilościowym z wykorzystaniem innych danych dostępnych na rynku, jak i eksperckiej walidacji jakościowej.

5. Czy walidacja ma sens w firmach z mniejszym wolumenem wniosków?

Każda walidacja dostarcza ważnych wniosków o procesie zarządzania modelami oraz procesie kredytowym. W przypadku mniejszych portfeli, jeśli liczba danych wewnętrznych jest niewystarczająca do wszechstronnej analizy portfela, można wspomóc się benchmarkami z rynku i wiedzą ekspercką.
Często jednak walidacja jest wymogiem, który stawiają przed instytucją wewnętrzne lub zewnętrzne jednostki.

6. Czym się różni walidacja procesów i modeli w ocenie ryzyka,
w wykrywaniu fraudów, w crm?

Walidacja modeli i procesów w obszarze ryzyka może być uwarunkowana regulacjami nadzorczymi oraz innymi regulacjami wewnętrznymi. W zależności od rodzaju zastosowań walidacja obszaru ryzyka obejmuje odmienne specyficzne elementy dla danego obszaru, np. walidacja modeli ryzyka w procesie decyzyjnym, modeli do wymogów kapitałowych lub modeli do kalkulacji rezerw niesie inne inny zakres analiz i wskaźników.
W crm i fraudach nie ma regulacji nadzorczych. W tych wypadkach walidacja opiera się przede wszystkim o metody ilościowe i jakościowe. Walidację przeprowadza się pod kątem skuteczności modeli w obszarze wykrywania fraudów czy responsu na działania marketingowe w ramach crm.

7. Co to są benchmarki i skąd je brać?

Benchmarki oznaczają dane i informacje z podobnych portfeli występujących na rynku. Benchmarki nie są ogólnie dostępne i z reguły dostarczane są przez firmy konsultingowe, jako ekspercki know-how.

8. A co jeśli nie ma danych?

W przypadku bardzo małych liczności danych lub ich braku modele mogą być budowane jako modele eksperckie, a walidacja istniejących modeli może być przeprowadzana z wykorzystaniem eksperckiej wiedzy i benchmarków rynkowych.

9. Jak walidacja może wyglądać w przypadku małych instytucji finansowych bez wystarczającej liczby danych o defaultach?

Wtedy mówi się o populacji LDP (low default portfolio). Do walidacji modeli na populacji LDP przewidziane są specjalne metody zaaprobowane również przez nadzorcę.
Poza tym walidacja modeli i procesu kredytowego w dużej części nie wymaga informacji o defaultach i obejmuje takie obszary jak ocena rozkładów zmiennych modelowych, scoringu, ocena stabilności populacji w czasie oraz inne jakościowe analizy.