„Kredytowa czarna skrzynka” nie w Europie, sztuczna inteligencja pod nadzorem

Korzystające ze sztucznej inteligencji systemy oceny wiarygodności kredytowej znalazły się na liście wysokiego ryzyka. Unijne regulacje sprawią, że banki i biura kredytowe będą musiały zapewnić przejrzystość działania AI w tej dziedzinie.

W połowie lipca w dzienniku urzędowym Unii Europejskiej opublikowano rozporządzenie o sztucznej inteligencji, noszące skróconą nazwę AI Act. Regulacja dotyka wielu obszarów gospodarki i usług publicznych, w tym również sektora finansowego. Ministerstwo Cyfryzacji poinformowało, że rozpoczęło już prace nad przygotowaniem ustawy, która będzie towarzyszyła wprowadzaniu nowego „porządku dla sztucznej inteligencji” w Polsce. Spójrzmy, czego można się spodziewać w obszarze na styku konsument-pożyczkodawcy.

Innowacja kontra regulacja

Podstawową ideą kryjącą się w AI Act (i wielu podobnych regulacjach) jest zachowanie równowagi pomiędzy narzucaniem reguł a umożliwieniem swobodnego rozwoju nowych technologii. Efektem jest podejście oparte na szacowanym ryzyku – tam, gdzie niebezpieczeństwa są większe, regulacje są bardziej krępujące i szczegółowe.

AI Act dokonuje podziału systemów AI na 3 typy. Wyjaśnijmy, że „system AI” w myśl rozporządzenia oznacza „system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualne”.

3 kategorie systemów sztucznej inteligencji

Pierwsza kategoria mieści zakazane systemy sztucznej inteligencji, w przypadku których uznano, że zagrożenia dla podstawowych praw obywateli są zbyt wysokie, by przeważyć nad ewentualnymi korzyściami. Mieszczą się w niej m.in.:

• systemy kategoryzujące jednostki na podstawie charakterystyk biometrycznych,
• rozwiązania mające służyć wykorzystywaniu ludzkiej podatności ze względu na niepełnosprawność, wiek czy status ekonomiczno-społeczny,
• mechanizmy wspomagające manipulowanie zachowaniami,
• systemy rozpoznawania emocji w miejscach pracy i instytucjach edukacyjnych,
• tworzenie baz danych informacji biometrycznych (rozpoznawanie twarzy) na podstawie „scrapingu” danych z internetu, kamer przemysłowych itp.

W grupie zakazanych systemów mieści się również tzw. social scoring, czyli rozwiązania przypisujące oceny, kategoryzujące jednostki, na podstawie zachowań społecznych, zwyczajów, wykroczeń itp.

Drugą grupą są systemy wysokiego ryzyka, gdzie zastosowanie sztucznej inteligencji jest dopuszczalne, ale obarczone szeregiem obowiązków. W ostatniej przegródce mieszczą się obszary, gdzie ryzyko jest niskie, a AI Act wprowadza tylko podstawowe obostrzenia, dotyczące przede wszystkim przejrzystości działania.

Scoring kredytowy trafia do kategorii wysokiego ryzyka

Na pozór kwestia dostępu do kredytu nie mieści się w tej samej grupie, co zaspokojenie np. potrzeby bezpieczeństwa czy schronienia. W preambule do rozporządzenia wskazano jednak, że „jako systemy wysokiego ryzyka należy zaklasyfikować systemy AI wykorzystywane do przeprowadzania scoringu kredytowego lub oceny zdolności kredytowej osób fizycznych, ponieważ systemy te decydują o dostępie tych osób do zasobów finansowych lub podstawowych usług, takich jak mieszkalnictwo, energia elektryczna i usługi telekomunikacyjne”.

W regulacji nawiązano do znanych już z przeszłości słabych stron automatyzacji oceny ryzyka kredytowego. „Systemy AI wykorzystywane do tych celów mogą prowadzić do dyskryminacji osób lub grup i mogą utrwalać historyczne wzorce dyskryminacji, takie jak dyskryminacja ze względu na pochodzenie rasowe lub etniczne, płeć, niepełnosprawność, wiek, orientację seksualną, lub mogą powodować powstawanie nowych rodzajów dyskryminacji” – czytamy we wprowadzeniu.

Do grupy wysokiego ryzyka z finansów trafić mogą jeszcze systemy szacujące ryzyka w ubezpieczeniach życiowych i zdrowotnych oraz mechanizmy wspierające wycenę takich produktów ubezpieczeniowych. Do grupy niskiego ryzyka zakwalifikowano natomiast narzędzia działające „na zapleczu”, np. wspierające wykrywanie oszustw finansowych i ustalanie wymogów kapitałowych.

Problem „czarnej skrzynki”

Lista wymagań wobec systemów AI z kategorii wysokiego ryzyka jest bardzo rozbudowana. Oczekuje się m.in. ciągłego monitoringu ich działania, ludzkiego nadzoru, stworzenia procedur zapewnienia odpowiedniej jakości danych wejściowych, generowania logów pozwalających na prześledzenie kolejnych kroków działania

Jednym z wymagań, które może okazać się kluczowe w przypadku przyszłości scoringu kredytowego jest tzw. explainability. Wykorzystując narzędzia AI trzeba być jednocześnie w stanie wytłumaczyć, co wpłynęło na podjętą na ich podstawie decyzję. Tymczasem cechą specyficzną części rozwiązań sztucznej inteligencji jest nieprzejrzystość. Problem ten określa się mianem efektu „czarnej skrzynki” – wiemy, jakie dane otrzymuje model i jakie generuje wnioski, nie znamy jednak w pełni kroków pośrednich.

„Aby zająć się kwestiami związanymi z efektem czarnej skrzynki i złożonością niektórych systemów AI i pomóc podmiotom stosującym w spełnianiu ich obowiązków ustanowionych w niniejszym rozporządzeniu, od systemów AI wysokiego ryzyka należy wymagać określonego stopnia przejrzystości przed wprowadzeniem ich do obrotu lub oddaniem ich do użytku. Systemy AI wysokiego ryzyka należy projektować w taki sposób, aby umożliwić podmiotom stosującym zrozumienie funkcjonowania systemu AI, ocenę jego funkcjonalności oraz zrozumienie jego mocnych stron i ograniczeń. Systemom AI wysokiego ryzyka powinny towarzyszyć odpowiednie informacje w formie instrukcji obsługi” – wskazano we wprowadzeniu do rozporządzenia.

Motyw przejrzystości przewija się w wielu innych wymaganiach, np. dotyczących gotowości do ewentualnego audytu (podmiotem nadzorującym domyślnie dla sektora finansowego będzie nadzorca tego rynku) czy „ludzkiej” kontroli. „Systemy AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby osoby fizyczne mogły nadzorować ich funkcjonowanie, zapewniać, by ich wykorzystanie było zgodne z przeznaczeniem oraz zapewniać, aby skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu” – wskazano w preambule.

W wielu komentarzach, m.in. firm doradczych, wskazuje się, że tak ostre wymagania eliminują możliwość zastosowania w credit scoringu najbardziej skomplikowanych modeli AI. Można zatem spodziewać się, że w Europie biura kredytowe, banki i pożyczkodawcy przyhamują wdrażanie najnowszych zdobyczy sztucznej inteligencji, koncentrując się na prostszych rozwiązaniach. Dodatkowo, spełnienie wymagań AI Act wymagać będzie sporych nakładów na tzw. zgodność regulacyjną i obniży rentowność biznesu.

Źródło