AI w medycynie pod lupą kontroli. Wstępne ustalenia audytu
Raport dotyczący wykorzystania sztucznej inteligencji (AI) w usługach publicznych w kanadyjskiej prowincji Ontario ujawnił znaczące problemy z dokładnością narzędzi AI wspierających pracę lekarzy. Systemy te, mające usprawnić proces dokumentowania wizyt pacjentów, wykazały tendencję do błędnego zapisywania rozmów, podawania niedokładnych lub mylących informacji, a w skrajnych przypadkach mogą stanowić realne zagrożenie dla zdrowia, a nawet życia pacjentów.
W kontekście medycyny w Ontario, systemy AI często błędnie transkrybują rozmowy lekarzy z pacjentami, dopisując nieistniejące informacje i sugestie dotyczące leczenia. Systemy transkrypcji nierzadko pomijają kluczowe dane zdrowotne, co rodzi obawy dotyczące prywatności i bezpieczeństwa pacjentów.
Błędy i „halucynacje” AI w dokumentacji medycznej
Audyt przeprowadzony przez urząd ontaryjskiej audytorki generalnej, Shelley Spence, wykazał, że aż 45% systemów AI rejestrujących rozmowy lekarzy z pacjentami i przetwarzających je w notatki medyczne dopisywało fałszywe informacje oraz sugerowało plany leczenia, w tym badania krwi, mimo że nie padły one w trakcie rozmowy. Ten program, częściowo finansowany przez rząd prowincji, miał na celu wsparcie lekarzy, personelu pielęgniarskiego i terapeutów.
W ramach testów skuteczności transkrypcji AI, w symulowanych rozmowach pacjentów z lekarzami, wykryto nie tylko dopisywanie zaleceń, ale także tzw. „halucynacje” – czyli fałszywe lub wprowadzające w błąd informacje. Jak podkreślono w raporcie, takie nieścisłości „mogłyby wpłynąć na zdrowie pacjentów”. Przykładowo, notatki zawierały zapisy o braku „skupisk tkanek” lub o odczuwanym przez pacjenta niepokoju, mimo że takie kwestie nie były poruszane podczas rozmowy.
Poważne luki w systemach i ryzyko dla danych pacjentów
Szczegółowa analiza wykazała, że w zapisach rozmów sporządzonych przez 12 z 20 testowanych systemów rejestracji, pojawiały się wzmianki o zastosowaniu innego leku niż ten przepisany przez lekarza. Dodatkowo, 17 z 20 systemów pominęło kluczowe informacje dotyczące zdrowia psychicznego pacjenta. Niepokojący jest również fakt, że ponad połowa dostawców narzędzi AI nie posiadała certyfikatów potwierdzających ich bezpieczeństwo.
Systemy transkrypcyjne stanowią potencjalne zagrożenie nie tylko dla zdrowia pacjentów, ale również dla bezpieczeństwa ich danych osobowych. Raport przytacza przykład szpitala w Ontario, gdzie system sporządzania notatek zarejestrował prywatne dane pacjenta, o którym dyskutowali lekarze, a następnie rozesłał je do obecnych i byłych pracowników placówki.
Oficjalne reakcje i skala użycia AI w służbie zdrowia
Według kanadyjskiego nadawcy publicznego CBC, kanadyjskie ministerstwo zdrowia poinformowało, że około 5 tysięcy lekarzy w Ontario korzysta z systemów AI do transkrypcji rozmów z pacjentami. Dotychczas nie odnotowano przypadków, w których te narzędzia zaszkodziłyby pacjentom. Resort podkreślił, że lekarze są zobowiązani do weryfikacji notatek sporządzonych przez AI przed ich dodaniem do dokumentacji medycznej pacjenta, a przed rozpoczęciem rozmowy z lekarzem wymagana jest zgoda pacjenta na użycie narzędzia AI.
W raporcie audytorki generalnej przypomniano o wdrożeniu w Wielkiej Brytanii w kwietniu ubiegłego roku zasad mających na celu zwiększenie bezpieczeństwa użycia systemów transkrypcji notatek, w tym zalecenie korzystania wyłącznie z systemów, których bezpieczeństwo zostało przetestowane przez odpowiednie urzędy.
Szerszy problem wdrażania AI w administracji publicznej
Narzędzia AI do sporządzania notatek dla pracowników służby zdrowia stanowią jedynie część szerszego problemu związanego z wykorzystaniem AI przez urzędników publicznych. Autorzy raportu wskazują, że rządowi urzędnicy mieli dostęp do niebezpiecznych stron internetowych, co stwarza ryzyko nieautoryzowanego dostępu do ważnych danych. Co więcej, tylko 3% pracowników rządowych instytucji przeszło szkolenie z użycia AI, przy czym szkolenie to nie było obowiązkowe. Urząd audytora generalnego planuje za dwa lata sprawdzić, jak wdrożono zalecenia dotyczące zwiększenia bezpieczeństwa.
Wyniki Biznes Fakty:
- Dla pracodawców: Wdrażanie systemów AI, szczególnie w sektorze wrażliwym jakim jest medycyna, wymaga rygorystycznej weryfikacji bezpieczeństwa, testowania dokładności oraz zapewnienia odpowiedniego szkolenia personelu. Należy analizować potencjalne ryzyko dla danych i zdrowia pacjentów.
- Dla pracowników/pacjentów: Ważne jest świadome korzystanie z narzędzi AI i rozumienie ich ograniczeń. W medycynie kluczowa pozostaje rola człowieka w weryfikacji informacji generowanych przez AI oraz prawo pacjenta do świadomej zgody na stosowanie takich technologii.
Więcej informacji na : www.pulshr.pl