Czarna skrzynka w medycynie – ograniczenia AI i dylematy lekarzy

Efekt tzw. black box w sztucznej inteligencji to synonim braku transparentności. Jest to jedna z największych barier w zastosowaniu AI w medycynie na masową skalę. Żeby w jakimś stopniu zniwelować problem, nowe przepisy rozporządzenia UE przewidują wprowadzenie w algorytmach wysokiego ryzyka obowiązkowego rozwiązania, którego istota sprowadza się do czarnej skrzynki znanej z samolotów.

• Coraz powszechniejsze modele sztucznej inteligencji okazują się pomocne w sytuacji gdy próby szukania rozwiązania, krok po kroku, skazane są na porażkę. „Wymagają” jedynie podania zbioru danych, które uważamy za istotne, po czym wskazują rozwiązanie
• Rozwiązania te, wygodne w codziennym życiu, rodzą obawy, w takich obszarach jak medycyna czy bezpieczeństwo, gdzie nie można pozwolić sobie na rezygnację z kontroli
• Aby zminimalizować ryzyka związane z systemem AI w medycynie, Unia Europejska wprowadza konieczność rejestrowania wszystkich zdarzeń istotnych dla identyfikacji sytuacji, w których sztuczna inteligencja będzie stwarzała ryzyko dla zdrowia lub życia pacjenta
• Rejestr zdarzeń ma zadanie odtworzenia warunków i stanu „środowiska”, w jakim uruchomiono algorytm, co w przypadku, gdyby zadziałał wadliwie, ma pozwolić wyeliminować błąd oraz pozwolić na zweryfikowanie, kto za niego i jego konsekwencje odpowiada
• Problemem dla lekarzy jest to, czy AI należy traktować jako aktualną wiedzę medyczną. Nie jest  bowiem jasne, czy zastosowanie AI (odmowa takiego zastosowania albo też postąpienie wbrew jej rekomendacji) może stać się podstawą do postawienia lekarzowi zarzutu dopuszczenia się błędu w sztuce

Czarna skrzynka to pojęcie, które z reguły kojarzy się z lotnictwem. Występuje jednak również w przypadku sztucznej inteligencji (AI) – choć w nieco innym znaczeniu.

Hamulce rozwoju AI w medycynie
Sztuczna inteligencja to w zasadzie czysta matematyka. Jednak to, co sprawia, że ta technologia jest wyjątkowa, to fakt, że modele AI podają nam pomocną dłoń w sytuacji gdy próby szukania rozwiązania, krok po kroku, skazane są na porażkę – czyli kiedy nie jesteśmy w stanie zapanować nad ilością i poziomem skomplikowania warunków, które rozgałęziają możliwe ścieżki otrzymania wyniku na kształt korony rozłożystego drzewa, z tysiącami liści na szczycie.

W takich sytuacjach napisanie imperatywnego kodu jest niezwykle trudne, natomiast algorytmy AI „wymagają” od nas jedynie podania zbioru danych, które uważamy za istotne, i precyzyjnej informacji o naszym celu. Nie kontrolujemy tego, co wpływa na wyniki, właśnie tego typu rozwiązania nazywane są czarnymi skrzynkami („black box”). W skrócie  przekazujemy parametry wejścia i po chwili otrzymujemy rozwiązanie. Jest to wygodne, gdy liczy się dla nas tylko rezultat. W codziennym życiu wiele rozwiązań traktujemy właśnie w ten sposób, jednak w takich obszarach życia jak medycyna czy bezpieczeństwo nie możemy pozwolić sobie na wypuszczenie z rąk kontroli. Jest to poważny czynnik hamujący rozwój tej technologii w tych obszarach.

Rejestr zdarzeń jako czynnik kontroli AI
Żeby w jakimś stopniu zniwelować ryzyko z tym związane, nowe prawo UE przewiduje konieczność wprowadzenia tzw. rejestru zdarzeń. Będzie to rozwiązanie obowiązkowe, gdy system AI zostanie zakwalifikowany jako system wysokiego ryzyka. W tej klasie będzie znajdować się większość algorytmów wykorzystywanych w ochronie zdrowia. Rejestr zdarzeń będzie musiał być stosowany i aktywny w trakcie całego cyklu ich życia.

Funkcja ta będzie musiała zapewnić rejestrowanie wszystkich zdarzeń istotnych dla identyfikacji sytuacji, które mogą skutkować tym, że system AI wysokiego ryzyka będzie stwarzał ryzyko dla zdrowia lub życia (w rozumieniu art. 3 pkt 19 rozporządzenia UE  2019/1020 w zakresie, w jakim stwarzane przez nie ryzyko dotyczy zdrowia i bezpieczeństwa lub praw podstawowych obywateli – przyp. red.) Konieczne będzie również przechowanie generowanych przez system AI zdarzeń przez czas zgodny z przeznaczeniem, wynoszący co najmniej sześć miesięcy, o ile w mającym zastosowanie prawie unii lub prawie krajowym, dotyczącym ochrony danych osobowych, nie przewidziano inaczej.

W przypadku niektórych systemów AI poprzeczkę postawiono jeszcze wyżej. Rejestr będzie musiał zapewniać ewidencjonowanie co najmniej:

1. okresu każdego wykorzystania systemu (data i godzina rozpoczęcia oraz data i godzina zakończenia każdego wykorzystania),
2. referencyjnej bazy danych, względem której system sprawdził dane wejściowe,
3. danych wejściowych,
4. danych umożliwiających identyfikację osób fizycznych zaangażowanych w weryfikację wyników.

Nad prawidłowym działaniem systemów AI wysokiego ryzyka będzie musiał sprawować nadzór człowiek. Konieczne będzie więc wyznaczenie osoby odpowiedzialnej z odpowiednią wiedzą i należycie przeszkolonej.

Odpowiedzialność za błędy
Rejestr zdarzeń ma zadanie odtworzenie warunków i stanu „środowiska”, w jakim uruchomiono algorytm, co w przypadku gdyby zadziałał wadliwie, ma po pierwsze pozwolić wyeliminować błąd (uczenie się na błędach), a po drugie pozwolić na zweryfikowanie, kto za błąd i jego konsekwencje jest odpowiedzialny. Dotykamy tu drugiej ważnej przeszkody w stosowaniu AI w dziedzinie medycyny, to jest odpowiedzialności.

Problemów jest w tym przypadku kilka, ale jeden z ważniejszych to spór, czy AI należy traktować jako aktualną wiedzę medyczną. Innymi słowy, nie jest jasne, czy zastosowanie AI (odmowa takiego zastosowania albo też postąpienie wbrew jej rekomendacji) może stać się podstawą do postawienia lekarzowi zarzutu dopuszczenia się błędu.

Problem nie jest wcale akademicki, bo zgodnie z obowiązującą ustawą o zawodzie lekarza i lekarza dentysty lekarz ma obowiązek wykonywać zawód zgodnie ze wskazaniami aktualnej wiedzy medycznej, dostępnymi mu metodami i środkami zapobiegania, rozpoznawania i leczenia chorób, zgodnie z zasadami etyki zawodowej oraz z należytą starannością (art. 4 ustawy z 5 grudnia 1996 r. o zawodach lekarza i lekarza dentysty – Dz.U.2023.1516, t.j. z 4 sierpnia 2023 r. – przyp. red.).

O ile więc, rozwiązanie AI jest dostępne dla lekarza, to wychodząc z założenia, że wygenerowane za jego pomocą dane stanowią aktualną wiedzę medyczną, medyk nie będzie miał wyjścia. Jego obowiązkiem jest wiedzę tę zastosować.

Należyta staranność a aktualna wiedza medyczna
Jak podkreślił Sąd Najwyższy, „błędem w sztuce lekarskiej jest czynność (zaniechanie) lekarza w zakresie diagnozy i terapii, niezgodna z nauką medycyny w zakresie dla lekarza dostępnym” (wyrok Sądu Najwyższego z 1 kwietnia 1955 r. IV CR 39/54 – przyp. red.). W innym wyroku Sąd Najwyższy wyjaśnił, że pojęcie należytej staranności jest ściśle powiązane z aktualną wiedzą medyczną: „Poziom wymagań w sferze diagnozy i terapii musi wyznaczać stan wiedzy medycznej. Ten stan wiedzy medycznej należy pojmować szeroko. Obejmuje on nie tylko metody leczenia, ale stosowanie leków oraz wyposażenie medyczne placówek zdrowia” (wyrok Sądu Najwyższego z 28 października 1983 r. II CR 358/83 – przyp. red.).

Oba wyroki, choć dość stare (pochodzą odpowiednio z 1955 i 1983 r.), to do tej pory są często cytowane w orzeczeniach sądów powszechnych (przykłady: I C 544/21 – wyrok Sądu Okręgowego w Olsztynie LEX nr 3672926 – wyrok z 7 grudnia 2023 r.; I C 676/21 – wyrok Sądu Rejonowego w Kętrzynie LEX nr 3634195 – wyrok z 4 października 2023 r.; I ACa 1134/21 – wyrok Sądu Apelacyjnego w Krakowie, LEX nr 3693749 – wyrok z 12 kwietnia 2023 r.). Miały więc duży wpływ na to, jak rozumie się błąd lekarza.

Lekarze przyszłości stawiają na innowacje– Wierzę, że dzięki odpowiednio przygotowanym, sprawdzonym i zweryfikowanym algorytmom AI leczenie zostanie „uśrednione” na poziomie wyższym, niż jest obecnie – mówi dr n. med. Artur Drobniak.

Na plan pierwszy wysuwa się kwestia stosowania najlepszych metod leczenia i najlepszych środków leczniczych i technicznych temu służących (wyrok Sądu Najwyższego z 28 października 1983 r. II CR 358/83 – przyp.red.). Nieskorzystanie z dostępnego algorytmu AI w tym kontekście może być więc uznane za błąd (jeśli placówka dysponuje taką technologią). Oba wyroki zapadły jednak w czasie, kiedy nikt nie wyobrażał sobie technologii zdolnej wyręczyć lekarza w stawianiu diagnozy czy ustalaniu sposobu leczenia. Można by zatem uznać, że dawno straciły na aktualności.

Nie jest to jednak takie proste, bo odpowiedzialność za takie, a nie inne postępowanie będzie ponosił nie algorytm, ale lekarz. Rejestr zdarzeń będzie pomocny, jednak siłą rzeczy przeanalizowanie danych tam zawartych będzie wymagało czasu (a pewnie często też użycia innego algorytmu AI). Lekarz w momencie podjęcia decyzji najczęściej nie będzie miał dostępu do tej wiedzy.

Czym jest błąd dla lekarza, a czym dla AI?
Dochodzimy więc do sytuacji, w której de facto decyzje co do diagnozy czy leczenia mogą być podejmowane przez algorytm. Lekarz co prawda ma słowo decydujące, ale możemy zakładać, że w praktyce medycy dość niechętnie będą z tego prawa korzystali. Droga pod prąd może okazać się ryzykowna. Zwłaszcza że, patrząc z drugiej strony, w poważnych sprawach korzystniej jest bronić się argumentem, że nawet AI się myliła, niż w razie czego być takiego argumentu pozbawionym. Jeżeli lekarz postąpi wbrew rekomendacji AI i okaże się, że nie przyniosło to oczekiwanych rezultatów, naraża się na pytanie, czemu wynik wygenerowany przez algorytm zignorował. Medycyna to jednak nie matematyka. Nie wiadomo, czy gdyby lekarz postąpił zgodnie z podpowiedzią AI, cokolwiek by to zmieniło.

Pomijamy jeszcze jeden aspekt. Wiele zależy od tego, jak rozumiemy sam błąd. Definicja błędu dla lekarza i dla sztucznej inteligencji to zupełnie co innego. Możemy zakładać, że AI nie popełni błędu logicznego. Będzie natomiast podpowiadać takie rozwiązania, jakich od niej oczekujemy. Wywnioskuje to na bazie procesu optymalizacji zadanej przez nas funkcji celu, która ma zostać spełniona. W ten sposób AI całkiem nieźle naśladuje procesy, jakie zachodzą w ludzkim mózgu. My interpretujemy to jako wyciąganie wniosków, uogólnianie. AI będzie w stanie doszukać się analogii i powiązań w zbiorach danych, które przytłaczają nas swoim rozmiarem. Innymi słowy może dojść do celu, ale drogą, która dla nas jest nie do zaakceptowania i której nie przewidzieliśmy (np. która wyrządza pacjentowi jeszcze większą krzywdę). Może więc dojść do tego, że lekarstwo będzie gorsze od samej choroby. AI może też podsuwać rozwiązania działające jak placebo (nie pomogą, ale też nie zaszkodzą). Sama jednak świadomość u pacjenta, że zastosowano taki rodzaj technologii jak AI, może jakoś być odczuwalna.

W tym kontekście przywołane wyżej wyroki Sądu Najwyższego być może nieco trącą myszką (w końcu pochodzą z lat 50. i 80.). Z drugiej jednak strony nie doczekaliśmy się jak na razie orzecznictwa rozwiązującego jednoznacznie problem odpowiedzialności za technologię, której do końca nie rozumiemy, ale której potencjału nie sposób ignorować (i szkoda nie wykorzystać).

W medycynie droga na skróty się nie opłaca
W rzeczywistości akurat w medycynie stosowanie środków, których zasad działania nie jesteśmy w stanie poznać, nie jest niczym nowym. Istnieje wiele leków, których zasad działania na podstawowym poziomie nie rozumiemy, a mimo to są wykorzystywane i uznawane za bezpieczne, bo badania empiryczne wykazały ich skuteczność. Ze sztuczną inteligencją jest jednak inaczej. Ten sam algorytm może wygenerować zupełnie inne wyniki w zależności od tego, w jaki sposób był wcześniej trenowany i jakie dane do tego wykorzystano. Nowe rozporządzenie AI posługuje się nawet pojęciem „zatrucia danych” (tzw. model poisoning – art. 15 ust. 5 rozporządzenia AI – przyp. red.). W uproszczeniu sprowadza się do dostarczenia takich danych, które zniekształcają obraz sytuacji. Nikt przecież nie wnioskuje o średnim wzroście populacji w danym kraju na podstawie jego reprezentacji siatkówki. Niewłaściwy dobór danych do treningu może skutkować niewłaściwymi decyzjami.

Nie bez powodu nowe prawo kładzie tak duży nacisk na jakość danych i sposób trenowania. Bez jednego standardu postępowania i weryfikacji całego procesu treningu rozwój sztucznej inteligencji i mnogość rozwiązań łatwo mogą spowodować, że stracimy orientację w tym, co faktycznie jest wartościowym narzędziem, a co jedynie takie udaje.

Rynek sztucznej inteligencji rozwija się bardzo dynamicznie, a medycyna to branża, w którą celuje coraz większa liczba graczy na rynku. Najłatwiejszy obszar, w którym można szukać oszczędności, to trenowanie i dobór danych. Zdobycie tych wartościowych wcale nie jest proste. Odpowiednie ich wykorzystywanie też często wymaga wysiłku i czasu. Natomiast im niższe koszty, tym większy potencjalny zysk. Im szybciej rozwiązania zostaną dostarczone, tym większa przewaga nad konkurentami. Istnieje więc pokusa, aby iść na skróty. W końcu w black box i tak nic nie widać. Surowe przepisy w tym zakresie, wymuszające przykładanie dużej wagi do tego, jak trenowane są modele AI, wydaje się jedyną drogą, jeżeli nie chcemy sięgać zbyt często do rejestru zdarzeń, tak jak do czarnej skrzynki w samolotach.

Tekst adwokata Dariusza Tarabasza z Czyżewscy Kancelarii Adwokackiej.

Przeczytaj także: „AI lepiej diagnozuje spektrum autyzmu niż specjaliści” i „AI usprawni diagnostykę rzadkich chorób genetycznych”.