AI lepiej diagnozuje spektrum autyzmu niż specjaliści

– Sztuczna inteligencja w diagnozie spektrum autyzmu osiąga współczynniki czułości i specyficzności na poziomie od 70 do 90 proc. Skuteczność specjalistów to od 60 do losowego 50 proc. – mówi dr n.med. Izabela Chojnicka, adiunkt na Wydziale Psychologii Uniwersytetu Warszawskiego.

Z dr Izabelą Chojnicką, która wspólnie z dr. Aleksandrem Wawerem z Instytutu Podstaw Informatyki PAN oraz dr Justyną Sarzyńską-Wawer z Pracowni Psycholingwistyki i Psychologii Poznawczej w Instytucie Psychologii PAN prowadzi interdyscyplinarne badania nad wykorzystaniem technik obliczeniowych – tzw. sztucznej inteligencji oraz technik przetwarzania języka naturalnego – w badaniach spektrum autyzmu, rozmawia Mira Suchodolska.

Spektrum autyzmu, związane z nietypowym rozwojem układu nerwowego, obejmuje wyzwania rozwojowe związane z komunikowaniem się, interakcjami społecznymi, a także występowaniem powtarzających się, nietypowych i nieelastycznych zachowań, zainteresowań i aktywności. AI wykorzystywana jest do analizy narracji mówionych oraz pisemnych. Algorytmy „uczą się” wychwytywać różnice językowe między wypowiedziami osób w spektrum autyzmu i osób neurotypowych.

Jaka jest metodologia waszych badań?

– Badania prowadzimy z użyciem różnych grup kontrolnych. Wypowiedzi osób z autyzmem porównujemy zarówno z wypowiedziami osób neurotypowych skrupulatnie dobranych pod względem wieku, płci oraz werbalnych i niewerbalnych ilorazów inteligencji, jak i osób zrekrutowanych z populacji, wśród których znajdują się także osoby z innymi niż autyzm wyzwaniami rozwojowymi czy problemami w zakresie zdrowia psychicznego. Analizom poddajemy wypowiedzi mówione oraz opowiadania napisane przez uczestników.

W prowadzonych przez nasz zespół badaniach analizom poddawaliśmy m.in. wypracowania pisane przez uczniów szkół podstawowych w ramach ogólnopolskiego egzaminu ósmoklasisty. Nikt jeszcze nie wziął na warsztat tego rodzaju danych, choć są generowane w większości krajów świata zachodniego i można z nich pozyskać duże ilości danych dla sieci neuronowych.

Narracje pozyskujemy też z użyciem różnych bodźców, m.in. z użyciem narzędzia ADOS-2. To wystandaryzowany protokół obserwacji do diagnozowania zaburzeń ze spektrum autyzmu. Zawiera różne zadania i aktywności. Jedną z nich jest na przykład opowiedzenie historii przedstawionej na obrazkach w książce. Są też narracje personalne – uczestnik opowiada o swoich doświadczeniach, o jakichś wydarzeniach ze swojego życia – mamy przygotowane różne tematy rozmowy.

Czym się różni narracja dorosłej osoby w spektrum autyzmu od narracji osoby neurotypowej?

– Zacznijmy od tego, że nazwa spektrum autyzmu wynika z tego, że jest to grupa bardzo heterogeniczna i nie ma dwóch takich samych osób w spektrum autyzmu. Trudności i umiejętności osób z autyzmem są bardzo różne, mają różne natężenie i mogą się manifestować w różny sposób. Jednak można ustalić statystyczne tendencje pojawiające się w tej grupie.

Na poziomie klinicznym np. można zaobserwować, że jak osoba neurotypowa przekazuje, co widzi na obrazku, to opowiada historię tam zawartą w postaci historii z fabułą. W przypadku osoby w spektrum autyzmu możemy się spotkać z mniejszym powiązaniem przyczynowo-skutkowym poszczególnych obrazków, większym skoncentrowaniem na szczegółach przedstawionych na poszczególnych ilustracjach niż historii jako całości.

Czyli na przykład osoba w spektrum autyzmu powie: tutaj stoi dom, tutaj stoi dziewczynka, a tam biegnie pies, a osoba neurotypowa powie: pies ucieka z domu, bo przestraszył się tego, co tam zobaczył, a dziewczynka go goni.

– Bardzo trafnie pani to opisała – w jednym opisie mamy bezpośrednio widoczne elementy, a w drugim wejście w intencje czy w stany emocjonalne bohaterów. Poza tym, jak na rysunku zawarte są jakieś elementy humorystyczne czy magiczne, nierealistyczne, to bywa, że są niedostrzegane przez osobę w spektrum albo inaczej interpretowane niż przez większość populacji.

W celu wychwycenia tego rodzaju różnic sprawdzaliśmy poziom abstrakcji wypowiedzi uczestników z wykorzystaniem modelu kategorii lingwistycznych – LCM.

Mając takie narzędzie, możemy wyliczyć dla danego uczestnika i jego odpowiedzi poziom abstrakcyjności językowej. Nasze badania wykazały istotne statystycznie różnice w zakresie poziomu abstrakcji językowej między narracjami osób z autyzmem a narracjami osób z grup kontrolnych. Dotyczyło to zarówno wypowiedzi mówionych, jak i opowiadań pisemnych. Częściej w narracjach osób neurotypowych notowaliśmy odniesienia do stanów mentalnych i emocjonalnych, które zwiększają poziom abstrakcji wypowiedzi, a w narracjach osób w spektrum jest ich statystycznie mniej, co nie znaczy, że ich nie ma.

W badaniach wykorzystywaliśmy też analizę sentymentu, czyli wydźwięku emocjonalnego. Sprawdzaliśmy liczbę słów nacechowanych emocjonalnie pozytywnie i słów nacechowanych negatywnie w narracjach. Podobnie jak w przypadku analizy abstrakcji językowej, tu także zanotowaliśmy istotne statystycznie różnice. W narracjach osób w spektrum autyzmu zanotowaliśmy mniej słów o pozytywnym nacechowaniu emocjonalnym niż w narracjach osób z grup kontrolnych.

Czy to oznacza, że osoby w spektrum autyzmu gorzej oceniają świat lub bardziej cierpią?

– Z naszych badań nie wypływa taki wniosek, gdyż nie było istotnych statystycznie różnic dla słów o nacechowaniu negatywnym, różnice wystąpiły w przypadku użycia słów o nacechowaniu pozytywnym.

Jak algorytmy radzą sobie z typowaniem osób ze spektrum autyzmu na podstawie ich narracji?

– W naszych badaniach skuteczność sztucznych sieci neuronowych była bardzo wysoka, zależnie od danych i grup osiągaliśmy współczynniki czułości i specyficzności na poziomie od 0,70 do 0,90. Takie wskaźniki zbliżone są do skuteczności narzędzi psychometrycznych stosowanych w procesach diagnostycznych czy badań przesiewowych autyzmu, co daje nadzieję, że w przyszłości uda się rozwinąć narzędzia z wykorzystaniem sztucznej inteligencji, które będą wspomagały klinicystę i zastąpią albo uzupełnią stosowane dzisiaj narzędzia typu papier i ołówek.

Jaką czułość mają klinicyści?

– W badaniach wzięli udział także tzw. sędziowie kompetentni, którzy zostali postawieni przed tym samym, co modele sztucznych sieci neuronowych do analizy tekstu, zadaniem. Sędziowie, czyli specjaliści psychologowie i psychiatrzy doświadczeni w diagnozowaniu autyzmu, mieli za zadanie ocenić, czy dana wypowiedź pochodzi od osoby w spektrum autyzmu, czy od osoby z grupy kontrolnej, nie mając żadnych dodatkowych danych na temat uczestników. Ich skuteczność była wyraźnie niższa, na poziomie mniej więcej 0,6 do 0,5, czyli 50 proc. To bardzo niska skuteczność, na poziomie losowym.

Chciałabym natomiast podkreślić, że skuteczność klinicysty w gabinecie, gdy ma on dużo więcej danych, wchodzi w kontakt z pacjentem, może obserwować inne, niewerbalne środki komunikacyjne – kontakt wzrokowy, mimikę, gestykulację, sposób mówienia – jest zasadniczo wyższa. W dodatku tych spotkań może być więcej, a oceny dokonuje zespół, a nie jedna osoba.

To narzędzie do analizy lingwistycznej, którym dysponujecie, może wyłonić jednostki, które powinny zostać poddane głębszym badaniom właśnie przez zespół klinicystów.

– To tzw. przesiew, czyli badanie przeprowadzone wśród osób z populacji, po to, aby wykryć ryzyko wystąpienia jakiejś np. choroby albo w przypadku naszej rozmowy – zaburzenia ze spektrum autyzmu. Obecnie badania przesiewowe prowadzone są z użyciem różnych kwestionariuszy, a także innych narzędzi psychometrycznych.

Na podstawie wypełnionego kwestionariusza obliczane jest występowanie ryzyka spektrum autyzmu, a osoba kierowana jest na dużo dokładniejszy i pełniejszy proces diagnostyczny. Możemy sobie wyobrazić, że obecne narzędzia typu papier i ołówek zostaną zastąpione w przyszłości metodami obliczeniowymi z użyciem AI.

Częstość diagnozowania autyzmu zwiększa się z roku na rok, podobnie jak innych zaburzeń neurorozwojowych, dostęp do specjalistów bywa albo drogi, albo ograniczony, więc takie sito przesiewowe w postaci narzędzi komputerowych w wielu obszarach globu byłoby przydatne – zwiększając dostępność i zmniejszając koszty. Zwłaszcza w krajach słabo rozwiniętych, gdzie łatwiej o smartfon niż dostanie się do dobrego psychiatry.

Jak wielu ludzi jest w spektrum autyzmu?

– Według amerykańskich centrów CDC, czyli Centers for Disease Control and Prevention, obecnie jedno na 36 dzieci otrzymuje rozpoznanie spektrum autyzmu. W Polsce nie przeprowadzono jeszcze szeroko zakrojonych badań, żeby móc zebrać takie dane epidemiczne. Przyjmuje się jednak, że wskaźnik ten wynosi 1 proc. Kolejne badania, które mamy w planach, poświęcone są dziewczynom i kobietom w spektrum autyzmu. Chcemy poddać analizom narracje kobiet i sprawdzić, czy w ich przypadku będziemy obserwować podobne zależności co w grupach badanych dotychczas, czyli takich, w których liczebnie dominowali chłopcy i mężczyźni.