Zdrowie w sieci. ChatGPT wiarygodniejszy niż Google?

Google daje wyniki aktualniejsze, a ChatGPT obiektywniejsze w przypadku zapytań dotyczących choroby Alzheimera i innych form demencji – wykazało badanie opisane na łamach „Journal of Medical Internet Research”.

Autorzy badania weryfikującego wiarygodność informacji medycznych podawanych przez Google i ChatGPT przyznali, że choć informacje od modelu językowego Google były najaktualniejsze, to jednak mocno zniekształcone przez poszukujących klientów dostawców usług i producentów. Jednocześnie ChatGPT, który jest zdecydowanie bardziej obiektywny, nie ma dostępu do najświeższej wiedzy medycznej.

– Jeśli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się zapewne stanie w ciągu najbliższych kilku lat – mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.

Przełomowe badania
Interdyscyplinarne badanie pod kierownictwem prof. Vagelisa Hristidisa przeprowadzili informatycy z Uniwersytetu Kalifornijskiego w Riverside oraz klinicyści z University of Alabama i Florida International University. Przesłali oni 60 zapytań zarówno do sztucznej inteligencji stworzonej przez Google, jak i do udostępnionego przez OpenAI ChatGPT. Były to typowe zapytania od osób żyjących z demencją i ich rodzin – codziennie tysiące takich pytań pojawia się w wyszukiwarkach internetowych.

Naukowcy skupili się na demencji, ponieważ na zaburzenia z tej grupy cierpi już ponad sześć milionów Amerykanów. – Badania pokazują, że opiekunowie osób z demencją są jednymi z najbardziej zaangażowanych w zdobywanie informacji zdrowotnych z internetu, ponieważ to właśnie oni często muszą podejmować ważne decyzje dotyczące opieki nad chorym bliskim – wyjaśniają.

Połowa użytych w badaniu pytań dotyczyła informacji o samym procesie chorobowym, a połowa usług, które mogłyby pomóc pacjentom i ich rodzinom.

ChatGPT bardziej wiarygodny niż Google?
Wyniki były bardzo zróżnicowane. – Google dawał aktualniejsze informacje i obejmował wszystkie poruszane zagadnienia – opowiada prof. Hristidis. – ChatGPT jest natomiast aktualizowany co kilka miesięcy, więc pozostaje w tyle. Jeśli na przykład w zeszłym tygodniu pojawił się jakiś nowy lek na rynku, ChatGPT o nim nie opowie – wyjaśnia.

Mimo że ChatGPT okazał się nieco „przestarzały”, to jednak on dostarczał bardziej wiarygodnych i dokładniejszych informacji niż Google. Zdaniem naukowców dzieje się tak, ponieważ twórcy tego pierwszego wybierają do szkolenia swojego modelu poprzez uczenie maszynowe najbardziej niezawodne strony internetowe.

W przypadku Google istnieje zaś duży problem z niezawodnością, ponieważ udzielane przez niego odpowiedzi „zasadniczo obejmują wszystko: od wiarygodnych źródeł po reklamy”.

W rzeczywistości wygląda to tak, że reklamodawcy płacą Google za wyświetlanie linków do ich witryn na górze stron z wynikami wyszukiwania. Dlatego użytkownicy często najpierw widzą odnośniki do firm poszukujących zysku, próbujących sprzedać swoje usługi lub produkty związane z opieką nad chorymi. – Znalezienie wiarygodnych informacji w Google wymaga zatem pewnego poziomu umiejętności i doświadczenia użytkownika – mówi Hristidis.

Liczy się aktualna wiedza
W przypadku poszukiwania informacji nt. choroby Alzheimera bardzo ważna jest jednak aktualna wiedza, ponieważ postęp w tej dziedzinie dokonuje się każdego dnia. – Chociaż nie ma lekarstwa na tę chorobę, to wiele badań klinicznych jest w toku, a ostatnio FDA zatwierdziła obiecującą terapię dla osób we wczesnym stadium – stwierdza badacz. – Takie aktualne informacje są więc ważne dla rodzin, które chcą dowiedzieć się o ostatnich odkryciach i dostępnych metodach leczenia – dodaje.

Autorzy badania piszą, że „dodanie zarówno źródła, jak i daty informacji związanych ze zdrowiem oraz dostępności w innych językach może zwiększyć wartość obu platform, zarówno dla pracowników niemedycznych, jak i medycznych”.

Zwracają także uwagę, że zarówno model Google, jak i ChatGPT uzyskały niskie wyniki w zakresie czytelności, co oznacza, że osoby z niższym poziomem wykształcenia oraz niskimi umiejętnościami w zakresie wiedzy o zdrowiu mają ograniczone możliwości ich odpowiedniego zrozumienia.

– Według mnie ten ostatni czynnik jest jednak najłatwiejszy do poprawienia, ponieważ istnieją już narzędzia, także oparte na sztucznej inteligencji, które potrafią czytać i parafrazować tekst – wyjaśnia prof. Hristidis. – Jeśli zaś chodzi o poprawę niezawodności i dokładności, jest to o wiele trudniejsze. Nie zapominajmy, że stworzenie ChatGPT zajęło naukowcom wiele dziesięcioleci badań nad sztuczną inteligencją. To będzie powolny proces – zauważa.

Przeczytaj także: „Cztery zmiany, które uzdrowią ochronę zdrowia”.