Komentarz Michała Bedlickiego na temat tworzenia rankingów

– Rankingi mają jedną ważną cechę: skłaniają do upublicznienia swoich danych. Nawet jeżeli mamy wątpliwości dotyczące ich rzetelności, to możemy o nich dyskutować tylko wtedy, gdy dany podmiot uczestniczy w dobrowolnym przekazaniu danych i poddaje pod ocenę ich wiarygodność – pisze Michał Bedlicki w „Menedżerze Zdrowia”.

Komentarz Michała Bedlickiego – zastępcy dyrektora Centrum Monitorowania Jakości w Ochronie Zdrowia, który współprowadził ranking szpitali „Newsweek Polska” w latach 2003–2007 – odpowiedzialnego za ranking „Bezpieczny szpital” przygotowywany przez „Rzeczpospolitą”:
– Informacja to bez wątpienia bardzo poszukiwany towar we współczesnym świecie. Nie inaczej jest z informacją dotyczącą poziomu opieki, jaki oferuje dzisiejsze szpitalnictwo. Pytania, które stawiają autorzy tekstu „W poszukiwaniu wiarygodnych rankingów”, dotyczą wątpliwości związanych z wiarygodnością poszczególnych rankingów. W artykule podjęto próbę oceny rankingów na bazie zestawień „Newsweeka” – „World’s best hospitals 2021” i „Rzeczpospolitej” – „Bezpieczny szpital”.

Najpierw może kilka słów o metodologii. W rankingu „World’s best hospitals 2021” ocena w ponad połowie opiera się na opinii ekspertów i rówieśników zawodowych, w 15 proc. na badaniach opinii pacjentów, a w 30 proc. na wskaźnikach dotyczących kluczowych obszarów. Niestety w przypadku Polski dwie ostatnie grupy nie były brane pod uwagę ze względu na brak danych (o kwestii przekazywania danych do publicznej wiadomości w dalszej części komentarza). W rankingu opublikowanym w 2021 r. uczestniczyło 48 szpitali z Polski. Była to pierwsza edycja w tej formie. Wybrane mierniki zostały podzielone na siedem grup: śmiertelność, bezpieczeństwo opieki, rehospitalizacje, doświadczenia pacjenta, efektywność, czasowe dostarczenie opieki, skuteczność diagnostyki obrazowej. Ranking „Bezpieczny szpital” uwzględniał odpowiedzi na blisko 260 pytań podzielonych na 15 działów. Uczestniczyły w nim 182 szpitale (wyniki punktowe publikowane są dla pierwszych 100). Była to 17. edycja (szczegółowa ankieta dostępna na stronie www.cmj.org.pl).

Czy te rankingi można porównywać w celu poszukiwania odpowiedzi na pytanie o ich wiarygodność? I tak, i nie. Nie, ponieważ różnią się one metodą oceny i grupą objętą badaniem. Dlatego moim zdaniem niewłaściwe jest porównywanie miejsca, jakie zajmuje dany podmiot. W rankingu „World’s best hospitals 2021” 55 proc. jednostek to placówki ujęte również w drugim zestawieniu, natomiast w rankingu „Rzeczpospolitej” tylko 9 proc. To duża różnica ilościowa. Druga zasadnicza różnica wynikająca z metodologii dotyczy zakresu pytań i wyłączenia dużego obszaru oceny w polskiej części rankingu „Newsweeka”.

Wskazywane przez autorów wątpliwości co do rzetelności przekazywania danych przez podmioty, sugerujące przypadki „inżynierii sprawozdaniowej”, oczywiście należy brać pod uwagę. Chciałbym jednak podkreślić, że 98 proc. szpitali znajdujących się na publikowanej liście najlepszych szpitali według „Rzeczpospolitej” to podmioty poddawane również ocenie akredytacyjnej, w ramach której wiele pytań jest weryfikowanych.

Mimo tak wielu wątpliwości podjąłem próbę sprawdzenia, czy wyniki tych rankingów są rzeczywiście bardzo odmienne. Skoncentrowałem się nie na miejscach, ale na uzyskanych wynikach. W obu rankingach miejsce odnoszone jest do maksymalnej wartości – w przypadku „Newsweeka” 100 proc., w przypadku „Rzeczpospolitej” 1000 punktów. Łatwo więc sprowadzić taką ocenę do wspólnego mianownika, po wyłączeniu szpitali, które nie nadesłały ankiet do obu rankingów. Uzyskujemy grupę 17 szpitali. Tylko w czterech przypadkach różnica jest większa niż 10 punktów procentowych (ryc. 1).



Nie da się jednak porównać szpitala, który takiej ankiety nie wypełnił. I tu wracamy do wcześniejszego wątku. Otóż rankingi mają jedną ważną cechę: skłaniają do upublicznienia swoich danych. Nawet jeżeli mamy wątpliwości dotyczące ich rzetelności, to możemy o nich dyskutować tylko wtedy, gdy dany podmiot uczestniczy w dobrowolnym przekazaniu danych i poddaje pod ocenę ich wiarygodność.

I na koniec refleksja: wiarygodność metod oceny jest oczywiście różna, podobnie jak w medycynie opartej na dowodach. Znacznie niżej należy ocenić ranking oparty tylko na rekomendacjach innych, o wiele wyżej na danych przekazanych przez jednostki weryfikowanych przez zewnętrzny podmiot. Ale zarówno pierwszy, jak i drugi sposób ustępuje ocenom przeprowadzonym na podstawie przeglądów na miejscu, takich jak ocena akredytacyjna. Ta z kolei musi oddać palmę pierwszeństwa ocenom opartym na zwalidowanych wskaźnikach jakościowych i rejestrach klinicznych. Jedne nie wykluczają drugich, ale stanowią uzupełnienie w poszukiwaniu jak najbardziej wiarygodnych informacji.

Przeczytaj także: „W poszukiwaniu wiarygodnych rankingów”.

Tekst opublikowano z „Menedżerze Zdrowia” 5–6/2021. Czasopismo można zamówić na stronie: www.termedia.pl/mz/prenumerata.