Psychometric evaluation of the polish version of the MINI-ICF-APP – a concise measure of limitations on activity and restrictions on participation according to the international classification of functioning, disability and health (ICF) – in people with mental disorders

INTRODUCTION

The ICF [1] belongs to a group of classifications developed by the World Health Organisation (WHO) in order to describe, assess, and compare various health-related aspects of functioning and its protection in different regions of the world. It is meant to be a common, universal language for the description of health and health-related conditions which complements the picture of health violations provided by the WHO international classification of disorders and diseases [2], with information about the health resources at the disposal of a patient despite the impact of the disorder. The ICF determines the level of functioning and disability (including body functions and body structures, activity and social participation) as well as information about interactions of disorders with health-related contextual factors such as environmental and personal conditions. It seems that the ICF may be of particular importance for describing and counteracting health-related challenges associated with mental disorders, probably more so than with other disorders. Contextual aspects of psychiatric disorders are crucial for conceptualising mental disorders, describing the health resource affected by a disorder, and for solving clinical and public issues arising on the borderline between health and disorders. Unfortunately, the uses to which the ICF has been put in psychiatry so far have been rather limited in scope [3].
The ICF is a comprehensive and complex tool. In order to increase its feasibility, a number of tools used to quantify its various parts were prepared. Versions of the WHO Disability Assessment Schedule (WHODAS) [4] implement the ICF principles but differ in length (36 or 12 items) as well as in assessment precision. The so-called core sets created for particular categories and groups of disorders are more targeted instruments. In the field of mental health there are currently brief and comprehensive sets for depression, bipolar disorder and schizophrenia [5]. The use of all these tools requires, however, a lot of time, attention and preparation. In this situation, an even simpler tool is seemingly needed for everyday clinical practice and the decision-making process, especially in the area of health and mental disorders. This tool would provide a reliable assessment of functioning limitations/disability resulting from the disorders experienced. For the evaluation of daily functioning, in particular, an assessment of activity and participation restrictions is needed, as it is undertaken in clinical practice less often than the assessment of body functions and body structures similar to routine psychiatric examination.
The solution was the Mini-ICF-P – a short (12 items) tool developed by Linden and Baron [6] and then expanded (to 13 items) by themselves under the name of the Mini-ICF-APP [7, 8]. The Mini-ICF-APP is based on selected ICF categories of activity and participation which are rated on a 5-point (0–4) Likert-scale with precisely defined intervals. After summing up, these allow for the identification of an indicator describing the degree of experienced and observed limitations of activity and participation. Some Mini ICF-APP items have been directly transferred from the ICF, while others have been separated from wider categories, and some have just been generalised to some extent. The authors attempted to transfer from the ICF to the Mini ICF-APP those categories of activity and participation that are relevant to mental health. The Mini-ICF-APP items are defined as capacities (Fähigkeiten), i.e. abilities displayed by an individual in the fulfilment of the expectations related to the role performed by them in their social and personal context. Definitions of the scale intervals reflect the assessment method used in the ICF. In the first validation study performed by Linden and Baron [6], the Mini-ICF-P showed promising reliability, calculated as a correlation between the assessments of physicians/psychologists and social workers as well as the validity drawn from a reasonable correlation between the Mini-ICF-P score and scores obtained with the use of other tools which assess the severity of symptoms, motivation to work and work-related behaviour and experience. Later studies documented the correlations between the Mini-ICF-APP and incapacity for work [9-11], work productivity, and work-related concerns. Studies also revealed significant correlations between the Mini-ICF-APP and other measures of general (Global Assessment of Functioning Scale – GAF), social and occupational (Social and Occupational Functioning Assessment Scale – SOFAS), personal and social (Personal and Social Performance Scale – PSP) functioning, as well as measures of illness severity assessment ( Clinical Global Impression – CGI; Brief Symptom Inventory – BSI; Positive and Negative Syndrome Scale – PANSS) or outcome of disorders (Health of the Nation Outcome Scale – HoNOS) [12-14]. Two other language versions, namely English and Italian, are available apart from the original version in German. Conclusions on the reliability and validity of the tool were arrived at on the basis of studies involving the English version [15]. The Mini-ICF-APP scores showed high internal consistency (Cronbach’s α > 0.87), repeatability (test-retest after 4 weeks, ICC = 0.83) and inter-rater agreement (ICC = 0.87). Employed patients achieved more favourable scores than the unemployed ones; however, they were not related to the degree of temporary incapacity for work. Limitations on activity according to the Mini-ICF-APP correlated with poorer work productivity (Endicott Work Productivity Scale – EWPS), greater severity of symptoms according to BPRS, poorer occupational functioning according to SOFAS and PSP and, although to a lesser extent, with a poorer social outcome index (according to Social Outcome Index – SIX). A different study carried out by Rowland et al. [16] revealed that the Mini-ICF-APP may be a useful tool with which to assess the need for and to target employment-related support, which may be useful in the practice of a local community mental health centre.
Studies of the Italian version [17] confirmed high repeatability (test-retest after 1–2 weeks, ICC = 0.99), inter-rater agreement (ICC = 0.99), corresponding correlations with other measures of functioning (SOFAS, PSP) and severity of the symptoms (CGI-S, BPRS). Limitations captured with the use of the Mini-ICF-APP were highest in the group with diagnosed schizophrenia and subsequently in the depressive, bipolar, and anxiety groups. In a group of patients with diagnosed schizophrenia and schizoaffective disorders, apart from high inter-rater agreement (ICC > 0.81), Pinna et al. [18] confirmed the validity of the Mini-ICF-APP: correlations with greater severity of psychopathological symptoms (according to PANSS, CGI-S), poorer social (according to PSP, SOFAS) and cognitive functioning according to MMSE and the Brief Assessment of Cognition in Schizophrenia (BACS). Patients classified as clinically and functionally non-remittent and non-healing in a 2-year follow-up showed more limitations of activity. The Mini-ICF-APP factorial exploratory study [19] involving 100 patients, half with schizophrenic and the other half with bipolar disorders, revealed that a model with three factors – proficiency, relational competence and autonomy, which correlated with other validators (CGI-S, PSP, BPRS) in a diversified manner – was better suited.
The available information suggests that the Mini-ICF-APP may be a valuable tool for a feasible, reliable and valid assessment of the activity and participation restrictions described. Preparing a Polish language version of the tool would seem to be highly desirable and may contribute to a broader use of the ICF for practical and research reasons.

PURPOSE

The aim of our study was to prepare the Polish version of the Mini-ICF-APP and to determine its basic indicators of feasibility, reliability and validity in a group of patients with mental disorders.
The Polish translation of the Mini-ICF-APP (JW) was done on the basis of the second edition of the manual [8], with the kind permission of its authors and the publisher. The final version of the translation was developed as a result of a discussion (JW, MA, PŚ) on its semantic, clinical and cultural details. The instrument assesses limitations on capacity, i.e. (a) activity understood as the capacity to undertake a particular action (in contrast to its actual execution), and (b) social participation – in accordance with the assumptions and selected ICF items.
The tool comprises 13 items (Tables 1-3) rated on a 5-point ordinal scale from 0 (no impairment), through 1 (mild impairment), 2 (moderate disability), 3 (severe disability), to 4 (total disability). The potential score ranges from 0 to 52 points. The form contains a brief description of the capacity assessed. A complete definition of capacity and anchor definitions of the rating intervals for all Mini-ICF-APP items are provided in the manual [8].

METHOD

Studied group and study course

In total, 58 patients being treated at the Centre for Therapy in Community (OTS, 27 people) and on the Relapse Prevention Ward (OZN, 31 people) were examined. The OTS is a day centre with a therapeutic programme and community support for patients with chronic or recurrent severe mental disorders. The OZN is a hospital ward with a therapeutic programme aimed at opening the recovery path to patients after severe mental crises (mainly psychotic, at early-stage illness).
The study was cross-sectional and one-off. Each of the 58 patients was at the same time independently assessed with the use of the Mini-ICF-APP by three diagnosticians with varied professional backgrounds: psychiatrists, psychologists and other therapists. The assessments were based on all of the available information obtained through direct contact, observation or from interviews with families or other persons. A questionnaire and the manual were available to help with the assessment. No official training session had been conducted.
Each of the patients was assessed in terms of their current mental status and psychosocial functioning by means of well-known tools with confirmed psychometric properties. In total 174 assessments were performed with all of the tools used.

Tools

The BPRS scale [20, 21] is a short scale for the assessment of current mental status, mainly in severe mental disorders. It comprises 18 items that assess the occurrence and severity of symptoms with the use of ordinal scales of 7 intervals, from 1 (not present) to 7 (extremely severe). The scores may potentially range from 18 to 126 points. A Polish translation of the original tool was used [22]. A total mean for all items (M = 37.29; SD = 10.07; range: 18–71) and four dimensions proposed by Overall and Gorham [21], i.e.: anxious depression (M = 4.99), hostile suspiciousness (M = 7.65), thought disturbances (M = 7.35) and withdrawal retardation (M = 4.69), were determined. The psychopathological profile described by means of weighted means (by 4 items for each dimension) indicated (2.1/1.7-2.6-2.5-1.6 respectively) rather mild disorders, with a slight predominance of hostility and thought disturbances.
The GAF scale [23] is a general-purpose scale introduced into the DSM-IV manual as an auxiliary diagnostic tool. It is used to assess health-related, social and professional functioning aspects on one scale, ranging from 1 to 100. Psychometric properties are assumed as sufficient to perform a general, preliminary assessment of functioning. A Polish translation of the GAF scale with satisfactory psychometric properties was used [24].
The average score of the study group was 58.3 (SD = 14.9) and ranged from 15 to 95 points. The PSP scale [25] is used to assess social functioning based on a new construction of the previously known SOFAS scale from the DSM-IV instrumentation. It may be used for general assessment and to assess the 4 dimensions of functioning (work/study, personal and social relationships, self-care, disturbing and aggressive behaviours) on a scale from 1 to 100 points. Its intervals are more precisely defined than the SOFAS and exhibit satisfactory validation indicators. An unpublished Polish translation of the tool was used. The average score amounted to 56.7 ± 18.4 in the studied group and ranged from 17 to 95 points.

Statistical analysis

Several methods available in the package IBM SPSS Statistics, ver. 21 were used in addition to simple descriptive statistics. Cronbach’s coefficient (α) and intraclass correlation coefficient (ICC) were used in the analysis of reliability as the internal consistency, whereas the analysis of inter-rater agreement between 3 groups of diagnosticians involved an ICC (two-way random model with absolute agreement). Spearman’s rank correlation coefficients (rho) were used in the criterial validity analysis. Construct validity involved the PCA, assuming eigenvalue > 1 as a prerequisite to extract the components, and rotating the results obtained by the Varimax method with Kaiser’s normalisation.

RESULTS

Feasibility

Feasibility is understood here on the one hand as ease of use and on the other as the likelihood of being able to identify the varied characteristics of patients, useful for clinical and decision-making purposes, and also facilitating both quantification and comparison.
Observations made during our study allow us to consider the Mini-ICF-APP as an easy-to-use tool – no diagnostician participating in the study reported any difficulties while using it beyond the usual difficulties associated with clinical evaluation. This is all the more important because the study was not preceded by any training session – diagnosticians received only simple instructions and access to a manual which defines particular items and scale intervals. Some of them observed that the initial assessments required more focus and checking against the manual.
The mean scores of Mini-ICF-APP (Table 1a) are within the range of mild/moderate restrictions (1–2) and are diversified – restrictions related to “dyadic relationships” (11.) and “spontaneity” (6.) were assessed highest, whereas limitations on “mobility/traveling” (13.) and “self-care” (12.) were lowest. However, all scale intervals (0–4), from the lowest (0) to the highest (4) were used as far as all items are concerned. The percentage of assessments describing the lack of restrictions (0) ranged from 9.3% (“use of competency and knowledge”) to 59.9% (“mobility/traveling”), whereas the percentage of complete limitations (4) ranged from 0.6% (numerous items) to 4.7% (“dyadic relationships”). Having been weighted in relation to the number of items, the total sum score of the scale (17.23 points) amounted to 1.33 points, which also indicates a borderline between mild and moderate limitations as typical for the studied group.

Reliability

Cronbach’s α coefficient as the Mini-ICF-APP internal consistency measure amounts to α = 0.924 for all assessments, slightly differentiating between the diagnosticians: physicians (αL = 0.905), psychologists (αP = 0.915) and other therapists (αT = 0.944). Analogous values calculated as the inter-rater correlation coefficient amounted to: ICC = 0.901 (95% CI 0.869–0.925; p < 0.001), ICCL = 0.875 (95% CI 0.815–0.919; p < 0.001), ICCP = 0.895 (95% CI 0.845–0.932; p < 0.001), ICCT = 0.925 (95% CI 0.888–0.952; p < 0.001). ICC as an inter-rater reliability measure (Table 2) among physicians, psychologists and other therapists is high in a total assessment using the Mini-ICF-APP (ICC = 0.901). An assessment of individual items reveals a moderate- to high consistency, despite varying values (0.593–0.807). The highest consistency of assessment was observed in the case of capacity to “judge and decide” and “proactivity and spontaneity”, whereas the lowest was noted in the case of the capacity for “planning/structuring of tasks” and “resistance/endurance”.

Validity

The content face validity of the Mini-ICF-APP may be concluded on the basis of developing its items from categories described in the complete ICF.
In order to assess criterion validity (Table 3), correlation coefficients of the total Mini-ICF-APP score were analysed alongside those obtained with the use of tools constituting external criteria of  validity, and assessing related social and clinical constructs which are defined differently as: general functioning (GAF), social functioning (PSP) and severity of psychopathological symptoms (BPRS). High correlations with the GAF and PSP scores, lower ones with the total BPRS score, and only moderate ones with the psychopathological dimensions of BPRS were obtained, whereas this psychopathological profile did not differentiate the relation with the Mini-ICF-APP.
Construct validity may be concluded based on the results of the analysis of the intrinsic structure of the assessments obtained using the Mini-ICF-APP. The tool is valid if the result of its application reflects the theoretical assumptions used while constructing it. The PCA of the Mini-ICF-APP (Table 4) were performed for this purpose. Two components were extracted. After rotation, they may be rather reasonably and consistently interpreted as resources of proficiency (individual) and as resources of relations (interpersonal), which in total explain approx. 61.5% of the common variance. The greatest load of the relational factor was linked to the capacity for creating “close dyadic relationships” and “engaging in conversations and contact with others”, whereas for the proficiency factor it was “adherence to regulations and routine” and “planning and structuring of tasks”. The capacity for “mobility and traveling” was divided into two components to an almost identical degree.

DISCUSSION

The study was devoted primarily to evaluating the basic psychometric features of the Mini-ICF-APP. The issue of describing the characteristics of the studied group remained in the background. Hence, more emphasis was placed on the assessment of reliability and relatively less on the validity of the tool.
The results obtained did not differ in their general meaning from the quoted scores obtained while using the original versions of the tool [7] as well as the other language versions – English [15] and Italian [17-19]. The Mini-ICF-APP did not cause substantial difficulties for the personal assessments persons and allowed for us to obtain a varied description of the competences of the people studied, reflecting their activity and participation.
A perceivable effectiveness of using the items (item performance) was typical of the assessments of the investigators – they used all scale intervals with a varied frequency; the items differed in average severity and the average total score and scores of individual items corresponded to values anticipated in patient groups beyond the acute crisis phase, i.e. while initiating or continuing the recovery process. For example, “mobility and traveling” usually did not pose any problems for them, whereas “close (intimate) dyadic relationships” were most frequently assessed as difficult and limiting/restricting. The above-mentioned premises point to the feasibility of the scale in clinical applications, as indicated by Rowland et al. [16] based on a thorough pilot study in relation to the tasks of the British Community Mental Health Center.
The reliability of the Mini-ICF-APP recognised as an internal consistency achieved high values (> 0.875), regardless of the measure used (Cronbach’s α, ICC) and the analysed sample (average score of all measurements, measurements of particular groups of diagnosticians). In addition, reliability as a concordance of assessment of three diagnosticians’ attempts turned out to be high (ICC = 0.901) for the entire scale and significant for each item (ICC > 0.59). Due to the clinical context of the assessments in our study (stage of therapy with probable dynamic change in mental status), the authors decided not to assess the repeatability (test-retest) of the Mini-ICF-APP scores. The results of other studies listed in the introduction indicate that in a specific context they turned out to be rather repeatable – within 1–2 weeks, while controlling for changes of  mental status by means of the CGI scale (ICC = 0.993) [17] or after 4 weeks without such control but while motivating patients to take part in a retest by offering financial compensation (ICC = 0.832) [15]. Taking into account the results obtained, it may be concluded that the high reliability of the Mini-ICF-APP, understood as an internal consistency and agreement of numerous diagnosticians, justifies its clinical application. It is more difficult to evaluate the repeatability of the instrument due to a significant correlation of the studied behavioural restrictions on the one hand and mental status on the other.
Apart from the obvious, although not convincing, assumption of its face validity, the Mini-ICF-APP validity assessment conducted may be considered only as a slight approximation. As far as criterion validity goes, the results obtained confirm the positive conclusions of other authors [14, 15, 17, 18], which are based on the correlation of the Mini-ICF-APP scores with the results achieved during the application of tools assessing other constructs of functioning and the mental state of the patients studied. Additional Mini-ICF-APP validators used by other authors lead us to a similar conclusion, also with respect to other aspects of professional activity (among other things, employment, work productivity, and the duration of the incapacity for work). It seems that the number and diversity of such external validity criteria should be increased in subsequent studies in order to make increasingly effective inferences about the value of the tool. The results obtained by the authors, however, lead us to believe that the Polish version does not differ from the other language versions studied previously.
The results of the analysis of the principal components, undertaken as an approximation to the Mini-ICF-APP construct validity assessment, suggest that two sources of variability in the assessments may reveal themselves in the manner in which it was used by diagnosticians with the studied group; the first one results from the perceived limitations in proficiency of patient and the second from the perceived limitations of relations. This clear dichotomy of limitations ascertained using the Mini-ICF-APP may be considered as a reference to the “activity” described in the ICF, which is understood as an individual capacity (skill, ability) for taking a certain action on the one hand, and on the other as “participation”, i.e. interpersonal ability to engage in relations (relationships, contacts) derived from the ICF. On the basis of this interpretation, the conclusion drawn about the Mini-ICF-APP’s construct validity seems rather convincing. In another exploratory analysis, Rucci and Balestrieri [19] found that a solution consisting of three factors is best suited here – the third being interpreted as “autonomy”. As the results of factorial exploration depend both on the selected calculation methods and the clinical diversification of the study group, final conclusions regarding the internal construct of the Mini-ICF-APP require other approximations based on the analysis of more numerous groups, with more varied clinical features.
Our conclusions, which suggest that the Mini-ICF-APP is feasible, reliable and valid, support the  extended use of it. Due to the preliminary nature of the study, which is only the first attempt to assess the Polish version of the tool, the weaknesses in the study plan – such as the relatively small group of patients, the superficial description of their clinical status, and the low number of external validators – do not undermine these conclusions, but encourage further studies.

CONCLUSIONS

The principal psychometric indicators of the Polish version of the Mini-ICF-APP suggest its feasibility, reliability and validity are comparable to the results obtained with the use of the original and other known language versions. They justify using this tool in further validation studies and open a path to the recognition of it as a valuable, concise, easy-to-use measure of activity limitations and participation restrictions related to mental disorders, as derived from the ICF classification.

Acknowledgements

The authors would like to express their sincere gratitude to the creators of the Mini-ICF-APP, Prof. Michael Linden, Dr Stefanie Baron and Dr Beate Muschalla as well as Hans Huber Publishing House Hogrefe AG for making this tool available for adaptation into the Polish language, and for our study. We would also like to thank all colleagues for their kind and effective cooperation in the course of its implementation.

WPROWADZENIE

Międzynarodowa Klasyfikacja Funkcjonowania, Niepełnosprawności i Zdrowia (International Classification of Functioning, Disability and Health – ICF) [1] należy do rodziny klasyfikacji opracowanych przez Światową Organizację Zdrowia (World Health Organisation – WHO) w celu opisu, oceny i porównania różnych aspektów zdrowia i jego ochrony w różnych regionach świata. Klasyfikacja ICF ma w szczególności dopełniać obraz zaburzeń zdrowia dostarczany przez Międzynarodową Klasyfikację Chorób (International Classification of Diseases – ICD-10) [2] o charakterystykę następstw zaburzeń/chorób dla zasobów zdrowia (tj. poziomu funkcjonowania i niepełnosprawności), a także o skutki interakcji zaburzeń/chorób z kontekstem zdrowia (tj. uwarunkowaniami środowiskowymi i osobowymi).
Wydaje się, że ICF może mieć szczególnie istotne znaczenie dla opisu i przezwyciężania wyzwań zdrowotnych związanych z zaburzeniami psychicznymi, prawdopodobnie większe niż w przypadku innych zaburzeń. Kontekstowe aspekty zaburzeń psychicznych mają bowiem zasadnicze znaczenie zarówno dla samej konceptualizacji zaburzeń psychicznych, jak i dla opisu zasobu zdrowia wikłanego zaburzeniami czy dla rozwiązywania problemów klinicznych i publicznych powstających na styku zdrowia i zaburzeń. Niestety zastosowanie ICF w psychiatrii miało dotychczas raczej ograniczony zakres [3].
Klasyfikacja ICF jest narzędziem złożonym i obszernym. Dla podniesienia praktyczności jej wykorzystania przygotowano szereg narzędzi służących kwantyfikacji różnych jej fragmentów. Takimi narzędziami są posiłkujące się logiką ICF, a różniące się długością (36 lub 12 pozycji) i precyzją oceny wersje Skali Oceny Niepełnosprawności WHO (WHO Disability Assessment Schedule 2.0 – WHODAS 2.0) [4] kwantyfikujące ogólny poziom funkcjonowania i niepełnosprawności. Bardziej ukierunkowane są oceny dostępne za pomocą kluczowych zestawów (core sets) utworzonych dla poszczególnych kategorii i grup zaburzeń. W zakresie zdrowia psychicznego aktualnie udostępnione są krótsze (brief) i wyczerpujące (comprehensive) zestawy dotyczące depresji, zaburzeń dwubiegunowych i schizofrenii [5]. Z powodu swej złożoności, wykorzystanie wszystkich tych narzędzi wymaga jednak sporo czasu, uwagi i przygotowania. W tej sytuacji, dla codziennej praktyki klinicznej i orzeczniczej, zwłaszcza w dziedzinie zdrowia i zaburzeń psychicznych, potrzebne wydaje się jeszcze prostsze w konstrukcji narzędzie, które dawałoby jednak wiarygodną ocenę ograniczeń funkcjonowania/niepełnosprawności wynikających z doświadczanych zaburzeń.
Odpowiedzią na to było Mini-ICF-P, krótkie (12 pozycji) narzędzie opracowane przez Lindena i Baron [6], a potem rozwinięte (13 pozycji) przez tych autorów pod nazwą Mini-ICF-APP [7, 8]. Mini-ICF-APP bazuje na wybranych kategoriach aktywności i uczestnictwa ICF, które ocenione za pomocą 5-stopniowej (0–4) skali typu Likerta o precyzyjnie zdefiniowanych przedziałach pozwalają, po zsumowaniu, na uzyskanie wskaźnika opisującego poziom doświadczanych i obserwowanych ograniczeń aktywności i uczestnictwa. Część pozycji Mini-ICF-APP została przeniesiona z ICF bezpośrednio, część wyodrębniono spośród szerszych kategorii, część stanowi pewne ich uogólnienie. Autorzy starali się przenieść do Mini-ICF-APP te kategorie aktywności i uczestnictwa z ICF, które zachowują znaczenie dla obszaru zdrowia psychicznego. Pozycje Mini-ICF-APP definiowane są jako umiejętności (Fähigkeiten), tj. sprawności uzewnętrzniane poprzez spełnianie oczekiwań związanych z funkcją pełnioną w aktualnym kontekście społecznym i osobowym. Definicje przedziałów skal odzwierciedlają sposób oceniania wykorzystywany w ICF. W pierwszym badaniu walidacyjnym Lindena i Baron [6] Mini-ICF-P wykazała obiecującą rzetelność wyliczoną jako korelacja między ocenami lekarzy/psychologów i pracowników socjalnych, a także trafność wnioskowaną z porównania korelacji między wynikiem Mini-ICF-P a wynikami innych narzędzi oceniających nasilenie objawów, motywację i zachowania związane z pracą. W późniejszych badaniach dokumentowano korelacje między Mini-ICF-APP a innymi cechami zdolności do pracy [9–11]. Wykazywano też znaczące korelacje między Mini-ICF-APP a innymi miarami funkcjonowania ogólnego (Global Assessment of Functioning Scale – GAF), zawodowego (Social and Occupational Functioning Assessment Scale – SOFAS; Personal and Social Performance Scale – PSP) oraz miarami oceny nasilenia (Clinical Global Impression – CGI; Brief Symptom Inventory – BSI; Positive and Negative Syndrome Scale – PANSS) i skutków zaburzeń (Health of the Nation Outcome Scale – HoNOS) [12–14]. Poza oryginalną, niemiecką, znane są dwie inne wersje językowe: angielska i włoska.
Na podstawie badań za pomocą wersji angielskiej [15] wnioskowano o rzetelności i trafności narzędzia. Wyniki Mini-ICF-APP wykazały wysoką spójność wewnętrzną (α Cronbacha > 0,87), stabilność (test-retest po 4 tygodniach, ICC = 0,83) oraz zgodność (inter-rater, ICC = 0,87). Zatrudnieni uzyskali korzystniejsze wyniki niż niezatrudnieni. Natomiast aktywność i uczestnictwo osób zatrudnionych nie wykazywały związku z rozmiarami ich czasowej niezdolności do pracy. Ograniczenia sprawności według Mini-ICF-APP korelowały z gorszą produktywnością pracy (według Endicott Work Productivity Scale – EWPS), większym nasileniem objawów (według BPRS), gorszym funkcjonowaniem społeczno-zawodowym (według SOFAS i PSP) oraz, choć w mniejszym stopniu, z gorszym wskaźnikiem społecznej integracji (według Social Outcome Index – SIX). W innym badaniu Rowland i wsp. [16] dowodzili, że Mini-ICF-APP może być użytecznym narzędziem do wspierania zatrudnienia, przydatnym w praktyce lokalnego, środowiskowego centrum zdrowia psychicznego. W badaniu walidacyjnym wersji włoskiej [17] potwierdzono wysoką stabilność (test-retest, ICC = 0,99) i zgodność ocen po 1–2 tygodniach (inter-rater, ICC = 0,99) oraz analogiczne korelacje z innymi miarami funkcjonowania (SOFAS, PSP) i nasilenia zaburzeń (Clinical Global Impression-Severity – CGI-S; BPRS). Ograniczenia uchwytne za pomocą Mini-ICF-APP były wyższe w grupie z rozpoznaniem schizofrenii niż, kolejno, w grupach chorych na depresje, zaburzenia dwubiegunowe i lękowe. Pinna i wsp. [18] na grupie z rozpoznaniem schizofrenii i zaburzeń schizoafektywnych, obok wysokiej zgodności ocen (inter-rater, ICC > 0,81), potwierdzili trafność Mini-ICF-APP: korelacje z większym nasileniem wymiarów psychopatologicznych (według PANSS, CGI-S), słabszym funkcjonowaniem społecznym (według PSP, SOFAS) oraz poznawczym (według Mini-Mental State Examination – MMSE oraz Brief Assessment of Cognition in Schizophrenia – BACS). Więcej ograniczeń sprawności ujawniali pacjenci zakwalifikowani na podstawie dwuletniej obserwacji jako klinicznie i funkcjonalnie nieremitujący oraz niezdrowiejący. Eksploracyjna analiza czynnikowa Mini-ICF-APP [19] w grupie 100 chorych, po połowie z zaburzeniami schizofrenicznymi i dwubiegunowymi, wykazała najlepsze dopasowanie modelu trójczynnikowego, obejmującego wymiary: biegłość (proficiency), kompetencja w relacjach (relational competence) i autonomia (autonomy), które w sposób zróżnicowany korelowały z innymi walidatorami (CGI-S, PSP, BPRS).
Dostępne informacje przekonują, że Mini-ICF-APP może być wartościowym narzędziem praktycznej, rzetelnej i trafnej oceny ograniczeń aktywności i uczestnictwa według ICF, a przygotowanie jego polskiej wersji jest celowe.

CEL

Celem było przygotowanie polskiej wersji Mini-ICF-APP oraz określenie podstawowych wskaźników jej praktyczności, rzetelności i trafności na podstawie badania grupy osób z zaburzeniami psychicznymi.
Polskie tłumaczenie Mini-ICF-APP (JW) przygotowano na podstawie 2. wydania podręcznika [8], za życzliwą zgodą Autorów i wydawcy. Ostateczna wersja tłumaczenia powstała w wyniku dyskusji (JW, MA, PŚ) nad jego aspektami semantycznymi, klinicznymi i kulturowymi. Narzędzie ocenia, zgodnie z założeniami i wybranymi pozycjami ICF, ograniczenia umiejętności społecznych, tj. (a) aktywności – rozumianej jako zdolność do podejmowania określonego działania (w odróżnieniu od jego aktualnego wykonywania), oraz (b) uczestnictwa społecznego. Narzędzie składa się z 13 pozycji (tab. 1–3) ocenianych na 5-stopniowej skali porządkowej – od 0 (brak ograniczeń), poprzez 1 (ograniczenia wyrażone lekko), 2 (umiarkowanie), 3 (znacznie), do 4 (w pełni). Potencjalna rozpiętość oceny obejmowała od 0 do 52 pkt. Formularz zawiera krótką definicję ocenianej umiejętności. Pełną definicję umiejętności oraz kotwiczące określenia przedziałów skal dla wszystkich pozycji Mini-ICF-APP zawiera podręcznik [8].

METODA

Badana grupa i przebieg badania

Zbadano łącznie 58 osób po kryzysie psychotycznym leczonych aktualnie w Oddziale Terapii w Środowisku (OTS, 27 osób) oraz w Oddziale Zapobiegania Nawrotom (OZN, 31 osób). Oddział Terapii w Środowisku jest oddziałem dziennym z programem terapii i wsparcia środowiskowego dla chorych z poważnymi zaburzeniami psychicznymi o przebiegu przewlekłym lub nawracającym. Oddział Zapobiegania Nawrotom jest oddziałem szpitalnym z programem terapii zmierzającej do otwarcia ścieżki zdrowienia pacjentom po poważnych kryzysach psychicznych (głównie psychotycznych, we wczesnej fazie choroby).
Badanie było przekrojowe, jednorazowe. Za pomocą Mini-ICF-APP każdy z 58 pacjentów był jednoczasowo, wspólnie badany, a oceniany niezależnie przez trzech diagnostów o odmiennej kompetencji zawodowej – na podstawie wszystkich dostępnych im w tym czasie informacji, uzyskanych w bezpośrednim kontakcie, w toku obserwacji w oddziale oraz w wyniku wywiadów od rodzin i innych osób. Diagności (łącznie 12 osób) reprezentowali trzy grupy specjalistów o zróżnicowanym przygotowaniu zawodowym: psychiatrów, psychologów i innych terapeutów. Do oceny dysponowali kwestionariuszem i podręcznikiem, nie prowadzono formalnego szkolenia. U każdego ze zbadanych oceniano też aktualny stan psychiczny (według BPRS) oraz funkcjonowanie psychospołeczne za pomocą dwóch alternatywnych narzędzi (GAF, PSP). Za pomocą każdego z wykorzystanych narzędzi przeprowadzono łącznie 174 oceny.

Narzędzia

Skala BPRS (Brief Psychiatric Rating Scale) [20, 21] jest krótką skalą oceny aktualnego stanu psychicznego, wykorzystywaną głównie do oceny poważnych zaburzeń psychicznych. Składa się z 18 pozycji oceniających występowanie i nasilenie objawów za pomocą 7-przedziałowych skal porządkowych od 1 (nie występuje) do 7 (skrajnie ciężkie). Potencjalna rozpiętość ocen sięga od 18 do 126 pkt. Korzystano z polskiego tłumaczenia oryginalnego narzędzia [22]. W badanej grupie określono średnią sumaryczną wszystkich pozycji (M = 37,29; rozpiętość: 18–71) oraz 4 wymiarów zaproponowanych przez autorów skali [21], tj.: lękowo-depresyjnego (anxious depression) (M = 4,99), dysforycznego (hostile suspiciousness) (M = 7,65), wytwórczego (thought disturbances) (M = 7,35) i wycofania/spowolnienia (withdrawal retardation) (M = 4,69). Profil psychopatologiczny opisany za pomocą średnich ważonych (przez liczbę pozycji) wskazuje na raczej łagodne nasilenie zaburzeń, z niewielką przewagą objawów dysforycznych i wytwórczych (odpowiednio: 2,1/1,7-2,6-2,5-1,6).
Skala GAF (Global Assessment of Functioning Scale) jest skalą ogólnego funkcjonowania, wprowadzoną do podręcznika DSM-IV jako pomocnicze narzędzie diagnostyczne [23]. Ocenia zdrowotny, społeczny i zawodowy aspekt funkcjonowania na jednej skali rozpiętej od 1 do 100. Właściwości psychometryczne uznawane są za wystarczające do ogólnej, wstępnej oceny funkcjonowania. Wykorzystano polskie tłumaczenie skali GAF o zadowalających wskaźnikach psychometrycznych [24]. Średni wynik w badanej grupie wynosił 58,3 ± 14,9, przy rozpiętości od 15 do 95 pkt.
Skala PSP (Personal and Social Performance Scale) [25] jest skalą oceny funkcjonowania zawodowego, opartą na nowej konstrukcji znanej wcześniej skali SOFAS z instrumentarium DSM-IV. Może służyć do oceny ogólnej oraz oceny 4 wymiarów funkcjonowania (praca/nauka, relacje osobowe i towarzyskie, dbałość o siebie, zachowania zakłócające i agresywne) na skali rozpiętej od 1 do 100 pkt. Ma bardziej precyzyjnie niż SOFAS zdefiniowane przedziały i zadowalające wskaźniki walidacyjne [12]. Wykorzystano niepublikowane, polskie tłumaczenie narzędzia.
W zbadanej grupie średni wynik ogólnej oceny wynosił 56,7 ± 18,4 pkt, przy rozpiętości 17–95 pkt.

Analiza statystyczna

Obok podstawowych statystyk opisowych wykorzystano kilka innych metod analizy dostępnych w pakiecie IBM SPSS Statistics, ver. 21. W analizie rzetelności jako spójności wewnętrznej (internal consistency) wykorzystano współczynnik Cronbacha (α) oraz współczynnik korelacji wewnątrzklasowej (intraclass correlation coefficient – ICC), a do analizy zgodności ocen trzech grup diagnostów (inter-rater reliability) – ICC (model z 2 czynnikami losowymi i bezwzględną zgodnością ocen). W analizie trafności kryterialnej korzystano ze współczynników korelacji rangowej (rho) Spearmana, a do oceny trafności teoretycznej skorzystano z analizy głównych składowych (Principal Component Analysis – PCA), zakładając wartość własną > 1 jako przesłankę wyodrębnienia składowych i rotując uzyskane rozwiązanie metodą Varimax z normalizacją Kaisera.

WYNIKI

Praktyczność

Praktyczność jest tu rozumiana jako z jednej strony łatwość stosowania, a z drugiej – jako możliwość uzyskania zróżnicowanej charakterystyki pacjentów, przydatnych do celów klinicznych i orzeczniczych, ułatwiającej kwantyfikację i porównania.
Obserwacje poczynione w trakcie naszego badania pozwalają uznać Mini-ICF-APP za narzędzie łatwe w użyciu – żaden z diagnostów uczestniczących w badaniu nie zgłaszał trudności w jego użyciu, przekraczających zwykłe trudności towarzyszące ocenom klinicznym. To tym istotniejsze, że badanie nie było poprzedzone szkoleniem – diagności uzyskiwali jedynie prosty instruktaż oraz dostęp do podręcznika definiującego poszczególne pozycje i zakotwiczenie przedziałów skal. Niektórzy podkreślali, że pierwsze oceny wymagały większej uwagi i konsultacji z podręcznikiem.
Przeciętne wyniki pozycji Mini-ICF-APP (tab. 1a) mieszczą się w przedziale ograniczeń łagodnych/umiarkowanych (1–2) i są zróżnicowane – najwyżej oceniano ograniczenia w zakresie „relacji dwuosobowych” (11) i „spontaniczności” (6), a najniżej – w zakresie „przemieszczania się/uczestnictwa w ruchu” (13) oraz „dbałości o siebie” (12). Jednak w zakresie wszystkich pozycji wykorzystywano wszystkie przedziały skali (0–4), od ich „podłogi” (0) do „sufitu” (4). Odsetek ocen opisujących brak ograniczeń (0) wahał się od 9,3% („wykorzystanie kompetencji i wiedzy”) do 59,9% („przemieszczanie się/uczestnictwo w ruchu”), natomiast odsetek ograniczeń pełnych (4) wahał się od 0,6% (wiele pozycji) do 4,7% („relacje dwuosobowe”).
Przeciętny, sumaryczny wynik skali (17,23 pkt) po zważeniu względem liczby pozycji wyniósł 1,33 pkt, co również wskazuje na pogranicze ograniczeń łagodnych i umiarkowanych. Wycofanie poszczególnych pozycji z obliczeń (tab. 1b) nie wprowadza wyraźniejszych zmian do właściwości skali.

Rzetelność

Współczynnik α Cronbacha jako miara spójności wewnętrznej (internal consistency) Mini-ICF-APP osiąga wartość 0,924 dla wszystkich ocen, nieznacznie różniąc lekarzy (αL = 0,905) od psychologów (αP = 0,915) i od innych terapeutów (αT = 0,944). Analogiczne wartości wyliczone jako współczynnik korelacji wewnątrzklasowej wynosiły: ICC = 0,901 (95% CI 0,869–0,925; p < 0,001), ICCL = 0,875 (95% CI 0,815–0,919; p < 0,001), ICCP = 0,895 (95% CI 0,845–0,932; p < 0,001), ICCT = 0,925 (95% CI 0,888–0,952; p < 0,001). Współczynnik ICC jako miara sumarycznej zgodności ocen za pomocą Mini-ICF-APP (inter-rater reliability) (tab. 2) między lekarzami, psychologami i innymi terapeutami jest wysoki (ICC = 0,901), wykazując w zakresie poszczególnych pozycji zróżnicowanie, od zgodności umiarkowanej (ICC = 0,593) do wysokiej (ICC = 0,807).
Najwyższa zgodność ocen cechowała umiejętności „decydowania/oceniania” oraz „proaktywności i spontaniczności”, a najniższa – umiejętność „planowania/porządkowania” oraz „wytrzymania/wytrwania”.

Trafność

O treściowej (content validity) trafności Mini-ICF-APP można wnioskować na podstawie przeniesienia jej pozycji z kategorii opisanych w pełnej ICF.
W celu oceny trafności kryterialnej (criterion validity) analizowano (tab. 3) współczynniki korelacji sumarycznego wyniku Mini-ICF-APP z wynikami ocen uzyskiwanych za pomocą narzędzi stanowiących zewnętrzne kryterium trafności, a oceniających pokrewne, ale inaczej zdefiniowane konstrukty kliniczne: ogólne funkcjonowanie (GAF), funkcjonowanie społeczno-zawodowe (PSP) oraz nasilenie zaburzeń psychicznych (BPRS). Uzyskano wysokie korelacje z wynikami GAF (rho = −0,73; p < 0,01) i PSP (rho = −0,70; p < 0,01), niższe z sumarycznym wynikiem BPRS (rho = 0,64; p < 0,01), a tylko umiarkowane z wymiarami psychopatologicznymi BPRS (0,36 < rho < 0,48; p < 0,01), przy czym ten psychopatologiczny profil nie różnicował związku z Mini-ICF-APP.
O trafności teoretycznej (construct validity) można wnioskować m.in. na podstawie wyników analizy wewnętrznej struktury ocen uzyskiwanych za pomocą Mini-ICF-APP. Narzędzie jest trafne, gdy wynik jego zastosowania odzwierciedla teoretyczne założenia wykorzystane przy konstrukcji narzędzia. W tym celu eksplorowano główne składowe ocen (PCA) wynikających z badania Mini-ICF-APP (tab. 4). Wyodrębniono dwie składowe, które po rotacji można dość sensownie i konsekwentnie zinterpretować jako zasoby biegłości (indywidualne) i zasoby relacyjne (interpersonalne), które łącznie wyczerpywały około 61,5% wspólnej wariancji. Największy ładunek czynnika relacyjnego wiązał się z umiejętnością nawiązywania „bliskich relacji dwuosobowych” oraz „podejmowania rozmowy i kontaktu z innymi osobami”, a czynnika biegłościowego – z „dostosowywaniem się do oczekiwanych reguł i rutyny” oraz „planowaniem i porządkowaniem zadań”.
Umiejętność „przemieszczania się i uczestnictwa w ruchu” dzieliła swe znaczenie między obie składowe niemal w jednakowym stopniu.

DYSKUSJA

Przedstawione badanie poświęcone było przede wszystkim ocenie podstawowych właściwości psychometrycznych Mini-ICF-APP. Problem opisu właściwości badanej grupy pacjentów pozostawał na drugim planie. Stąd większy nacisk na ocenę rzetelności i względnie skromny na ocenę trafności narzędzia. Uzyskane wyniki nie odbiegały w swej ogólnej wymowie od cytowanych wyników zastosowania oryginalnej wersji narzędzia [7], jak i jego wtórnych wersji językowych – angielskiej [15] i włoskiej [17–19].
Mini-ICF-APP nie sprawiał oceniającym zasadniczych trudności i pozwalał na uzyskanie zróżnicowanego opisu kompetencji badanych, rozumianej jako wyraz aktywności i uczestnictwa. Oceny badających cechowała dostrzegalna efektywność pozycji narzędzia (item performance) – wykorzystywano ze zróżnicowaną częstością wszystkie przedziały skal, pozycje różniły się przeciętnym nasileniem, a przeciętny wynik sumaryczny skali i wyniki poszczególnych pozycji odpowiadały wartościom oczekiwanym w grupach chorych poza ostrą fazą kryzysu, tzn. w okresie inicjowania lub kontynuacji procesu zdrowienia. Dla przykładu, „przemieszczanie się i uczestnictwo w ruchu” na ogół nie stanowiły dla nich trudności, natomiast „bliskie (intymne) relacje dwuosobowe” oceniano częściej jako trudne i ograniczające. Wyliczone przesłanki wskazują na praktyczność skali w zastosowaniu klinicznym, na co na podstawie starannego badania pilotażowego wskazują Rowland i wsp. [16] w odniesieniu do zadań brytyjskich CMHC (Community Mental Health Centre).
Rzetelność Mini-ICF-APP ujęta jako spójność wewnętrzna, niezależnie od wykorzystanej miary (α Cronbacha, ICC) i od analizowanej próby (uśredniony wynik wszystkich pomiarów, pomiary poszczególnych grup diagnostów), osiągała wysokie wartości (> 0,875). Także rzetelność ujmowana jako zgodność ocen trzech prób diagnostów okazała się wysoka (ICC = 0,901) dla całej skali i znacząca dla każdej pozycji (ICC > 0,590). Ze względu na kontekst kliniczny oceny w naszym badaniu (okres terapii z prawdopodobną dynamiczną zmianą stanu psychicznego) nie zdecydowaliśmy się na ocenę stabilności (test-retest) wyników Mini-ICF-APP. Cytowane we wprowadzeniu wyniki innych badań wskazują, że we właściwym im kontekście wyniki okazały się dość powtarzalne – w okresie 1–2 tygodni przy kontroli poziomu zmian stanu psychicznego za pomocą ogólnego wrażenia klinicznego (ICC = 0,993) [17] albo po 4 tygodniach bez takiej kontroli, ale przy zmotywowaniu pacjentów do ponownego badania za pomocą kompensacji finansowej (ICC = 0,832) [15]. Biorąc pod uwagę uzyskane wyniki, można wnioskować, że wysoki poziom rzetelności Mini-ICF-APP, rozumianej jako wewnętrzna spójność oraz zgodność w ocenie różnych diagnostów, uzasadnia jej wykorzystanie kliniczne. Trudniejsza jest ocena stabilności wyników ze względu na istotną korelację ocenianych ograniczeń z jednej, a stanu psychicznego z drugiej strony.
Przeprowadzoną ocenę trafności Mini-ICF-APP poza oczywistym, choć mało przekonującym założeniem jej trafności treściowej, można uznać za jedynie skromne przybliżenie. W zakresie trafności kryterialnej uzyskane wyniki potwierdzają wnioski innych autorów [14, 15, 17, 18] uzasadniane korelacją wyników Mini-ICF-APP z wynikami narzędzi oceniających inne konstrukty funkcjonowania i stan psychiczny badanych. Zastosowane przez cytowanych autorów dodatkowe walidatory trafności Mini-ICF-APP prowadzą do podobnego wniosku także w odniesieniu do innych aspektów aktywności zawodowej (m.in. zatrudnienia, produktywności pracy, czasu trwania niezdolności do pracy). Wydaje się, że liczbę i różnorodność takich zewnętrznych kryteriów trafności należy zwiększać w kolejnych badaniach w celu coraz efektywniejszego wnioskowania o wartości narzędzia. Uzyskane przez nas wyniki pozwalają jednak przypuszczać, że polska wersja nie odbiega od wcześniej badanych innych wersji językowych.
Wyniki analizy głównych składowych, podjętej jako przybliżenie do oceny teoretycznej trafności konstrukcji Mini-ICF-APP, sugerują, że w sposobie jej użycia przez diagnostów w badanej populacji mogą ujawniać się dwa źródła zmienności ocen – jedno wynikające z dostrzeganych ograniczeń biegłości pacjentów, a drugie z dostrzeganych ograniczeń relacyjności. Tę wyraźnie rysującą się dwuwymiarowość ograniczeń stwierdzanych za pomocą Mini-ICF-APP można uważać za nawiązanie do opisywanej w ICF „aktywności”, rozumianej jako indywidualna sprawność (umiejętność, zdolność) do pewnego działania, z jednej strony, a z drugiej – wywodzonego również z ICF „uczestnictwa”, tj. interpersonalnej sprawności nawiązywania relacji (związków, kontaktów). Przy takiej interpretacji uzyskane przybliżenie wniosku o teoretycznej trafności Mini-ICF-APP wydaje się dość przekonujące. W innej analizie eksploracyjnej Rucci i Balestrieri [19] stwierdzili, że najlepiej dopasowane było trójczynnikowe rozwiązanie wskazujące na trzeci jeszcze czynnik, interpretowany jako „autonomia”. Ponieważ wyniki eksploracji czynnikowej zależą zarówno od wybranych metod obliczeń, jak i od zróżnicowania klinicznego badanej populacji, ostateczne wnioski dotyczące wewnętrznej struktury Mini-ICF- -APP wymagają kolejnych przybliżeń bazujących na grupach chorych o większej liczebności i większej różnorodności cech klinicznych.
Wyniki naszego badania sugerują, że krótkie i proste w użyciu narzędzie, jakim jest Mini-ICF-APP, cechuje się praktycznością, rzetelnością i trafnością zachęcającą do jego wykorzystania. Ze względu na wstępny charakter badania, stanowiącego tylko pierwsze przybliżenie do oceny polskiej wersji narzędzia, takie słabości planu badania, jak względnie niewielka grupa badanych, płytka charakterystyka ich stanu klinicznego i niewielka liczba zewnętrznych walidatorów, nie podważają tego wniosku, lecz zachęcają do kolejnych badań.

WNIOSKI

Podstawowe wskaźniki psychometryczne polskiej wersji Mini-ICF-APP sugerują jej praktyczność, rzetelność i trafność porównywalną z wynikami zastosowania wersji oryginalnej oraz innych wersji językowych. Otwierają drogę do uznania jej za wywiedzioną z klasyfikacji ICF, wartościową, krótką i prostą miarę ograniczeń aktywności i uczestnictwa związanych z zaburzeniami psychicznymi. Sugerują też potrzebę dalszych badań walidacyjnych.

Podziękowania

Autorzy serdecznie dziękują twórcom Mini-ICF-APP, Prof. Michaelowi Lindenowi, Dr Stefanie Baron i Dr Beate Muschalli oraz Wydawnictwu Hans Huber, Hogrefe AG (Hans Huber Verlag, Hogrefe AG) za życzliwe udostępnienie narzędzia do polskiej adaptacji i badania. Dziękujemy też wszystkim Koleżankom i Kolegom za efektywną, bezinteresowną współpracę w toku jego realizacji.

Conflict of interest/Konflikt interesu

Absent./Nie występuje.

Financial support/Finansowanie

Absent./Nie występuje.

References/Piśmiennictwo

1. World Health Organisation. International Classification of Functioning, Disability and Health: ICF. Geneva; World He­alth Organisation: 2001.
2. World Health Organisation. International Classification of Diseases, 10th revision. Geneva; World He­alth Organisation: 1992.
3. Álvarez AS. The application of the International Classification of Functioning, Disability, and Health in psychiatry: possible reasons for the lack of implementation. Am J Phys Med Rehabil 2012; 91(suppl): S69-S73.
4. Üstün TB, Kostanjsek N, Chatterji S, Rehm J (eds.). Measuring health and disability: manual for WHO Disability Assessment Schedule (WHODAS 2.0). Geneva; World He­alth Organisation: 2010.
5. ICF Research Branch. www.icf-research-branch.org/download/category/4-icf-core-sets. Accessed April, 13th, 2018.
6. Linden M, Baron S. Das „Mini-ICF-Rating für psychische Störungen (Mini-ICF-P)”. Rehabilitation 2005; 44: 144-151.
7. Linden M, Baron S, Muschalla B. Mini-ICF-APP, Mini-ICF-Rating for activity and participation in mental health disorders: a brief instrument for assessing foreign activity and participation in mental health disorders based on the International Classification of Functioning, Disability and Health (ICF) of the World Health Organization. Göttingen: Hans Huber; 2009.
8. Linden M, Baron S, Muschalla B. Mini-ICF-APP. Mini-ICF-Rating für Aktivitäts- und Partizipationsbeeinträchtigungen bei psychischen Erkrankungen. Ein Kurzinstrument zur Fremdbeurteilung von Aktivitäts- und Partizipationsbeeinträchtigungen bei psychischen Erkrankungen in Anlehnung an die Internationale Klassifikation der Funktionsfähigkeit, Behinderung und Gesundheit (ICF) der Weltgesundheitsorganisation. Ankerdefinitionen. 2., überarbeitete und erweiterte Auflage. Bern; Verlag Hans Huber, Hogrefe AG: 2015.
9. Baron S, Linden M. Disorders of functions and disorders of capacity in relation to sick leave in mental disorders. Int J Soc Psychiatry 2009; 55: 57-63.
10. Linden M, Baron S, Muschalla B. Relationship between work-related attitudes, performance and capacities according to the ICF in patients with mental disorders. Psychopathology 2010; 43: 262-267.
11. Muschalla B. Different work capacity impairments in patients with different work-anxieties. Int Arch Occup Environ Health 2016; 89: 609-619.
12. Juckel G, Schaub D, Fuchs N, Naumann U, Uhl I, Witthaus H, Hargarter L, Bierhoff H-W, Brüne M. Validation of the Personal and Social Performance (PSP) Scale in a German sample of acutely ill patients with schizophrenia. Schizophr Res 2008; 104: 287-293.
13. Schaub D, Brüne M, Jaspen E Pajonk F-G, Bierhoff H-W, Juckel G. The illness and everyday living: close interplay of psychopathological syndromes and psychosocial functioning in chronic schizophrenia. Eur Arch Psychiatry Clin Neurosci 2011; 261: 85-93.
14. Egger S, Prinz S, Weniger G, Mario M, Vetter S. Assessing the validity of the Mini-ICF-APP in a psychiatric inpatient setting. Eur Psychiatry 2015; 30(suppl 1): 744.
15. Molodynski A, Linden M, Juckel G, Yeeles K, Anderson C, Vazquez-Montes M, Burns T. The reliability, validity, and applicability of an English language version of the Mini-ICF-APP. Soc Psychiatry Psychiatr Epidemiol 2013; 48: 1347-1354.
16. Rowland JP, Yeeles K, Anderson C, Catalão R. Morley H, Molodynski A. Is it possible to measure social and occupational functioning in a CMHT? Prog Neurol Psychiatry 2014; 18: 21-25.
17. Balestrieri M, Isola M, Bonn R, Tam T, Vio A, Linden M, Maso E. Validation of the Italian version of Mini-ICF-APP, a short instrument for rating activity and participation restrictions in psychiatric disorders. Epidemiol Psychiatr Sci 2013; 22: 81-91.
18. Pinna F, Fiorillo A, Tusconi M, Guiso B, Carpiniello B. Assessment of functioning in patients with schizophrenia and schizoaffective disorder with the Mini-ICF-APP: a validation study in Italy. Int J Ment Health Syst 2015; 9: 37.
19. Rucci P, Balestrieri M. Exploratory factor analysis of the Mini instrument for the observer rating according to ICF of Activities and Participation in Psychological disorders (Mini-ICF-APP) in patients with severe mental illness. J Psychopathol 2015; 21: 254-261.
20. Overall JE, Gorham DR. The Brief Psychiatric Rating Scale. Psychol Rep 1962; 10: 799-812.
21. Overall JE, Gorham DR. The Brief Psychiatric Rating Scale: recent developments in ascertainment and scaling. Psychopharmacol Bull 1988; 24: 97-99.
22. Wciórka J, Pużyński S. Narzędzia oceny stanu psychicznego. In: Psychiatria. Tom 1. Podstawy psychiatrii. Rybakowski J, Pużyński S, Wciórka J (ed.). Wrocław; Elsevier Urban & Partner: 2010, p. 413-476.
23. American Psychiatric Association. Diagnostic and statistical manual of mental disorders. 4th ed. Washington, DC: American Psychiatric Association; 1994.
24. Wciórka J, Muskat K, Matałowski P. Ocena przydatności skal funkcjonowania społecznego z systemu DSM-IV (GAF, SOFAS, GARF). Post Psychiatr Neurol 1997; 6: 253-268.
25. Morosini PL, Magliano L, Brambilla L, Ugolini S, Pioli R. Development, reliability and acceptability of a new version of the DSM-IV Social and Occupational Functioning Assessment Scale (SOFAS) to assess routine social functioning. Acta Psychiatr Scand 2000; 101: 323-329.