Validação psicométrica do instrumento Creighton para avaliação de competências clínicas / Psychometric validation of the Creighton instrument to assess clinical skills

RESUMO

Resumo A formação baseada em competências exige enfermeiros com capacidade de autogestão e tomada de decisão rápida e efetiva. Nesse contexto, a simulação clínica surge como estratégia com potencial para o desenvolvimento de competências. Para tanto, é imprescindível a busca de instrumentos que auxiliem os profissionais na implementação e avaliação dessa estratégia, visto que há poucos instrumentos válidos e confiáveis nacionalmente. Este estudo objetivou realizar a validação e testar a confiabilidade do "Instrumento Creighton para Avaliação de Competências Clínicas" (CCEI), versão português, Brasil, que conta com 23 itens dicotômicos, distribuídos nas categorias avaliação, comunicação, julgamento clínico e segurança do paciente. Tratou-se de um estudo metodológico, com avaliação das propriedades psicométricas da confiabilidade e validação do instrumento, orientado pelo referencial de Pasquali. Para isso, foram elaborados e gravados dois cenários sobre alteração do nível de consciência a partir da hipótese de que o instrumento seria capaz de diferenciar o desempenho divergente das estudantes nos dois cenários. Após essas etapas, um website foi desenvolvido e disponibilizado para viabilizar o acesso ao material produzido e à coleta de dados, que foi realizada no período de março a julho de 2019. Um total de 30 docentes e/ou enfermeiros de todo o Brasil, que conheciam a metodologia da simulação clínica, foram recrutados para avaliar os dois cenários com a utilização do CCEI. A análise dos dados seguiu as etapas de validação e confiabilidade. Para a validação, além da análise por hipótese, em que se analisou a divergência dos cenários, utilizou-se o coeficiente de correlação phi. Para a confiabilidade, testou-se a equivalência do instrumento, com o coeficiente de concordância Fleiss Kappa, e a consistência interna, com uso do coeficiente de confiabilidade Kuder-Richardson (KR20). Os participantes eram 80% do sexo feminino, provenientes de instituições de ensino públicas (76,7%) e com experiência mínima de dois anos com a simulação clínica (76,7%). Quanto à validade, na análise por hipótese, 20 dos 23 itens apresentaram resultados significativos que confirmavam a hipótese elaborada. Os resultados dos itens 16, 20 e 23 foram associados à teoria que justificam a não divergência do item. Na análise comportamental do construto, os domínios apresentaram correlações de moderada a alta para a avaliação, baixa para comunicação e baixa a moderada para o julgamento clínico e segurança do paciente. Quando comparados os dois cenários, as correlações foram baixas, muito baixas ou negativas, o que corroborou com a divergência entre cenários. Quanto à confiabilidade, o grau de concordância Fleiss Kappa encontrado foi razoável (0,282) para o cenário 1 e moderado para o cenário 2 (0,408). O percentual de concordância foi 81% e 63% para os dois cenários, respectivamente. A consistência interna medida com o KR20 foi de 0,717 para o cenário 1 e 0,805 para o cenário 2, classificado como moderada e alta. Esses resultados permitem afirmar que essa versão do instrumento CCEI versão em português, Brasil, é válida e confiável e poderá contribuir para avaliação do desenvolvimento de competências clínicas em todo território nacional.

ABSTRACT

Abstract Competence-based education requires nurses with self-management skills and quick and effective decision-making. In this context, clinical simulation emerges as a strategy with the potential for competence development. Therefore, it is important to search for instruments that help professionals in the implementation and evaluation of this strategy, since there are few valid and reliable instruments nationally. This study aimed to validate and test the reliability of "Creighton Competency Evaluation Instrument" (CCEI) Portuguese version, Brazil, which has 23 dichotomous items, distributed in the categories evaluated, communication, clinical judgment, and patient safety. This was a methodological study, with the evaluation of the psychometric properties of the reliability and validation of the instrument, guided by the Pasquali framework. For this, two scenarios about the alteration of the level of consciousness were created and recorded based on the hypothesis that the instrument would be able to differentiate the divergent performance of the students in the two scenarios. After these steps, a website was developed and made available to enable access to the material produced and enable data collection, held from March to July 2019. A total of 30 teachers and/or nurses from all over Brazil, who knew the clinical simulation methodology, were recruited to evaluate both scenarios using the CCEI. Data analysis followed the validation and reliability steps. For validation, besides the hypothesis analysis in which the divergence of the scenarios was analyzed, the phi correlation coefficient was used. For reliability, we tested the equivalence of the instrument with the Fleiss Kappa coefficient of agreement, and the internal consistency using the Kuder-Richardson reliability coefficient (KR20). The participants were 80% female, from public educational institutions (76.7%) and at least two years of experience with clinical simulation (76.7%). As the validity, the analysis by definition, 20 of the 23 items showed significant results that confirmed the elaborate hypothesis. The results of items 16, 20 and 23 were associated with the theory that justifies the non-divergence of the item. In the behavioral analysis of the construct, the domains showed moderate to high correlations for assessment, low for communication, and low to moderate for clinical judgment and patient safety. When comparing the two scenarios, the correlations were low, very low or negative, which corroborated to the divergence between scenarios. As for reliability, the degree of agreement found by Fleiss Kappa was reasonable (0.282) for scenario 1 and moderate for scenario 2 (0.408). The agreement percentage was 81% and 63% for both scenarios, respectively. The internal consistency measured by KR20 was 0.717 for scenario 1 and 0.805 for scenario 2, classified as moderate and high. These results allow to state that this version of the CCEI instrument in Portuguese, Brazil, is valid and reliable and can contribute to the evaluation of development of clinical competence throughout the country.