Evaluating Psychometric Properties of an Instrument Addressing Comprehensiveness of Care Among Dentists

ABSTRACT

Abstract This study aimed to evaluate the psychometric properties of an instrument to assess comprehensiveness of care from dentists using a combination of classical test theory and item response theory. A 46-item instrument was developed and tested by a panel of experts, followed by a pilot test and administration to 187 primary care dentists in a large Brazilian city. The 46 items were evaluated using the following criteria acceptability, internal consistency, temporal stability, inter-item correlation, and tetrachoric correlation. This evaluation led to a shortened version consisting of 11 items that met all the criteria previously described. The temporal stability was measured using Cohen's kappa, and all 11 items presented values greater than 0.5. The Cronbach's alpha value was 0.72. None of the 11 items had missing data on the distribution of responses, and the model considering the discrimination as varying fit the data better than the model considering discrimination as a constant parameter (p<0.001). Item characteristic curves showed that 54.5% of items could be considered difficult, i.e., only dentists with a good understanding of comprehensiveness responded favorably. The 11-item instrument to assess comprehensiveness of care by dentists is considered to have good psychometric properties.

RESUMO

Resumo Objetivou-se avaliar as propriedades psicométricas de um instrumento para avaliar a integralidade do cuidado por dentistas, usando uma combinação da teoria clássica e teoria da resposta ao item. Um instrumento com 46 itens foi desenvolvido e testado por um painel de experts, seguido por um teste piloto e aplicação em 187 dentistas da atenção primária de uma grande cidade brasileira. Os seguintes critérios foram utilizados para avaliar os 46 itens aceitabilidade, consistência interna, estabilidade temporal, correlação inter-item e correlação tetracórica. Essa avaliação resultou em uma versão reduzida de 11 itens que preencheram todos os critérios descritos acima. A estabilidade temporal foi medida utilizando o Cohen Kappa. Os 11 itens apresentaram valores maiores que 0,5. O alfa de Cronbach foi de 0,72. Nenhum dos 11 itens apresentou perda na distribuição das respostas, e o modelo que considera a discriminação como variante se adequa melhor aos dados do que o modelo que considera a discriminação como um parâmetro constante (p <0,001). Curvas características mostraram que 54,5% dos itens pode ser considerado difícil, ou seja, apenas os dentistas com uma boa compreensão da integralidade respondeu favoravelmente. O instrumento de 11 itens para avaliar a integralidade do cuidado por dentistas é considerado como tendo boas propriedades psicométricas.