Non-technical skills assessment scale in nursing: construction, development and validation / Escala de avaliação de habilidades não técnicas em enfermagem: construção, desenvolvimento e validação / Escala de evaluación de habilidades no técnicas en enfermería: construcción, desarrollo y validación

ABSTRACT The introduction of non-technical skills during nursing education is crucial to prepare nurses for the clinical context and increase patient safety. We found no instrument developed for this purpose. Objectives: to construct, develop and validate a non-technical skills assessment scale in nursing. Method: methodological research. Based on the literature review and experience of researchers on non-technical skills in healthcare and the knowledge of the principles of crisis resource management, a list of 63 items with a five-point Likert scale was constructed. The scale was applied to 177 nursing undergraduate students. Descriptive statistics, correlations, internal consistency analysis and exploratory factor analysis were performed to evaluate the psychometric properties of the scale. Results: scale items presented similar values for mean and median. The maximum and the minimum values presented a good distribution amongst all response options. Most items presented a significant and positive relationship. Cronbach alpha presented a good value (0.94), and most correlations were significant and positive. Exploratory factor analysis using the Kaiser-Meyer-Olkin test showed a value of 0.849, and the Bartlett's test showed adequate sphericity values (χ2=6483.998; p=0.000). One-factor model explained 26% of the total variance. Conclusion: non-technical skills training and its measurement could be included in undergraduate or postgraduate courses in healthcare professions, or even be used to ascertain needs and improvements in healthcare contexts.

RESUMO A introdução de habilidades não técnicas durante o ensino de enfermagem é fundamental para preparar os enfermeiros para o contexto clínico e aumentar a segurança do paciente. Não foram encontrados quaisquer instrumentos desenvolvidos para essa finalidade. Objetivos: construir, desenvolver e validar uma escala de avaliação de habilidades não técnicas em enfermagem. Método: pesquisa metodológica. Com base na revisão da literatura e na experiência dos pesquisadores em habilidades não técnicas em saúde, e no conhecimento dos princípios do gerenciamento de recursos em crises, foi construída uma lista de 63 itens e com uma escala Likert de cinco pontos. A escala foi aplicada em 177 estudantes de graduação em enfermagem. Estatística descritiva, correlações, análises de consistência interna e análise fatorial exploratória foram realizadas para avaliar as propriedades psicométricas da escala. Resultados: os itens da escala apresentaram valores semelhantes para média e mediana. Os valores máximo e mínimo mostraram uma boa distribuição em todas as opções de resposta. A maioria dos itens apresentou uma relação significativa e positiva. O alfa de Cronbach apresentou um bom valor (0,94) e a maioria das correlações foi significativa e positiva. A análise fatorial exploratória através do teste de Kaiser-Meyer-Olkin apresentou um valor de 0,849, e o teste de Bartlett apresentou valores de esfericidade adequados (χ2=6483.998; p=0.000). O modelo de um fator explicou 26% da variância total. Conclusão: a formação em habilidades não técnicas e sua mensuração poderiam ser incluídos nos programas de graduação ou pós-graduação de profissões da saúde, ou até mesmo serem utilizadas para avaliar as necessidades e melhorias nos contextos de cuidados de saúde.

RESUMEN La introducción de habilidades no técnicas durante la educación de enfermería es fundamental para preparar a los enfermeros para el contexto clínico y aumentar la seguridad del paciente. No se encontraron instrumentos desarrollados para este propósito. Objetivos: construir, desarrollar y validar una escala de evaluación de habilidades no técnicas en enfermería. Método: investigación metodológica. Con base en la revisión de la literatura y la experiencia de los investigadores en habilidades no técnicas en el cuidado de la salud y el conocimiento de los principios del manejo de recursos en crisis, se construyó una lista de 63 ítems y con una escala Likert de cinco puntos. Se aplicó la escala a 177 estudiantes de pregrado en enfermería. Se realizaron estadísticas descriptivas, correlaciones, análisis de consistencia interna y análisis factorial exploratorio para evaluar las propiedades psicométricas de la escala. Resultados: los ítems de la escala presentaron valores similares para la media y la mediana. Los valores máximo y mínimo mostraron una buena distribución en todas las opciones de respuesta. La mayoría de los ítems presentaron una relación significativa y positiva. El alfa de Cronbach presentó un buen valor (0,94), y la mayoría de las correlaciones fueron significativas y positivas. El análisis factorial exploratorio mediante la prueba Kaiser-Meyer-Olkin mostró un valor de 0,849, y la prueba de Bartlett mostró valores de esfericidad adecuados (χ2=6483.998; p=0,000). El modelo de un factor explicó el 26% de la varianza total. Conclusión: la capacitación en habilidades no técnicas y su medición podrían incluirse en programas de grado y posgrado en profesiones de la salud, o incluso utilizarse para evaluar las necesidades y mejoras en los contextos de atención médica.

Estudos psicométricos de instrumentos breves de rastreio para múltiplos transtornos mentais / Psychometric studies of brief screening tools for multiple mental disorders

Objetivo Realizar uma revisão sistemática sobre as características psicométricas de instrumentos breves para rastreamento de múltiplos transtornos mentais em cuidados primários de saúde. Métodos Revisão sistemática da literatura nas bases de dados PubMed, Lilacs, SciELO e ISI, de artigos publicados até abril de 2014, utilizando descritores sobre rastreamento breve de múltiplos transtornos mentais em cuidados primários de saúde. Resultados Foram obtidos 277 estudos e selecionados 15 após a aplicação dos critérios de inclusão e exclusão. Oito estudos analisaram confiabilidade e/ou consistência interna e os resultados mostraram índices bastante satisfatórios. Nos artigos selecionados, estavam presentes as análises das validades preditiva, concorrente e discriminante. Conclusão As escalas de rastreamento são úteis para a triagem de pacientes com possíveis transtornos mentais, e o uso desses instrumentos melhoraria a capacidade de detecção desses transtornos em cuidados primários de saúde. .

Objective Conduct a systematic literature review about psychometric characteristics of brief tools used for screening multiple mental disorders in primary health care. Methods Systematic literature review on PubMed, Lilacs, SciELO and ISI databases until April 2014 using key words related to brief screening of multiple mental disorders in primary health care. Results Were obtained 277 articles; 15 articles were selected after considering inclusion and exclusion criteria. Eight articles assessed reliability and/or internal consistency and results showed satisfactory indices. In the selected articles, were present analyzes of predictive validity, concurrent and discriminant. Results ranged from moderate to good. Conclusion Screening scales are useful to identify patients with possible mental disorders and they increase chances of detecting such disorders in primary health care. .

Avaliação da estabilidade temporal do inventário de concepções de deficiência em situações de trabalho / Assessment of the temporal stability of the inventory on disability conceptions in work situations

Esta pesquisa teve como objetivo fazer a análise psicométrica de fidedignidade do teste e do reteste do Inventário de Concepções de Deficiência em Situações de Trabalho, que avalia a forma como as pessoas veem as possibilidades de trabalho de pessoas com deficiências (PcDs). Os resultados mostraram coeficientes de correlação significativos entre os escores do teste e do reteste para seus fatores (entre 0,30 e 0,66) e escore global (0,60). O ICD-ST é um instrumento de medida que apresenta estabilidade temporal, mostrando-se fidedigno, para ser utilizado em diagnósticos organizacionais, em planejamento de inserção de PcDs no trabalho e em pesquisas.

This research aimed at conducting a psychometric analysis of reliability of the Inventory on Disability Conceptions in Work Situations test and retest, which assesses how people see the possibilities of the people with disability (PWDs) at work. The results showed significant correlation coefficients between the scores of the test and the retest for its factors (.30 to .66) and for the global score (.60). These results suggest that the inventory is a measurement instrument which presents a temporal stability, proving to be a reliable instrument to be used in organizational diagnoses, in planning the insertion of PWDs at work and in researches.

Validação da Escala de Comportamentos Sociais de Pré-escolares para o Brasil / Validation of the Preschool and Kindergarten Behavior Scales to Brazil / Validación de la Escala de Conducta Social Preescolar en Brasil

Este estudo teve por objetivo verificar as qualidades psicométricas do instrumento norte-americano Preschool and Kindergarten Behavior Scale (PKBS) para o contexto brasileiro. Participaram, como informantes, pais e professores de 143 crianças de idade entre três e seis anos, de duas cidades do Interior do Estado de São Paulo. O PKBS-BR compõe-se de duas escalas, a saber, uma de habilidades sociais e uma de comportamentos problemáticos. Pais e professores responderam individualmente ao PKBS-BR na presença do aplicador. A análise fatorial indicou uma estrutura de três fatores para a escala de habilidades sociais (Cooperação Social, Independência Social e Interação Social) e dois fatores para a escala de comportamentos problemáticos (Externalizantes e Internalizantes), os quais explicaram, respectivamente, 45,38% e 42,12% da variância dos dados. Os indicadores de consistência interna foram satisfatórios para as escalas, variando de 0,79 a 0,95. Discutem-se algumas semelhanças e diferenças da escala original com a brasileira e as aplicações do PKBS para a pesquisa e intervenção psicológica.

This study aimed to verify the psychometric qualities of the Preschool and Kindergarten Behavior Scale (PKBS) for the Brazilian context. Subjects were parents and teachers of 143 children, between three and six years old, from two inner cities of the São Paulo (Brazil). The PKBS-BR has two forms, one for social skills and another for behavior problems. Parents and teachers individually completed the PKBS-BR. Factor analysis indicated a three factor structure for the social skills scale (Social Cooperation, Social Independence and Social Interaction) and two factors for the behavior problems scale (Externalizing and Internalizing problems). The factors explained, respectively, 45.38% and 42.12% of the data variance. The internal consistency measures were satisfactory, varying between 0.79 and 0.95. Some similarities and differences between American and Brazilian versions and the PKBS utility for research and psychological intervention are discussed.

Este estudio verificó las calidades psicométricas del Preschool and Kindergarten Behavior Scale (PKBS) para el contexto brasileño. Los participantes eran los padres y maestros de 143 niños, entre tres y seis años, de dos ciudades internas del Sao Paulo (Brasil). El PKBS-BR tiene dos formularios, uno para las habilidades sociales y otro para los problemas de conducta. Los padres y maestros le contestaron individualmente al PKBS-BR. Análisis de factor indicó una estructura de tres de factor para las habilidades sociales (Cooperación Social, Independencia Social y Interacción Social) y dos factores para los problemas de conducta descascaran (Externalizantes y Internalizantes). Los factores explicaron, respectivamente, 45.38% y 42.12% de la variación de los datos. Las medidas de consistencia interiores fueran satisfactorias, mientras variando entre 0.79 y 0.95. Se discute un poco de similitudes y diferencias entre la escala americana y la versión brasileña así como la utilidad del PKBS para la investigación y la intervención psicológica.

Satisfação de médicos com o cuidado às doenças cardiovasculares em municípios de Minas Gerais: Escala Cardiosatis-EQUIPE / Physician satisfaction with care to cardiovascular diseases in the municipalities of Minas Gerais: Cardiosatis-TEAM Scale

OBJETIVOS: Avaliar as qualidades psicométricas de validade e confiabilidade da Escala CARDIOSATIS-Equipe, elaborada especificamente para avaliar a satisfação dos médicos com o atendimento pré-hospitalar às doenças cardiovasculares em municípios participantes de um projeto em Telessaúde e mensurar a satisfação dos médicos antes e depois da implantação do Projeto. MÉTODO: Aplicação do instrumento na linha de base e pós-implantação de um sistema de telecardiologia em 82 municípios de Minas Gerais. O estudo das qualidades psicométricas da escala incluiu: Validade de construto, por meio de análise fatorial; Análise de consistência interna pelo Alfa de Cronbach; Correlação de Pearson entre os itens; Correlação de Spearman entre os domínios e a escala Global; e Validade discriminante. RESULTADOS: A análise fatorial por meio da extração de componentes principais indicou a distribuição dos itens da escala em dois fatores que explicaram 66,5 por cento da variância dos escores de satisfação, identificados como Estrutura de atendimento e diagnóstico e Satisfação com o cuidado prestado. O coeficiente alfa de Cronbach mostrou valores elevados para a escala Global (0,92) e para os fatores (0,84). As correlações item-domínio e item-escala global também se mostraram adequadas, variando de 0,59 a 0,89 e de 0,73 a 0,85, respectivamente. A escala mostrou boa capacidade de discriminar os dois momentos da aplicação (antes e depois), mostrando um aumento significativo da satisfação dos médicos para a maioria dos itens avaliados pelo instrumento (p < 0,05). CONCLUSÃO: pode-se concluir com este estudo que a introdução do sistema de telecardiologia melhorou a satisfação dos profissionais avaliados e que a Escala CARDIOSATIS-Equipe é um bom instrumento para se mensurar a satisfação dos profissionais com o atendimento às DCV. As boas características de validade e confiabilidade da escala colaboram para sua utilização em outros estudos.

OBJECTIVE: To evaluate psychometric validity and reliability properties of the CARDIOSATIS-Team scale and measure physician satisfaction before and after the implementation of the project. This scale was designed to evaluate physician satisfaction with the healthcare delivered for cardiovascular diseases in cities that participate in a telemedicine system. METHODS: The scale was applied in 82 cities of Minas Gerais, before and after the implementation of a telecardiology system. The analysis of the psychometric properties of CARDIOSATIS-Team scale included: construct validity using factorial analysis; internal consistency reliability using Cronbach's Alpha; Pearson´s correlation between items; Spearman´s correlation between domains and global scale and; discriminant analysis. RESULTS: The factor analysis of the principal components extracted two factors that explained 66.5 percent of the variance in satisfaction scores: healthcare delivery and diagnosis structure and satisfaction with the care delivered. Cronbach´s Alfa for internal consistency reliability of the scale showed values of 0.92 for the global scale and up to 0.84 for factors. Inter-factor and inter-scale correlations were adequate, showing values of 0.59 to 0.89 and 0.73 to 0.85, respectively. The scale was able to distinguish the two moments of its application (before and after intervention), showing high satisfaction for most items measured afterwards (p < 0.05). CONCLUSIONS: We can conclude based on the present study that the telemedicine system improved provider satisfaction and that the CARDIOSATIS-Team scale is a good tool to evaluate provider satisfaction with care delivered for CVD. Its appropriate characteristics in terms of validity and internal consistency reliability justify its utilization in other studies.

Instrumentos de medida de clima de segurança no trabalho: uma revisão de literatura / Measure instruments of Safety Climate at work: a literature review

O objetivo deste trabalho é realizar uma avaliação crítica do construto clima de segurança e das medidas de clima de segurança no trabalho. O fenômeno clima de segurança no trabalho é definido como a percepção compartilhada que os membros da organização têm em relação ao seu compromisso com a gestão de segurança da organização e ao comportamento seguro no trabalho. Foram objetos de pesquisa 80 artigos e outras produções bibliográficas que se referem à construção e ao uso de instrumentos de medida de clima de segurança em diferentes contextos: industrial, transporte, construção civil e hospitalar, correspondente ao período de 1980 a 2008. Conclui-se que os instrumentos de medida de Clima de Segurança no Trabalho, assim como os aspectos teóricos que dão sustentabilidade a este construto, necessitam de aperfeiçoamento em sua matriz conceitual e metodológica, especialmente em relação à qualidade e ao controle de resultados do processo de mensuração.

This article intends to make a critical evaluation of the construct of safety climate and safety climate measures in the work environment.The safety climate in the work environment phenomenon is defined as the shared perception that the organization members in relation to their commitment to the organization's safety management and the safety behavior in the work environment.Eighty articles were objects of research,along with other bibliographic productions that refer to the construction and the use of safety climate measure instruments in different contexts:industrial,transport civil construction and hospitals,that correspond to for the period from 1980 to 2008.It was concluded that, although the measure instruments of the Safety Climate in the Work Environment,as well as the theoretical aspects that give sustainability to the construct, their conceptual and methodological origin need improvement, especially in relation to the quality and the control of the measuring process' results.

Qualidades psicométricas de um conjunto de 45 testes cognitivos / Psychometric proprieties of a set of 45 cognitive tests

O presente texto relata a análise das qualidades psicométricas de um conjunto de 45 testes cognitivos, avaliando a função dos mesmos como marcadores de fatores cognitivos. Os testes foram traduzidos e adaptados a partir de uma seleção entre os testes do Kit of Factor-Referenced Cognitive Tests do Educational Testing Service. Eles foram aplicados a uma amostra de 160 estudantes do terceiro ano de uma escola brasileira de ensino médio da rede federal de ensino. Foram empregados a análise fatorial exploratória, o método dos eixos principais e a análise paralela por permutação, com critérios rigorosos para a identificação de testes marcadores. Seis tipos de escalas foram identificados: escalas muito boas, escalas adequadas, escalas quase adequadas, escalas fracas, escalas com uma discrepância e escalas inadequadas. Alguns testes e escalas analisados apresentaram características de marcadores. Por outro lado, todos os testes e escalas podem ser considerados adequados, diante dos critérios psicométricos usuais.

This paper reports the analysis of the test's psychometrical qualities from a set of 45 cognitive tests. The tests had been translated and adapted to Brazilian Portuguese from a selection of the tests of the Kit of Factor-Referenced Cognitive Tests of Educational Testing Service. The tests were applied in a sample of 160 students of the third year of one federal high school. Exploratory Factor Analysis, Principal Axis Factoring and Permutation Parallel Analysis were used in the study of reliability of the extracted factors. Markers tests were identified using rigorous criteria. Six scales were identified using the rigorous criteria of markers tests: very good scales, satisfactory scales, acceptable scales, weak scales, discrepant scales and inadequate scales. The results indicated that some tests and some of the generated scales could be regarded as marker tests of cognitive factors. All tests and scales can be considered adjusted by the usual psychometric criterion.