Development and initial validation of a scale to measure methodological quality in diagnostic accuracy studies: the MInCir proposal / Desarrollo y validación inicial de una escala para medir la calidad metodológica en estudios de precisión diagnóstica. La propuesta de MInCir

Research in diagnostic accuracy studies (DAS) is a rapidly developing area in medicine, but there are only three instruments used in this scenario. The aim of this study was to design and validate a scale to determine methodological quality (MQ) of DAS. Scale validation study. A systematic literature review about the MQ of diagnostic accuracy studies was accomplished, and an expert panel generated a first draft (content validity) of the scale. An alphanumeric order was given and rated by six researchers (second draft) and a pilot study to optimise its use and understanding was performed (third draft). Two independent researchers applied the final scale (9 items/3 domains) to 110 articles from 13 journals with high, medium and low impact factors. Criterion validity was determined by contrasting MQ scores with the Oxford Centre for Evidence-Based Medicine levels of evidence. The construct validity of the extreme groups and high and low IF were estimated. The intraclass correlation coefficient was used to determine inter-observer reliability, and the cut-off point was calculated using a ROC curve. The best cut-off point was 24 points, with an under curve area of 93.4 %. The content validity rating was 80-100 % for all included items. Criterion and construct validity were statistically significant with p<0.05. Interobserver reliability was estimated in 0.96. A scale to measure the MQ of DAS was designed and validated.

La investigación en estudios de precisión diagnóstica (EPD) es un área de rápido desarrollo en medicina, sin embargo, en este escenario sólo existen tres instrumentos. El objetivo de este estudio fue diseñar y validar una escala para determinar calidad metodológica (CM) de EPD. Estudio de validación de escala. Se realizó una extensa revisión de la literatura sobre el CM de EPD y un panel de expertos generó un primer borrador (validez del contenido) de la escala. Se asignó un orden alfanumérico, el que evaluado por 6 investigadores independientes (2º borrador). Posteriormente, se realizó un estudio piloto para optimizar el uso y entendimiento (3º borrador). Dos investigadores independientes aplicaron la escala final (9 ítems / 3 dominios) a 110 artículos de 13 revistas con factores de impacto alto, medio y bajo. Se determinó validez de criterio contrastando puntuaciones de CM con niveles de evidencia del Oxford Centre for Evidence-Based Medicine. Se determinó validez de constructo de grupos extremos (factores de impacto alto y bajo). La confiabilidad interobservador se estimó aplicando coeficiente de correlación intraclase. Finalmente, se evaluaron puntos de corte construyendo curvas ROC. El mejor punto de corte fue 24 puntos (área bajo la curva de 93,4 %). La validez de contenido fue de 80-100 % para todos los elementos incluidos. Validez de criterio y constructo fueron estadísticamente significativos (p<0,05). La confiabilidad interobservador fue de 0,96. Se diseñó y validó una escala para medir el CM de EPD.

Initial validation of a scale to measure methodological quality in prognosis studies: the MInCir proposal / Validación inicial de una escala para medir calidad metodológica en estudios de pronóstico: la propuesta de MInCir

Research in methodological quality (MQ) of prognosis studies (PS) is relevant in view of the important number of studies developed in this scenario. However, currently there are no instruments designed to measure MQ in PS, thus the aim of this study was to validate a scale to determine the MQ in PS. Scale validation study. Two independent researchers applied the scale (10 items/4 domains) in 119 articles found in 13 Journals of high, medium and low impact factor. Criterion validity was determined by contrasting MQ scores with Oxford Centre for Evidence-Based Medicine levels of evidence. Construct validity of extreme groups and high and low impact factors were estimated. Intraclass correlation coefficient was used to determine interobserver reliability, and the cut-off point was calculated using a ROC curve. The best cut-off point was 33, with an under curve area of 82.6 %. Criterion and construct validity were statistically significant with (p<0.001). Interobserver reliability was 0.91 and a scale to measure the MQ in PS was validated.

El objetivo de este estudio fue validar una escala para determinar calidad metodológica (CM) de estudios de pronóstico (EP). Se realizó un estudio de validación de escalas. La escala, compuesta por 10 ítems y 4 dominios; se aplicó a 119 artículos de 13 revistas, de factores de impacto alto, medio y bajo; por dos investigadores independientes. La validez del criterio se determinó al contrastar las puntuaciones de CM de cada artículo con los niveles de evidencia del Centro de Medicina Basada en la Evidencia de Oxford de la revista en la cual fueron publicados. Se estimó la validez de constructo de grupos extremos (factores de impacto alto y bajo). Se utilizó el coeficiente de correlación intraclase para determinar la confiabilidad interobservador, y el punto de corte se calculó construyendo curvas ROC. El mejor punto de corte fue 33 puntos (área bajo la curva de 82,6 %). La validez de criterio y de constructo fueron estadísticamente significativas (p<0,001). La confiabilidad interobservador fue 0,91. Se validó una escala para medir CM en EP.

Validation of the Questionnaire "Stage of Change in Behavior of Scholars in Eating Habits and Physical Activity" (CEHAF) / Validación del cuestionario "Etapa de cambio del comportamiento de los escolares en hábitos alimentarios y actividad física" (CEHAF)

Abstract To validate the questionnaire "Stage of Change in Behavior of Scholars in Eating Habits and Physical Activity" (CEHAF). It is based on the Transtheoretical Model, and it intends to be a useful tool for developing strategies against childhood obesity. It measures knowledge, attitudes, and habits towards nutrition and physical activity. Observational, cross-sectional, randomized, and multi-center study in a sample of 1671 Mexican school-age children, from 8 to 12 years old, both genders. The CEHAF questionnaire is self-administered and consists of 35 questions, including 18 multiple choices, on habits and attitudes towards alimentation and physical activity. Reliability analysis through Cronbach's alpha resulted in an alpha coefficient of 0.845. The exploratory factor analysis revealed three theoretically-congruent factors. The final version of the CEHAF questionnaire was conformed of 14 items. The psychometric characteristics of the CEHAF questionnaire indicate that it is a valid and reliable tool for assessing the stage of change in school-age population.

Resumen Validar el cuestionario "Etapa de cambio del comportamiento de escolares en hábitos alimentarios y actividad física" (CEHAF), el cual está basado en el modelo transteórico, y pretende ser una herramienta útil para desarrollar estrategias para combatir la obesidad infantil. Dicha herramienta mide conocimientos, actitudes y hábitos sobre nutrición y actividad física. Estudio observacional, transversal y aleatorizado en una muestra de 1671 estudiantes mexicanos, de 8 a 12 años de edad, ambos sexos. El cuestionario CEHAF es auto-administrado y se conforma por 35 preguntas, incluyendo 18 de opción multiple, sobre hábitos de alimentación y actividad física. Resultados: El análisis de confiabilidad mediante alfa de Cronbach resultó en un coeficiente alfa de 0.845. El análisis factorial exploratorio reveló tres factores teóricamente congruentes. La versión final del cuestionario CEHAF estuvo compuesta de 14 items. Las características psicométricas del cuestionario CEHAF lo vuelven una herramienta válida y confiable para evaluar la etapa de cambio en estudiantes de escuela primaria.

Validación de la escala barrat de impulsividad (bis-11) en población bogotana / Validation of the barrat impulsivity scale (bis-11) in bogotana population

Resumen El presente trabajo se realizó con el fin de validar la Escala de Impulsividad de Barratt (bis-11) en población bogotana, y de esta forma aportar evidencia empírica que permita unificar los criterios de interpretación y análisis. Participaron 313 personas: 98 privadas de la libertad transitoriamente en Unidad de Reacción Inmediata (uri); 86 diagnosticadas con trastornos relacionados con impulsividad y 126 estudiantes universitarios. Se realizó la adaptación cultural de la prueba por medio de revisión por lingüista, juicio de expertos y pilotaje. Posteriormente, se definió el instrumento sometido a validación. Los resultados arrojaron una fiabilidad de la escala total de a 0,7 y para las sub escalas motora a 0,6, atencional a 0,5 y no planeada a 0,4; el análisis factorial exploratorio identificó 2 factores que explican el 29,77% de la varianza total. La evidencia permite concluir una calidad psicométrica moderada, por lo cual se recomienda no usar esta versión para diagnóstico y realizar la traducción de la última actualización de la escala original.

Abstract The present work was carried out in order to validate the Barratt Impulsivity Scale (bis-11) in the population of Bogota, and thus provide empirical evidence to unify the interpretation and analysis criteria. Participated 313 people: 98 deprived of freedom temporarily in the Unit of Immediate Reaction (URI); 86 diagnosed with disorders related to impulsivity and 126 university students. The cultural adaptation of the test was made through linguistic revision, expert judgment and piloting. Subsequently, the instrument was validated. The results showed a reliability of the total scale of a 0.7 and for motor subscales a 0.6, attentional a 0.5 and unplanned a 0.4; the exploratory factor analysis identified 2 factors that explain 29.77% of the total variance. The evidence allows to conclude a psychometric quality moderate, for which it is recommended not to use this version for diagnosis and perform the translation of the last update of the original scale.

Comparando indicadores psicométricos de duas versões brasileiras do social skills rating system: uma revisão da literatura / Comparing psychometric indicators of two brazilian versions of the social skills rating system: a literature review / Comparación de indicadores psicométricos de dos versiones brasileñas del social skills rating system: una revisión de literatura

O Social Skills Rating System é uma das medidas mais frequentemente mencionadas na literatura internacional na avaliação das habilidades sociais de crianças, possuindo propriedades de validade e confiabilidade bastante satisfatórias em diversos países. A versão brasileira do instrumento, o Inventário de Habilidades Sociais, Problemas de Comportamento e Competência Acadêmica, foi submetida a processos de validação em dois momentos diferentes, por dois métodos de redução de dados: Componentes Principais (SSRS-BR, 2009) e Principal Axis Factoring (PAF), com posterior Análise Fatorial Confirmatória (SSRS-BR2, 2015). O objetivo deste artigo é comparar os indicadores psicométricos de duas versões brasileiras dessas escalas, apresentando suas diferenças e semelhanças em termos de: (a) métodos de extração e análise de dados; (b) índices psicométricos de estrutura fatorial e confiabilidade e (c) composição fatorial final e conteúdo das escalas. Possíveis refinamentos psicométricos advindos do SSRS-BR2 são discutidos, assim como suas implicações para procedimentos de avaliação de habilidades sociais em crianças.

The Social Skills Rating System is one of the most frequently cited measures in the literature to assess social skills of children, with quite satisfactory reliability and validity properties in several countries. The Brazilian version of the instrument was subjected to validation processes at two different times, using two methods of Factor Analysis: Principal Components (SSRS-BR, 2009) and Principal Axis Factoring (PAF) with subsequent Confirmatory Factor Analysis (SSRS-BR2, 2015). The purpose of this article is to compare the psychometric indicators of the two Brazilian versions of these scales, presenting their differences and similarities in terms of: (a) extraction methods and data analysis, (b) psychometric indices of factor structure and reliability and (c) final factorial composition and content of the scales. Possible psychometric refinements arising from the SSRS-BR2 are discussed, as well as its implications for evaluation procedures of social skills in children.

El Social Skills Rating System es una de las medidas más frecuentemente mencionada en la literatura internacional para evaluar las habilidades sociales de niños, presentando propiedades de validez y confiabilidad bastante satisfactorias en varios países. La versión brasileña del instrumento, Inventario de Habilidades Sociales, Problemas de Comportamiento y Competencia Académica fue sometida a procesos de validación en dos momentos diferentes, usando dos métodos de reducción de datos: Componentes Principales (SSRS BR, 2009) y Principal Axis Factoring (PAF) con posterior Análisis Factorial Confirmatorio (SSRS-BR2, 2015). El objetivo de este artículo fue comparar los indicadores psicométricos de dos versiones brasileñas de esas escalas, presentando las diferencias y semejanzas en términos de: (a) métodos de extracción y análisis de datos, (b) índices psicométricos de estructura factorial y confiabilidad y (c) composición factorial final y contenido de las escalas. Se discuten posibles mejoras psicométricas provenientes del SSRS-BR2, así como sus implicaciones en procedimientos de evaluación de habilidades sociales en niños.