ABSTRACT
Introducción: En 2013, desarrollamos una escala, para evaluar resúmenes de congresos de la Sociedad de Cirujanos de Chile (SOCICH). Objetivo: Determinar consistencia interna y confiabilidad interobservador de una escala para evaluar resúmenes de congresos. Material y Método: Estudio de confiabilidad. Doce cirujanos fueron capacitados de forma virtual durante 8 horas, para aplicar la escala. Una vez finalizado el entrenamiento, se les envió un cuestionario para evaluar contenidos de la capacitación, y varios resúmenescasos para ser evaluados con la escala antes señalada. Se aplicó estadística descriptiva, luego se estimó el grado de acuerdo entre observadores para cada ítem de la escala. Posteriormente, se evaluó el coeficiente de correlación (CCI), utilizando un modelo de dos factores mixtos en el que los efectos de los evaluadores son aleatorios y los ítems fijos; utilizando una definición de acuerdo absoluto. Además, se evaluó la consistencia interna de los ítems utilizando alfa de Cronbach, considerando intérvalos de confianza del 95% (IC 95%). Resultados: Luego de analizar las mediciones de los 9 ítems por los 12 observadores, se verificó que el CCI fue de 0,871; con un IC 95% de 0,700; 0,965. El valor de la consistencia interna fue de 0,7 considerando los 9 ítems, no se recomienda eliminar ningún ítem. Conclusión: La escala tiene buena confiabilidad interobservador y los ítems son consistentes entre sí; por lo que puede ser considerada como un instrumento confiable para la valoración de resúmenes de congresos.
Background: In 2013, we developed a scale to evaluate the abstracts of the congresses of the Society of Surgeons of Chile (SOCICH). Objective: To determine internal consistency and interobserver reliability of a scale to evaluate conference abstracts. Material and Methods: Reliability study. Twelve surgeons were trained virtually for 8 hours, to apply the scale. Once the training was finished, they were sent a questionnaire to evaluate the contents of the training, and several summaries-cases to be evaluated with the aforementioned scale. Descriptive statistics were applied, then the degree of agreement between observers was estimated for each item of the scale. Subsequently, intraclass correlation coefficient (ICC) was evaluated, using a mixed two-factor model where the effects of the evaluators are random and the items are fixed, using a definition of absolute agreement. In addition, the internal consistency of the items was evaluated using Cronbach's alpha, considering 95% confidence intervals (95% CI). Results: After analyzing the measurements of the 9 items by the 12 observers, it was verified that the ICC was 0.871; with a 95% CI of 0.700; 0.965. The internal consistency value was 0.7 considering the 9 items, it is not recommended to delete any item. Conclusions: The scale has good internal consistency and interobserver reliability. Therefore, it can be considered as reliable instrument to be used in the evaluation of abstracts for congresses.
ABSTRACT
Abstract Introduction: The use of early screening questionnaires for chronic obstructive pulmonary disease (COPD) in primary health care could improve underdiagnosis. Several instruments are currently available, but there is scant information on their diagnostic performance. Objective: To determine the validity of different questionnaires for COPD diagnosis. Materials and methods: A systematic review and a meta-analysis of diagnostic test accuracy were carried out. A search of the literature published between July 1, 1997, and June 30, 2019 was performed in PubMed, EMBASE, and LILACS databases using MeSH and DeCS terms and the PICO strategy. Based on the inclusion and exclusion criteria, two reviewers selected the articles for complete analysis. Article quality was assessed using the QUADAS instrument. Results: 19 articles were included for analysis. Overall results were: sensitivity: 68.1% (95%CI: 66.7% -69.4%); specificity: 64.9% (95%CI: 64.3-65.5); positive likelihood ratio: 2.024 (95%CI: 1.7152.388); negative likelihood ratio: 0.407 (95%CI: 0.289-0.573); and receiver operating characteristic area under the curve (ROC AUC): 0.75. The COPD-PS questionnaire reported the highest performance with sensitivity of 0.673 (95%CI: 0.653-0.692), specificity of 0.663 (95%CI: 0.65.5- 0.651), and ROC AUC of 0.750. It was followed by LFQ with sensitivity of 0.840 (95%CI: 0.806-0.871), specificity of 0.312 (95%CI: 0.289-0.336), and ROC AUC of 0.730. Finally, CDQ had sensitivity of 0.798 (95%CI: 0.764-0.829), specificity of 0.517 (95%CI: 0.495-0.538), and ROC AUC of 0.727. Conclusion: Clinical prediction instruments for COPD diagnosis have an acceptable performance. The COPD-PS, LFQ and CDQ questionnaires show a similar performance.
Resumen Introducción. El uso de cuestionarios de predicción clínica para el diagnóstico de la enfermedad pulmonar obstructiva crónica (EPOC) en atención primaria en salud podría mejorar el subdiagnóstico de esta enfermedad. Hoy en día existen varios instrumentos de este tipo; sin embargo, hay poca información sobre su rendimiento diagnóstico. Objetivo. Determinar la validez del uso de los diferentes cuestionarios de predicción clínica para el diagnóstico de la EPOC. Materiales y métodos. Se realizó una revisión sistemática con metaanálisis de prueba diagnóstica en las bases de datos PubMed, EMBASE y LILACS a partir de la estrategia PICO y utilizando términos MeSH y DeCS. Se incluyeron los estudios publicados entre julio 1 de 1997 y junio 30 de 2019. Dos revisores seleccionaron los artículos para análisis completo con base en los criterios de inclusión y exclusión. La calidad de los artículos se evaluó con el instrumento QUADAS. Resultados. Se incluyeron 19 artículos para el análisis. En cuanto a la evaluación global de los cuestionarios se obtuvieron los siguientes datos: sensibilidad: 68.1% (IC95%: 66.7-69.4); especificidad: 64.9% (IC95%: 64.3-65.5); razón de verosimilitud positiva: 2.024 (IC95%: 1.715-2.388); razón de verosimilitud negativa: 0.407 (IC95%: 0.289-0.573) y el área bajo la curva de características del receptor (ACOR): 0.75. El cuestionario COPD-PS reportó el mayor rendimiento -sensibilidad: 0.673 (IC95%: 0.653-0.692), especificidad: 0.663 (IC95%: 0.655-0.671) y ACOR: 0.750-; seguido de LFQ -sensibilidad: 0.840 (IC95%: 0.806-0.871), especificidad: 0.312 (IC95%: 0.289-0.336) y ACOR: 0,730-, y CDQ -sensibilidad: 0.798 (IC95%: 0.764-0.829), especificidad: 0.517 (IC95%: 0.495-0.538) y ACOR: 0.727-. Conclusión. Los instrumentos de predicción clínica para el diagnóstico de EPOC tienen un rendimiento aceptable, pues los valores de sensibilidad obtenidos a través de estos son superiores a los de la evaluación individual de la sintomatología respiratoria que se puede hacer a través de la historia clínica habitual.
ABSTRACT
Resumen Introducción. La calidad de vida, como constructo multidimensional, considera aspectos físicos, sociales y culturales de las personas con discapacidad intelectual; por ello, se hace necesario contar con instrumentos adaptados y validados que permitan reconocer las necesidades específicas de esta población. Objetivo. Adaptar transculturalmente para Colombia la Escala KidsLife para personas con discapacidad intelectual. Materiales y métodos. Estudio instrumental hecho por fases: se hizo una revisión preliminar de la escala por parte de los investigadores; se comprobó la validez de contenido por juicio de siete expertos, quienes valoraron importancia, influencia, observancia y adecuación gramatical, y se realizó un estudio piloto con 30 personas para determinar confiabilidad y poder discriminativo. Resultados. En cuanto a la validez de contenido, los coeficientes de concordancia ponderados para concordancia entre jueces y concordancia de las dimensiones resultaron buenos. Respecto a la confiabilidad y poder discriminativo, se halló consistencia interna muy buena piara la escala total (alfa de Cronbach 0.95) y 52 ítems bajo poder discriminativo (p>0.1). Conclusiones. La adaptación y validez para Colombia de la Escala KidsLife permitirá fortalecer procesos de atención desde las diferentes dimensiones de calidad de vida centrados en las necesidades de la persona con discapacidad intelectual y múltiple, las familias y los profesionales de apoyo.
Abstract Introduction: Quality of life, as a multidimensional construct, comprises physical, social and cultural aspects of people with intellectual disabilities; therefore, it is necessary to have adapted and validated instruments to recognize the specific needs of this population. Objective: To make a cross-cultural adaptation for Colombia of the KidsLife Scale for people with intellectual disabilities. Materials and methods: Instrumental study done in phases. First, a preliminary review of the scale was made by the researchers; then, the validity of the content was verified by seven experts who assessed relevance, impact, compliance and grammatical adequacy; finally, a pilot study was carried out with 30 people to determine reliability and discriminative power. Results: In terms of content validity, the weighted concordance coefficients for agreement among judges and dimensional concordance were good. Regarding reliability and discriminative power, very good internal consistency was found for the whole scale (Cronbach's alpha of 0.95) and 52 items under discriminative power (p>0.1). Conclusions: The adapted and validated KidsLife Scale for Colombia will strengthen the care processes from different dimensions of quality of life, focused on the needs of the person with intellectual and multiple disabilities, families and support professionals.
ABSTRACT
Research in methodological quality (MQ) of prognosis studies (PS) is relevant in view of the important number of studies developed in this scenario. However, currently there are no instruments designed to measure MQ in PS, thus the aim of this study was to validate a scale to determine the MQ in PS. Scale validation study. Two independent researchers applied the scale (10 items/4 domains) in 119 articles found in 13 Journals of high, medium and low impact factor. Criterion validity was determined by contrasting MQ scores with Oxford Centre for Evidence-Based Medicine levels of evidence. Construct validity of extreme groups and high and low impact factors were estimated. Intraclass correlation coefficient was used to determine interobserver reliability, and the cut-off point was calculated using a ROC curve. The best cut-off point was 33, with an under curve area of 82.6 %. Criterion and construct validity were statistically significant with (p<0.001). Interobserver reliability was 0.91 and a scale to measure the MQ in PS was validated.
El objetivo de este estudio fue validar una escala para determinar calidad metodológica (CM) de estudios de pronóstico (EP). Se realizó un estudio de validación de escalas. La escala, compuesta por 10 ítems y 4 dominios; se aplicó a 119 artículos de 13 revistas, de factores de impacto alto, medio y bajo; por dos investigadores independientes. La validez del criterio se determinó al contrastar las puntuaciones de CM de cada artículo con los niveles de evidencia del Centro de Medicina Basada en la Evidencia de Oxford de la revista en la cual fueron publicados. Se estimó la validez de constructo de grupos extremos (factores de impacto alto y bajo). Se utilizó el coeficiente de correlación intraclase para determinar la confiabilidad interobservador, y el punto de corte se calculó construyendo curvas ROC. El mejor punto de corte fue 33 puntos (área bajo la curva de 82,6 %). La validez de criterio y de constructo fueron estadísticamente significativas (p<0,001). La confiabilidad interobservador fue 0,91. Se validó una escala para medir CM en EP.
Subject(s)
Prognosis , Quality Control , Evidence-Based Medicine , Reproducibility of Results , ROC CurveABSTRACT
Resumen En investigación, la confiabilidad (precisión, consistencia y reproducibilidad), corresponde a una propiedad psicométrica que dice relación con la ausencia de error de la medición; o del grado de consistencia y estabilidad de las puntuaciones obtenidas a lo largo de sucesivos procesos de medición con un mismo instrumento. Por ello, es esperable que, a mayor variabilidad de resultados, menor sea la precisión del instrumento de medición utilizado, concepto que aplica desde el laboratorio a la práctica clínica. La reproducibilidad se determina aplicando el coeficiente de confiabilidad, que es la correlación entre las puntuaciones obtenidas por los sujetos, en dos formas paralelas de una prueba (porque se supone que miden lo mismo). Por ello, asumiendo que midan lo mismo, las puntuaciones de los sujetos en estudio deberían ser iguales en ambas aplicaciones. De este modo, cuando la correlación es 1, la confiabilidad, precisión o reproducibilidad es máxima; y mientras más cercana a 0 es peor. La precisión en las mediciones está influenciada por el que mide (observador), por aquello con lo que se mide (instrumento de medición), y por lo que es medido (lo observado). Por ende, se ha de tomar en cuenta la variabilidad de cada uno de estos componentes al momento de planificar la medición de la variable en estudio; de tal modo de reducir al máximo los sesgos de medición. Así, las formas más comunes de determinar confiabilidad son: modelos de formas paralelas, test-retest y de dos mitades. Este manuscrito se centra en los conceptos de medición y las diversas técnicas estadísticas utilizadas para ello, como paso previo a la aplicación en la clínica. Por ello, el objetivo de este manuscrito es generar un documento de estudio y consulta relacionado con la confiabilidad, reproducibilidad o precisión del proceso de medición.
Reliability (accuracy, consistency and reproducibility) is a psychometric property, which is related to the absence of measurement error, or, to the degree of consistency and stability of the scores obtained through successive measurement processes with the same instrument. Thus a greater variability of results will lower the accuracy or reliability of instrument used, fact that is transverse from the laboratory to the clinical practice. It is determined by applying the reliability coefficient, which is the correlation between the scores obtained by the subjects in two parallel forms of a test. Assuming that the two forms of the test are parallel (measure the same), the scores of the subjects under study should be the same in both applications. In this way, when the correlation is 1, the reliability or precision is maximum. On the other hand, reliability could be influenced by the observer (the one that measures), the measuring instrument (by that with which it is measured), and by the observed (by what is measured). Therefore, the variability of each of these components must be taken into account when planning the measurement of the variable under study, in such a way to reduce measurement biases as much as possible. The most common ways to determine reliability are the models of parallel forms, test-retest and two halves. This manuscript focuses on the concepts of measurement and the various statistical techniques used for this, as a step prior to application in the clinic. Therefore, the aim of this manuscript is to generate a consultation document related to the reliability or reproducibility of the measurement process.