ABSTRACT
Fundamento: la preocupación por la calidad de los instrumentos de evaluación ha sido compartida por varios autores. Algunos han hecho alusión a la repercusión de las deficiencias en dichos instrumentos en los resultados académicos. Objetivo: determinar la posible influencia de diferencias (de contenido y de formato) entre los instrumentos aplicados en una evaluación parcial, en las calificaciones obtenidas por los estudiantes. Métodos: en cada instrumento se revisó el contenido explorado y el formato de las preguntas utilizadas. Se determinó la distribución de las calificaciones de forma comparativa en cada uno de los cuestionarios, tanto en el examen en su conjunto como en las diferentes preguntas de forma independiente. Los resultados fueron contrastados con los del mismo trabajo de control del curso precedente. Resultados: fueron constatadas diferencias significativas estadísticamente en las calificaciones entre ambos instrumentos del curso 2016-2017, con un franco predominio de las calificaciones de mejor calidad en el cuestionario A (58 % vs 30 %); la probabilidad de desaprobar el examen también fue significativamente mayor en el cuestionario B. En cambio, se comprobó la existencia de escasas diferencias (no significativas) en la distribución de las calificaciones del primer trabajo de control del curso 2015-2016. Conclusiones: la realización de exámenes en los cuales son aplicados cuestionarios que difieren entre sí, ya sea en el formato de las preguntas o en su contenido, puede determinar la ocurrencia de resultados diferentes en las calificaciones, favoreciendo a unos estudiantes sobre otros. Se sugiere incorporar la cualidad "justeza" a las características generales (ya reconocidas en la literatura) que debe tener todo instrumento de evaluación.
Foundation: the concern for the quality of evaluation instruments has been shared by several authors. Some have alluded to the impact of the deficiencies in such instruments on academic outcomes. Objective: to determine the possible influence of differences (content and format) among the instruments applied in a mid term test, in the scores obtained by the students. Methods: in each instrument the content explored and the format of the questions used were reviewed. The distribution of the scores was determined in a comparative way in each one of the batteries, both in the examination as a whole and in the different questions independently. The results were contrasted with those of the same control work of the previous course. Results: statistically significant differences were found in the scores between the two instruments of the 2016-2017 academic course, with a frank predominance of the best quality scores in Questionnaire A (58 % vs 30 %); the likelihood of failing the test was also significantly higher in Questionnaire B. On the other hand, there was little (non-significant) difference in the distribution of the scores of the first mid term test of the 2015-2016 academic year. Conclusions: conducting exams in which different questionnaires are applied, either in questions format or in their contents, can determine the occurrence of different results in scoring, favoring some students over others. It is suggested to incorporate the "fairness" quality to the general characteristics (already recognized in literature) which any evaluation instrument should have.
ABSTRACT
INTRODUCCIÓN: la estratificación de pacientes constituye una importante herramienta gerencial que contribuye a organizar el trabajo asistencial en puntos críticos como es el Departamento de Urgencias. OBJETIVO: presentar las experiencias en la aplicación de un instrumento de estratificación del paciente con neumonía adquirida en la comunidad (IENAC). MÉTODOS: el instrumento se evaluó en 2 series de 394 y 421 pacientes, respectivamente, mediante el empleo de indicadores de proceso y de resultado. RESULTADOS: el índice de estratificación para el total de pacientes fue 87 %, mucho mejor en la segunda serie. En cambio, el índice general de estratificación adecuada fue muy similar en ambas series: 82 % y 84 %, respectivamente; en las dos series un número considerable de pacientes clasificados clase II A pertenecían realmente a la clase II B, lo cual denota la frecuente subestimación por los facultativos del riesgo de complicación posterior. El mayor porcentaje de pacientes perteneció a la clase II B, con amplia diferencia sobre las otras clases de riesgo. La mayoría de los pacientes de ambas series fueron ubicados acorde la recomendación del instrumento de estratificación, aunque no todos los de la clase III A fueron admitidos en UCI. En cambio, el incumplimiento en el tratamiento antimicrobiano propuesto en el instrumento de estratificación del paciente con neumonía adquirida en la comunidad fue muy frecuente en los pacientes con neumonía no grave, determinado por un excesivo uso de ceftriaxona. Se comprobó un aumento progresivo de la letalidad desde la clase II A hasta la clase III B, con resultados consistentes en ambas series; este indicador fue extremadamente alto en esta última clase de riesgo, con diferencias estadísticamente significativas. CONCLUSIONES: el IENAC no solo ha mostrado factibilidad para su aplicación sino también una gran utilidad pronóstica.
INTRODUCTION: stratification of patients is an important management tool that helps organizing the care work at critical points such as the Emergency Department. OBJECTIVE: present the experience with application of an instrument of stratification of patients with community-acquired pneumonia (IENAC). METHODS: the instrument was evaluated in two series of 394 and 421 patients, respectively, through the use of indicators of process and outcomes. RESULTS: stratification index for all patients was 87 %, much better in the second set. However, the overall rate of appropriate stratification was similar in both series: 82 % and 84 %, respectively. In two series, a significant number of patients classified as Class II A really belonged to the class II B, which denotes frequent underestimation by doctors of the risk of further complications. The highest percentage of patients belonged to class II B, with wide lead over other kinds of risk. Most patients of both series were located according to the recommendation of stratification tool, although not all Class III A were admitted to the ICU. However, failure in antimicrobial therapy proposed at IENAC, was very common in patients with non-severe pneumonia, as determined by an excessive use of ceftriaxone. A progressive increase in the lethality from Class II A to Class III B, with consistent results in both series was tested; this indicator was extremely high in the latter class of risk, with statistically significant differences. CONCLUSIONS: IENAC has not only shown feasibility for implementation but also a prognostic value, as well.