Uso de rúbricas para la evaluación de textos académicos: un desafío en la enseñanza de enfermería / Use of rubrics for the evaluation of academic texts: a challenge in nursing education

INTRODUCCIÓN: Tanto la enseñanza de la escritura como la forma en que se evalúa constituyen un desafío importante en educación superior. La utilización de estrategias evaluativas permite remediar las carencias en habilidades de escritura, al ser no solo un recurso de evaluación exhaustivo y didáctico, sino que también, una guía para el desarrollo del texto en sí mismo. OBJETIVO: Desarrollar metodologías evaluativas para mejorar los aspectos de forma y contenido en la escritura de textos académicos en Enfermería. METODOLOGÍA: el proyecto contó de tres fases que contemplaron la construcción de dos instrumentos (fase 1), su aplicación en un texto académico y respectivos ajustes (fase 2), y la evaluación de dicha aplicación (fase 3). RESULTADOS: se obtuvieron dos rúbricas de tipo analíticas conformadas por los ítems de FORMA (aspectos de escritura) y CONTENIDO (aspectos de investigación), las que fueron aplicadas tres veces al texto para evaluar su progreso, observándose mejoras en la calificación global, en coherencia y cohesión en FORMA, y marco teórico, resultados y metodología, en CONTENIDO. DISCUSIÓN: el uso de rúbricas analíticas son una herramienta muy útil a la hora de evaluar textos académicos. Son instrumentos sumamente completos pues miran el proceso como un todo, actuando no solo como una instancia evaluativa, sino que también formadora para el estudiantado, a la vez que se configuran como una guía para el desarrollo de la escritura.

INTRODUCTION: Both the teaching of writing and the way it is evaluated constitute major challenges in higher education. The use of evaluative strategies can help remediate deficiencies in writing skills by being not only an exhaustive and didactic evaluation resource, but also a guide for the development of the text itself. OBJECTIVE: Develop evaluative methodologies to improve aspects of form and content in the writing of academic texts in Nursing. METHODOLOGY: The project had three phases that considered the construction of two instruments (phase 1), their application in an academic text (thesis report) and respective adjustments (phase 2), and, finally, the evaluation of said application. RESULTS: Two analytical headings were obtained (quantitative methodology and qualitative methodology), consisting of the items of FORM (writing aspects) and CONTENT (research aspects), respectively, which were applied three times to the text to evaluate its progress. Improvements were observed in the overall rating, in the areas of coherence and cohesion in FORM, and in the theoretical framework, results, and methodology in CONTENT. DISCUSSION: Analytical rubrics are a very useful tool when evaluating academic texts. They are extremely comprehensive instruments because they look at the process as a whole, serving not only as an evaluative tool, but also as a training opportunity for students, providing a guide for the development of academic writing skills.

Diseño y validación de una rúbrica analítica para evaluar manuscritos científicos / Design and validation of an analytical rubric for evaluating scientific manuscripts

Introducción: La investigación científica tiende a ser presentada mediante reportes escritos, que inicialmente son denominados manuscritos, la revisión de su calidad es importante en el marco del rigor metodológico y científico. Objetivo: Diseñar y validar una rúbrica analítica para evaluar manuscritos científicos. Material y Métodos: Estudio instrumental. Donde se elabora una rúbrica analítica compuesta por 21 aspectos integrados en seis dimensiones y cuatro niveles de desempeño (Excelente, Bien, Regular, Por mejorar). Se utiliza la metodología de jueces expertos (n= 9), fiabilidad mediante el Alfa de Krippendorff (α) y relación prueba criterio externo e información cualitativa para la mejora de los indicadores. Resultados: El juicio de expertos indicó que los 21 aspectos a evaluar pueden ser considerados validos (V de Aiken ≥ 0.70) y fiables (α ≥ 0.70). Además, las sugerencias de los expertos permitieron mejoras cualitativas al instrumento. La aplicación piloto con un grupo de siete evaluadores indicó que la prueba cuenta con poder predictivo, porque se encontró que las puntuaciones de los jueces disminuyen mientras disminuye la calidad del manuscrito seleccionado. Conclusiones: La rúbrica analítica elaborada es un instrumento válido y fiable que puede ser utilizado para la valoración de manuscritos científicos en el ámbito de la educación médica. El proceso metodológico brinda evidencias solidas de su funcionamiento. A pesar de eso, se anima a continuar revisando el instrumento como parte de su proceso de mejora continua.

Introduction: Scientific research tends to be presented through written reports, which are initially called manuscripts. The review of their quality is important in the framework of methodological and scientific rigor. Objective: To design and validate an analytical rubric to evaluate scientific manuscripts. Material and Methods: Instrumental study. An analytical rubric composed of 21 aspects integrated into six dimensions and four performance levels (excellent, good, fair, to be improved) was developed. The methodology of expert judges (n = 9), reliability by means of Krippendorff's alpha (α), external criterion test, and qualitative information for the improvement of the indicators were used. Results: The expert judgment indicated that the 21 aspects to be evaluated can be considered valid (Aiken's V ≥ 0.70) and dependable (α ≥ 0.70). In addition, the experts' suggestions allowed qualitative improvements to the instrument. The pilot application with a group of seven evaluators indicated that the test has predictive power because it was found that the judges' scores decreased as the quality of the selected manuscript decreased. Conclusions: The analytical rubric elaborated is a valid and reliable instrument that can be used for the assessment of scientific manuscripts in the field of medical education. The methodological process provides solid evidence of its performance. Nevertheless, it is encouraged to continue revising the instrument as part of its continuous improvement process.

Diseño de una rúbrica análitica socioformativa para evaluar promoción de salud bucal / Design of socioformative analytical rubric to evaluate oral health promotion

Introducción: Contar con instrumentos de evaluación para las acciones de promoción de salud que integren sus principios permite identificar los logros y las áreas de oportunidad para mejorar las prácticas estomatológicas en salud. Objetivo: Diseñar un instrumento para evaluar actividades de promoción de la salud bucal. Material y Métodos: Se construyó una rúbrica socioformativa con base en los cinco principios de promoción de salud, se llevó a cabo un estudio instrumental para la validación del instrumento con base en el juicio de expertos y la aplicación a un grupo piloto de 30 odontólogos. Resultados: Mediante el juicio de expertos se determinó la validez de contenido para los 22 ítems que conforman el instrumento (V de Aiken>0.80; ICI>0.70). El instrumento fue aplicado a un grupo piloto de 30 participantes, los resultados demostraron que el instrumento tiene una confiabilidad favorable (Alfa de Cronbach: 0.875; 95 por ciento IC: 0.801 + 0.931). Conclusiones: La rúbrica obtenida es un instrumento pertinente, valido en contenido y con confiabilidad aceptable(AU)

Introduction: Having evaluation tools for health promotion actions that integrate their principles allows us to identify achievements and areas of opportunity to improve dental health practices. Objective: To design a valid and reliable instrument to evaluate oral health promotion activities. Material and Methods: A socioformative rubric was built on the basis of the five principles of health promotion. An instrumental study was carried out for the validation of the instrument based on experts judgment and the application to a pilot group of 30 dentists. Results: The expert judgment determined the validity of content for the 22 items that make up the instrument (V. Aiken >0.80, ICI >0.70). The instrument was applied to a pilot group of 30 participants. The results showed that the instrument has a favorable reliability (Cronbach's alpha: 0.875, 95% CI: 0.801 + 0.931). Conclusions: The rubric obtained is a relevant instrument, valid in content and with acceptable reliability(AU)

Validation of an evaluation instrument for responders in tactical casualty care simulations / Validação de um instrumento de avaliação para a prática de cuidados de saúde estratégicos / Validación de un instrumento de evaluación para la práctica de la atención sanitaria táctica

Objective: to construct and validate a tool for the evaluation of responders in tactical casualty care simulations. Method: three rubrics for the application of a tourniquet, an emergency bandage and haemostatic agents recommended by the Hartford Consensus were developed and validated. Validity and reliability were studied. Validation was performed by 4 experts in the field and 36 nursing participants who were selected through convenience sampling. Three rubrics with 8 items were evaluated (except for the application of an emergency bandage, for which 7 items were evaluated). Each simulation was evaluated by 3 experts. Results: an excellent score was obtained for the correlation index for the 3 simulations and 2 levels that were evaluated (competent and expert). The mean score for the application of a tourniquet was 0.897, the mean score for the application of an emergency bandage was 0.982, and the mean score for the application of topical haemostats was 0.805. Conclusion: this instrument for the evaluation of nurses in tactical casualty care simulations is considered useful, valid and reliable for training in a prehospital setting for both professionals who lack experience in tactical casualty care and those who are considered to be experts.

Objetivo: construir e validar um instrumento de avaliação da prática, por meio da simulação, nos cuidados de saúde estratégicos. Método: três instrumentos para práticas de avaliação de aplicação do torniquete, bandagem de emergência e agente hemostático recomendados pelo Consenso de Hartford foram desenvolvidos e validados. A validade e a confiabilidade foram estudadas. A validação foi realizada por quatro especialistas da área e trinta e seis enfermeiros participantes selecionados por amostragem por conveniência. Três instrumentos de avaliação com 8 itens foram avaliados (com exceção da bandagem de emergência, que tinha 7 itens para avaliar). Cada prática foi avaliada por três especialistas. Resultados: uma pontuação excelente foi obtida no cálculo do índice de correlação para as três práticas e nos dois níveis avaliados (competente e especialista). A pontuação média para a aplicação do torniquete foi de 0,897, para o curativo de emergência foi de 0,982 e para a aplicação de agentes hemostáticos tópicos foi de 0,805. Conclusão: este instrumento de avaliação da prática por meio de simulação nos cuidados de saúde estratégicos é considerado útil, válido e confiável para o treinamento no contexto pré-hospitalar tanto dos profissionais que não possuem experiência nos cuidados estratégicos quanto nos considerados peritos.

Objetivo: construir y validar un instrumento de evaluación de la práctica, mediante simulación, en la atención sanitaria táctica. Método: se construyeron y validaron tres rúbricas de las prácticas de aplicación del torniquete, vendaje de emergencia y agente hemostático recomendadas por el Consenso Hartford. Se estudió la validez y fiabilidad. La validación se realizó por cuatro expertos en la materia y treinta y seis participantes enfermeros que fueron la muestra de conveniencia. Se evaluaron tres rúbricas con 8 ítems (excepto para el vendaje de emergencia que fueron 7 ítems a evaluar). Cada práctica fue evaluada por tres expertos. Resultados: se ha obtenido una excelente puntuación en el cálculo del índice de correlación para las tres prácticas y en los dos niveles evaluados (competente y experto). La puntuación media para la rúbrica de aplicación del torniquete fue de 0.897, la del vendaje de emergencia 0.982 y para la aplicación de hemostáticos tópicos 0.805. Conclusión: este instrumento de evaluación de la práctica mediante simulación en la atención sanitaria se considera útil, válido y fiable para la formación en el entorno prehospitalario tanto de profesionales que carecen de experiencia en atención táctica como de aquellos considerados como expertos.

Percepción de los estudiantes y docentes de Enfermería con respecto a la pertinencia de la rúbrica de evaluación clínica / Perception of nursing students and teachers regarding the relevance of the clinical evaluation rubric

Introducción: La reflexión conjunta de estudiantes y docentes acerca de los procesos y factores involucrados tanto en el aprendizaje como en la enseñanza y evaluación, logrará mayores niveles de entendimiento a partir del intercambio de ideas, valoraciones y percepciones que se generan entre los distintos actores del proceso formativo. Objetivo: Conocer la percepción de los estudiantes y docentes de enfermería con respecto a la pertinencia de la rúbrica de evaluación clínica utilizada en la asignatura de enfermería médico quirúrgica, de tercer año de la carrera, en una universidad privada de Chile. Métodos: Investigación cualitativa con muestreo opinático. Se aplicaron encuestas semiestructuradas a un grupo de 16 participantes entre docentes y estudiantes de enfermería, las que fueron trascritas verbatim. Se realizó análisis de contenido, detallándose aspectos del fenómeno de estudio y buscando las categorías de significado que dieran respuesta al objetivo de la investigación. Resultados: El fenómeno de estudio emergió en tres grandes unidades de significado: impresión global de la utilidad del instrumento; dimensiones deficitarias de la rúbrica de evaluación y propuestas de mejora. Conclusiones: Es importante considerar la opinión de docentes y estudiantes sobre la rúbrica de evaluación a ser utilizada, ya que son un insumo para monitorizar de manera cualitativa el comportamiento del instrumento, considerando su carácter flexible, abierto y dinámico, que requiere de una permanente revisión, a fin de asegurar su calidad, para ser finalmente, un verdadero aporte al proceso de enseñanza-aprendizaje(AU)

Introduction: Joint reflection of students and teachers about the processes and factors involved in both learning and teaching and evaluation will achieve higher levels of understanding from the exchange of ideas, assessments and perceptions that are generated among the different participants in the training process. Objective: To know the Nursing students' and teachers' perception about the relevance of the clinical evaluation method used in the subject Surgical-Medical Nursing during the third academic year of the major, at a private university in Chile. Methods: Qualitative research with opinion sampling. Semi-structured surveys were applied to a group of 16 participants among teachers and nursing students, which were transcribed verbatim. Content analysis was carried out, detailing aspects of the studied phenomenon and looking for the categories of meaning that would answer the objective of the research. Results: The studied phenomenon emerged in three large units of meaning: global impression about the usefulness of the instrument; deficit dimensions of the evaluation method, and improvement proposals. Conclusions: It is important to consider the professors' and students' opinion about the evaluation method to be used, since they are an input to monitor qualitatively the behavior of the instrument, considering its flexible, open and dynamic nature, which requires a permanent revision, in order to ensure its quality, to be finally a true contribution to the teaching-learning process(AU)

La rúbrica de evaluación en el postgrado / Evaluation rubric in the postgraduate teaching

Introducción. Dentro del proceso de enseñanza aprendizaje la evaluación es un aspecto fundamental, la utilización de rúbricas para ello es cada día más común, ya bien sea en tareas, exámenes o productos, entre otros. El objetivo de este trabajo es explicar qué es una rúbrica de evaluación y mostrar la conveniencia de adoptarla como un método más cuando se va a evaluar un trabajo o examen en la enseñanza postgraduada. Desarrollo. Se define lo que son las rúbricas de evaluación, sus características fundamentales, sus ventajas y desventajas, así como sus tipos. Se señala la conveniencia de usarlas en la enseñanza de postgrado y se ejemplifica con unas rúbricas elaboradas para que se utilicen en un curso de postgrado de Estadística Descriptiva. Conclusiones. Dada la forma en que se definen las rúbricas o matrices de valoración y las características que exhiben, ellas constituyen una buena propuesta de evaluación en los cursos de postgrado, tanto para el estudiante como para el profesor, por la retroalimentación que proporciona a ambos(AU)

Introduction. In the learning teaching process the evaluation is a fundamental point, and the use of rubrics for them is every day more common, as in tasks, examinations or products, between others. The objective of this paper is to explain what it is an evaluation rubric and to show the convenience of adopt it as another method when you are going to evaluate a work or an examination in the postgraduate teaching. Development. It has been defined what are the evaluation rubrics, their vintages and challenges and so the types. It is indicated the convenience of their use in postgraduate teaching and there are showing examples with elaborated rubrics for their use in a postgraduate course in Descriptive Statistics. Conclusions. In the way that the rubrics or valuation matrixes are define and showing their characteristics, they constitute a good option in the evaluation of postgraduate courses, as for the students or the professor, by the feedback they produce to both(AU)

Construcción y validación de una rúbrica para medir la expresión escrita en estudiantes universitarios / Construction and Validation of a Rubric for Measuring Writing in University Students

En este artículo se presenta el proceso de construcción y validación de una rúbrica para medir la expresión escrita de estudiantes universitarios de primer año de ingreso. Se recogieron 117 ensayos escritos por estudiantes universitarios (75 mujeres y 42 hombres) de la carrera de Filología Española de la Universidad de Costa Rica. Los ensayos fueron calificados por dos evaluadoras con base en una rúbrica, después de lo cual se calcularon diferentes índices de concordancia entre jueces para evaluar la calidad técnica de ésta. Entre los resultados más importantes se observó un porcentaje de acuerdo absoluto [±3 errores] del 90% en la mayoría de los rubros evaluados. Por otro lado, se observaron correlaciones pequeñas y moderadas entre los aspectos incluidos en la rúbrica. A partir de estos resultados se discute la utilidad de utilizar la lingüística textual como base teórica para construir rúbricas de evaluación.

This article describes the process of construction and validation of a rubric to measure the writing of first-year university students. 117 essays written by Spanish Philology students (75 women and 42 men) of the University of Costa Rica were collected. Two evaluators, based on a rubric, rated the compositions after which different raters agreement coefficients were calculated to assess the technical quality of the rubric. Among the most important results, a 90% of absolute agreement was observed [± 3 errors] in most of the areas evaluated. On the other hand, small and moderate correlations between the aspects included in the rubric were observed. From these results the utility of using text linguistics as a theoretical basis for constructing written expression rubrics are discussed.