RESUMEN
INTRODUCCIÓN: Tanto la enseñanza de la escritura como la forma en que se evalúa constituyen un desafío importante en educación superior. La utilización de estrategias evaluativas permite remediar las carencias en habilidades de escritura, al ser no solo un recurso de evaluación exhaustivo y didáctico, sino que también, una guía para el desarrollo del texto en sí mismo. OBJETIVO: Desarrollar metodologías evaluativas para mejorar los aspectos de forma y contenido en la escritura de textos académicos en Enfermería. METODOLOGÍA: el proyecto contó de tres fases que contemplaron la construcción de dos instrumentos (fase 1), su aplicación en un texto académico y respectivos ajustes (fase 2), y la evaluación de dicha aplicación (fase 3). RESULTADOS: se obtuvieron dos rúbricas de tipo analíticas conformadas por los ítems de FORMA (aspectos de escritura) y CONTENIDO (aspectos de investigación), las que fueron aplicadas tres veces al texto para evaluar su progreso, observándose mejoras en la calificación global, en coherencia y cohesión en FORMA, y marco teórico, resultados y metodología, en CONTENIDO. DISCUSIÓN: el uso de rúbricas analíticas son una herramienta muy útil a la hora de evaluar textos académicos. Son instrumentos sumamente completos pues miran el proceso como un todo, actuando no solo como una instancia evaluativa, sino que también formadora para el estudiantado, a la vez que se configuran como una guía para el desarrollo de la escritura.
INTRODUCTION: Both the teaching of writing and the way it is evaluated constitute major challenges in higher education. The use of evaluative strategies can help remediate deficiencies in writing skills by being not only an exhaustive and didactic evaluation resource, but also a guide for the development of the text itself. OBJECTIVE: Develop evaluative methodologies to improve aspects of form and content in the writing of academic texts in Nursing. METHODOLOGY: The project had three phases that considered the construction of two instruments (phase 1), their application in an academic text (thesis report) and respective adjustments (phase 2), and, finally, the evaluation of said application. RESULTS: Two analytical headings were obtained (quantitative methodology and qualitative methodology), consisting of the items of FORM (writing aspects) and CONTENT (research aspects), respectively, which were applied three times to the text to evaluate its progress. Improvements were observed in the overall rating, in the areas of coherence and cohesion in FORM, and in the theoretical framework, results, and methodology in CONTENT. DISCUSSION: Analytical rubrics are a very useful tool when evaluating academic texts. They are extremely comprehensive instruments because they look at the process as a whole, serving not only as an evaluative tool, but also as a training opportunity for students, providing a guide for the development of academic writing skills.
RESUMEN
Este trabajo muestra la utilidad de un modelo de Rasch (Many-Facet Rasch Measurement, MFRM) para medir la competencia de los examinados, la severidad de los calificadores, la dificultad de las tareas y de las variables puntuadas en las pruebas de respuesta construida que se suelen emplear para evaluar el desempeño. Inicialmente se describe el modelo y sus estadísticos básicos. Finalmente se presenta un ejemplo ilustrativo en el que se analizan, mediante el programa FACETS, las fuentes de la variabilidad de las calificaciones de los estudiantes en un test de expresión escrita. Los resultados muestran que el procedimiento es útil para detectar a los calificadores que presentan valores extremos en la variable severidad/ benignidad y para obtener calificaciones objetivas de los examinados (libres de la severidad del calificador).
This paper describes how a Rasch model (Many-Facet Rasch Measurement) can be applied to performance assessment focusing on analysis of examinee, raters, tasks and variables. The article provides an introduction to MFRM, a description of analysis procedures, and an illustrative example to examine the effects of various sources of variability on students' performance on a writing test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity/leniency as well as providing objective measurement of examinee (scores free of rater severity).