Evidências desfavoráveis ao postulado de cargas fatoriais simples do Exame Nacional do Ensino Médio (ENEM) / Evidence contrary to the assumption of simple Factor loadings of the National High School Education Exam (ENEM) / Evidencias desfavorables al postulado de cargas factoriales Simples del Examen Nacional de Enseñanza Secundaria (ENEM)

O Exame Nacional do Ensino Médio (ENEM) possui um modelo de medida restrito, caracterizado pelo postulado de que os itens marcadores de cada domínio se vinculam exclusivamente ao seus domínios-alvo. Estudos pregressos sugerem, por meio de evidências indiretas, que esse modelo não seria válido. No entanto, esse postulado ainda não foi diretamente avaliado. Neste estudo, investiga-se esse pressuposto por meio de análises fatoriais dos itens do ENEM de 2011. Dois modelos foram testados. O primeiro, chamado de estrutura simples de Thurstone, representa o modelo de medida do ENEM. O segundo, de cargas cruzadas, refuta esse modelo. O modelo das cargas cruzadas foi o único que apresentou bom ajuste aos dados de acordo com todos os índices empregados. As evidências encontradas são desfavoráveis ao postulado de cargas fatoriais simples do modelo de medida do ENEM, indicando problemas de validade e na qualidade dos escores produzidos. (AU)

The National High School Examination (ENEM) has a restricted measurement model characterized by the assumption that the marker items in each domain are exclusively linked to their target domain. Previous studies suggest, through indirect evidence, that this model may not be valid. However, this postulate has not yet been directly assessed. In this study, this assumption was investigated through factor analysis of the items of the ENEM 2011 edition. Two models were tested. The first, called Thurstone's simple structure, represents the measurement model of the ENEM. The second, of crossed loadings, refute this model. The crossed loadings model was the only one that presented a good fit to the data according to all the indices employed. The evidence found is unfavorable for the assumption of simple factor loadings of the measurement model of the ENEM, indicating issues of validity and in the quality of the scores produced. (AU)

El Examen Nacional de Enseñanza Secundaria (ENEM) tiene un modelo de medición restringido, caracterizado por el postulado de que los ítems marcadores en cada dominio están vinculados exclusivamente a su dominio objetivo. Estudios previos sugieren, a través de evidencia indirecta, que este modelo no sería válido. Sin embargo, este postulado aún no ha sido evaluado directamente. En este estudio se investiga este supuesto a través del análisis factorial de los ítems del ENEM 2011. Se probaron dos modelos. El primero, llamado estructura simple de Thurstone, representa el modelo de medición ENEM. El segundo, de cargas cruzadas, refuta este modelo. El modelo de carga cruzada fue el único que presentó un buen ajuste a los datos de acuerdo con todos los índices empleados. Las evidencias encontradas son desfavorables al supuesto de cargas factoriales simples del modelo de medición del ENEM, lo que indica problemas de validez y en la calidad de las puntuaciones producidas. (AU)

Creating an objective measurement for the Enem: an analysis using the Rasch Model / Criando uma medida verdadeira para o Enem: uma análise pelo Modelo Rasch / Creando una verdadera medida para Enem: un análisis por el Modelo Rasch

In the 1930s, a group of scientists argued that the empirical concatenation of observable elements was not possible in the human and social sciences and was, thus, not feasible to obtain objective measurements similar to those found in physics. To address this issue, mathematical theories that do not require concatenation were proposed in the 1960s, including the Additive Conjoint Measurement Theory (ACMT). In the same decade, George Rasch developed the simple logistic model for dichotomous data as a probabilistic operationalization of the ACMT. This study investigates the possibility of developing a fundamental measure for the National Exam of Upper Secondary Education (ENEM) that applies Rasch's model to students' performance on the 2011 ENEM exam. The results indicate an adequate model fit, demonstrating the viability of a fundamental measure using ENEM data. Implications are discussed.

Nos anos 1930, um grupo de cientistas argumentou que a concatenação empírica de elementos observáveis não seria possível nas Ciências Humanas e Sociais e por isso era inviável obter medidas verdadeiras nesses campos do conhecimento científico. Para lidar com este problema, foram propostas teorias matemáticas nas quais a concatenação empírica não seria necessária, como a Teoria de Medidas Aditivas Conjuntas (TMAC). No mesmo período, George Rasch desenvolveu o modelo logístico simples para dados dicotômicos, uma operacionalização probabilística da TMAC que viabiliza a análise empírica de pressupostos da medida verdadeira. Em nosso estudo, investigamos o desenvolvimento de uma medida verdadeira para o Exame Nacional do Ensino Médio (ENEM), aplicando o modelo logístico simples em dados referentes à performance dos participantes da edição de 2011 do ENEM. Os resultados indicaram um ajuste adequado do modelo, apontando para a viabilidade da construção de uma medida verdadeira para o ENEM. Implicações são discutidas.

En los años 1930, un grupo de científicos argumentó que la concatenación empírica de elementos observables no sería posible en Ciencias Humanas y Sociales y por consiguiente sería inviable obtener medidas verdaderas similares a las de Física. Para abordar este problema, a partir de los años 1960 se proponían teorías en las cuales la concatenación empírica no es necesaria, como la Teoría de Medidas Aditivas Conjuntas (TMAC). Al mismo período, George Rasch desarrolló el modelo logístico simple para datos dicotómicos, una operacionalización probabilista de la TMAC. Este estudio investigó la posibilidad de desarrollar una medida verdadera para el Examen Nacional de la Secundaria Superior (ENEM), aplicando el modelo logístico simple en los datos referentes a la performance de los participantes en la prueba de 2011 del ENEM. Los resultados indicaron adecuado ajuste del modelo, asi como la viabilidad de una medida verdadera para el ENEM. Implicaciones son discutidas.

Comparing the predictive power of the CART and CTREE algorithms / Comparando o poder preditivo dos Algoritmos CART e CTREE / Comparando el poder predictivo de los algoritmos CART y CTREE

The CART algorithm has been extensively applied in predictive studies, however, researchers argue that CART produces variable selection bias. This bias is reflected in the preference of CART in selecting predictors with large numbers of cutpoints. Considering this problem, this article compares the CART algorithm to an unbiased algorithm (CTREE), in relation to their predictive power. Both algorithms were applied to the 2011 National Exam of High School Education, which includes many categorical predictors with a large number of categories, which could produce a variable selection bias. A CTREE tree and a CART tree were generated, both with 16 leaves, from a predictive model with 53 predictors and the students' writing essay achievement as the outcome. The CART algorithm yielded a tree with a better outcome prediction. This result suggests that for large data sets, called big data, the CART algorithm might give better results than the CTREE algorithm.(AU)

O algoritmo CART tem sido aplicado de forma extensiva em estudos preditivos. Porém, pesquisadores argumentam que o CART apresenta sério viés seletivo. Esse viés aparece na preferência do CART pelos preditores com grande número de categorias. Este artigo considera esse problema e compara os algoritmos CART e CTREE, este considerado não enviesado, tomando como resultado seu poder preditivo. Os algoritmos foram aplicados no Exame Nacional do Ensino Médio de 2011, no qual estão incluídos vários preditores nominais e ordinais com muitas categorias, o que pode produzir um viés seletivo. Foram geradas uma árvore do CTREE e outra do CART, ambas com 16 folhas, provenientes de um modelo com 53 variáveis preditoras e a nota da redação, como desfecho. A árvore do algoritmo CART apresentou uma melhor predição. Para grandes bancos de dados, possivelmente o algoritmo CART é mais indicado do que o algoritmo CTREE.(AU)

El algoritmo CART es ampliamente utilizado en análisis predictivos. Sin embargo, los investigadores argumentan que el CART presenta un fuerte sesgo de selección. Este sesgo se refleja en el CART en la preferencia de seleccionar predictores con elevado número de categorías. Teniendo en cuenta este problema, el presente artículo compara el algoritmo CART y un algoritmo imparcial (CTREE) con relación a su poder predictivo. Ambos algoritmos se aplicaron en el Examen Nacional de la Enseñanza Secundaria de 2011, incluyendo predictores nominales y ordinales con diversas categorías, un escenario susceptible de producir el sesgo de selección de variables mencionado. Fueron generados un árbol CTREE y un árbol CART, ambos con 16 hojas, provenientes de un modelo predictivo con 53 variables y la nota del comentario de texto. El árbol del algoritmo CART presentó mejor predicción. Para grandes bases de datos el algoritmo CART puede proporcionar mejores resultados que el CTREE.(AU)

Fidedignidade dos escores do Exame Nacional do Ensino Médio (Enem) / Reliability of scores from the National Exam of Upper Secondary Education (Enem) / Fiabilidad de los escores del Examen Nacional De La Secundaria Superior (Enem)

O Exame Nacional do Ensino Médio (Enem) gera uma pontuação para cada domínio que avalia: matemática, linguagens, ciências da natureza e ciências humanas. Reconhecendo a relevância do exame no acesso ao ensino superior e em outros aspectos da vida prática do estudante brasileiro, o presente estudo investiga a fidedignidade dos escores do Enem nos seus quatro domínios. Utilizou-se como amostra os escores dos estudantes que participaram da edição de 2011 do exame. As análises envolveram a estimação dos parâmetros de um modelo de quatro fatores correlacionados e de um modelo bifatorial por meio de análise fatorial confirmatória, além da estimação da fidedignidade composta e da fidedignidade omega dos quatro domínios e do fator geral de desempenho, no caso do modelo bifatorial. Utilizou-se como variáveis observáveis as 30 competências de cada domínio. Os resultados indicaram alta fidedignidade apenas para os escores provenientes do fator geral

The National Exam of Upper Secondary Education (ENEM) generates a score for each domains it assess: mathematics, languages, natural sciences, and humanities. Considering the relevance of the Exam in the access to higher education and in other practical aspects of Brazilian students' life, the present study investigates the reliability of the scores from the four domains. We used as a sample the scores of the students who participated in the 2011 edition of the Exam. The analyzes involved the estimation of the parameters of an oblique four-factor model and a bifactor model using confirmatory factor analysis, as well as the estimation of composite and omega reliability of the four domains and the general performance factor, in the case of the bifactor model. We used the 30 competences of each domain as observable variables. The results indicated high reliability only for the scores from the general factor

El Examen Nacional de la Secundaria Superior (ENEM) genera un puntaje para cada dominio que evalúa: matemática, lenguage, ciencias naturales y humanidades. Puesta la relevancia del Examen en el acceso a la educación superior y en otros aspectos prácticos de la vida de los estudiantes brasileños, el presente estudio investiga la fiabilidad de los puntajes de los cuatro dominios. Usamos como muestra los puntajes de los estudiantes que participaron en la edición 2011 del Examen. Los análisis incluyeron la estimación de los parámetros de un modelo oblicuo de cuatro factores y un modelo bifactorial utilizando análisis factorial confirmatorio, así como la estimación de la confiabilidad compuesta y omega de los cuatro dominios y el factor de desempeño general, en el caso del modelo bifactor. Usamos las 30 competencias de cada dominio como variables observables. Los resultados indicaron una alta fiabilidad solo para los puntajes del factor general

Mais recursos, melhores resultados? As relações entre custos escolares diretos e desempenho no Ensino Médio / ¿Más recursos, mejores resultados? Las relaciones entre costos escolares directos y rendimiento en la educación secundaria / Do more resources mean better results? The relationship between direct school costs and performance in high school

Resumo Este artigo avalia as relações que os custos escolares diretos e a organização da oferta escolar têm com o desempenho de escolas públicas, aferido pelo Exame Nacional do Ensino Médio (Enem). O estudo se baseia nos determinantes do desempenho escolar a partir do enfoque teórico do chamado "efeito-escola". Trata-se de pesquisa quantitativa, com uso de regressões múltiplas e quantílicas, com modelo de dados em painel, de efeitos fixos. A amostra foi composta por escolas brasileiras, analisadas entre 2012 e 2015. Os resultados indicam que há grande oscilação nos custos escolares diretos entre unidades de uma mesma rede de ensino, sugerindo desigualdade na distribuição dos recursos financeiros; que os custos escolares diretos, no entanto, têm baixa capacidade de explicação dos resultados das escolas no Enem; que mais recursos não se traduzem necessariamente em melhores resultados em termos de desempenho escolar, sugerindo que a forma como são mobilizados (de maneira planejada e com propósito claro) é que pode constituir um diferencial na aprendizagem. Adicionalmente, o estudo propõe uma metodologia para apurar custos escolares diretos.

Resumen Este artículo evalúa las relaciones que los costos escolares directos y la organización de la oferta escolar tienen con el desempeño de escuelas públicas, determinado por el Examen Nacional de la Enseñanza Media (Enem). Se basa en los determinantes del desempeño escolar a partir del enfoque teórico del denominado "efecto-escuela". Se trata de una investigación cuantitativa, con uso de regresiones múltiples y cuantílicas, con modelo de datos en panel, de efectos fijos. La muestra se compuso por escuelas brasileñas, analizadas entre 2012 y 2015. Los resultados encontrados indican que hay gran oscilación en los costos escolares directos entre unidades de una misma red de enseñanza, sugiriendo desigualdad en la distribución de los recursos financieros; que los costos escolares directos, sin embargo, tienen una baja capacidad de explicación de los resultados de las escuelas en el Enem; que más recursos no producen necesariamente mejores resultados de desempeño, sugiriendo que la forma como se movilizan (de manera planificada y con propósito claro) es lo que puede constituir una diferencia en el aprendizaje. De forma adicional, el estudio propone una metodología para determinar costos escolares directos.

Abstract This article evaluates the relationships that direct school costs and the organization of school places have with the performance of public schools, measured by the National High School Examination (Enem). It is based on the determinants of school performance from the school effect approach. This is a quantitative research, using multiple and quantum regressions, with fixed-effects panel data model. The sample was composed of Brazilian schools, analyzed between 2012 and 2015. The results indicate that there is a great oscillation in direct school costs between units of the same educational system, suggesting inequality in the distribution of financial resources. The findings also suggest that direct school costs do not explain the school results in the Enem exam, and that more resources do not necessarily translate into better performance. Finally, the findings indicate that the way in which resources are mobilized (in a planned and purposeful manner) can be the differential for learning. In addition, the study proposes a methodology to calculate direct school costs.

Resultados do ENADE e avaliação da formação em psicologia / Results of the ENADE and an assessment of academic training in psychology / Resultados del ENADE y evaluación de la formación en psicología

O objetivo do estudo foi apresentar uma avaliação da formação em Psicologia a partir de uma análise documental dos resultados do Exame Nacional de Desempenho dos Estudantes nas edições 2006, 2009 e 2012. Os resultados contemplam 57.687 concluintes dos cursos de Psicologia e mostram aumento no percentual de estudantes que participam de atividades de iniciação científica, monitoria e extensão em contraposição a um decréscimo das notas médias no componente geral e, sobretudo, no componente específico das provas (caindo de 52,7 em 2006 para 37,6 em 2012). Chama a atenção o fato de o desempenho dos estudantes, ao longo desses anos, ter caído mais nas instituições de ensino superior públicas do que nas instituições privadas. Esses resultados denunciam muitas fragilidades na formação do psicólogo no Brasil e devem servir de alerta para todos aqueles que atuam no ensino da Psicologia e também para as instituições representativas da categoria. (AU)

The objective of the study was to present an evaluation of Psychology education based on a documentary analysis of National Student Performance Examination (ENADE) results in the 2006, 2009 and 2012 editions. Results include 57,687 Psychology course graduates and show an increase in the percentage of students participating in scientific initiation, monitoring and extension activities, but also a decrease in average scores in the exam's general components and, markedly, on the specific component (falling from 52.7 in 2006 to 37.6 in 2012). It is striking that the performance of students over these years has fallen more in public higher education institutions than in private institutions. These results denounce many weaknesses in Brazilian Psychology education and should serve as an alert for those involved in teaching Psychology, as well as to the institutions representing the category. (AU)

El objetivo del estudio fue presentar una evaluación de la formación en Psicología, a partir de un análisis documental de los resultados del Examen Nacional de Desempeño de los Estudiantes en las ediciones 2006, 2009 y 2012, ENADE. Los resultados contemplan a 57.687 individuos que culminaron los cursos de Psicología y muestran aumento en el porcentaje de estudiantes que participan de actividades de iniciación científica, monitoreo y extensión, en contraposición a una disminución de las notas medias en el componente general y, principalmente en el componente específico de las pruebas (disminuyendo de 52,7 en 2006 para 37,6 en 2012). Llama bastante la atención, el hecho de que el desempeño de los estudiantes a lo largo de esos años, disminuyó más en las instituciones de enseñanza superior pública que en las instituciones privadas. Esos resultados denuncian muchas fragilidades en la formación de psicólogos en Brasil y deben servir de alerta para todos aquellos que actúan en el campo de enseñanza de Psicología como también para las instituciones representativas de la categoría. (AU)

Examen nacional de odontología: Revisión bibliográfica de instrumentos / Dentistry national exam: Bibliographic review of mechanisms

Los procesos de evaluación contribuyen de manera efectiva al mejoramiento de la formación y, en consecuencia, al desempeño de los egresados en el campo laboral. La heterogeneidad de la realidad educativa actual, la diversidad de calidad de las instituciones de educación superior, entre otros factores, ameritan progresar en los sistemas de medición de competencias de egreso, asegurando entregar un profesional óptimamente capacitado al servicio de la sociedad. Si bien la evaluación de la calidad de la formación de los egresados, a través de un examen nacional, es una realidad reciente en Chile, existe experiencia internacional al respecto. Esta revisión pretende contribuir a conocer los exámenes que aplican diferentes países a sus egresados para la medición de conocimientos y competencias, las características de algunas evaluaciones; así como las políticas y organizaciones que regulan su aplicación. En el caso nacional describe la experiencia de aplicación de un examen nacional en el área de la salud en Chile, como es el caso de medicina y enfermería

The evaluation process is very helpful to improve student education and their subsequent performance in the work environment. The diversity of the educational reality and the quality of education, among other factors, make necessary an improvement in the graduate competences measuring system, ensuring a well trained professional with proper skills in the field. Assessing the quality of education of graduates, through a national exam is only a recent practice in Chile; however, there is an international experience. This review intends to provide information of the exams that various countries apply to measure skills and knowledge, their characteristics, as well as policies and organizations regulating their implementation. It also describes the experience of implementing a national exam in the health services area in Chile, as is the case for medicine and nursing