Differential item functioning analysis of the Bar-On Emotional Quotient Inventory (EQ-i) across gender and age groups: an iterative hybrid ordinal logistic regression / Funcionamiento diferencial de los ítems del Inventario de Cociente Emocional de Bar-On (EQ-i): una regresión logística ordinal híbrida iterativa

Abstract There has been a heated debate on emotional intelligence (EI) and, more particularly, on the Bar-On Emotional Quotient Inventory (EQ-i) measuring all dimensions of emotional intelligence. To ensure measurement equivalence of EQ-i, the present article evaluated whether statements phrased in EQ-i questionnaire have equivalent meaning across respondents, regardless of their sex and age group membership. For 2,078 participants, three EI subscale (item 50 in reality testing, items 4 and 19 in stress tolerance, and items 7, 52, and 82 in interpersonal) for age groups had clinically significant Differential item functioning (DIF). So previous observed associations between EI and age might be misleading and deserve further study after removing or replacing DIF items.

Resumen En medio del acalorado debate sobre la Inteligencia Emocional, este estudio retoma el Inventario de Cociente Emocional Bar-On (EQ-i), que mide todas las dimensiones de este constructo psicológico. Con el fin de comprobar la equivalencia de medición de EQ-i, se comprueba si las declaraciones formuladas en el cuestionario EQ-i tienen un significado equivalente entre los encuestados, independientemente de su sexo y grupo de edad. Se aplicó a los 2078 participantes las tres subescalas de IE. Se halló un funcionamiento diferencial de los ítems (DIF) clínicamente significativo. Por lo tanto, las asociaciones observadas anteriormente entre la IE y la edad pueden ser espurias y merecen un estudio adicional después de eliminar o reemplazar los elementos DIF.

Funcionamento diferencial dos itens na Escala de Motivos para Evasão do Ensino Superior (M-ES) / Differential item functioning in the Higher Education Dropout Reasons Scale (M-ES) / Funcionamiento diferencial del ítem en la Escala de Razones para Deserción de la Educación Superior (M-ES)

O estudo visou verificar a adequação da Escala de Motivos para Evasão do Ensino Superior via rating scale model e investigar a presença de funcionamento diferencial dos itens (DIF) de acordo com o tipo das instituições dos participantes da pesquisa, pública ou particular. Participaram da pesquisa 327 estudantes universitários, de universidades públicas e particulares, de todos os estados brasileiros, incluindo o Distrito Federal. As idades variaram entre 17 e 58 anos, sendo 80,1% do sexo feminino. O instrumento utilizado foi a Escala de Motivos para Evasão do Ensino Superior (M-ES). Os resultados apontaram que em relação à adequação do instrumento as análises foram satisfatórias e que houve a presença de funcionamento diferencial em alguns itens, sendo que a maior parte dos itens com presença de DIF tiveram como grupo privilegiado os alunos de instituição pública. Os resultados são discutidos de acordo com a literatura e novos estudos são sugeridos.

The study aimed verify the adequacy of the Reasons for Higher Education Dropout Scale through rating scale model and investigated the presence of items differential functioning (DIF) according to the type of institutions of research participants, public or private. The participants were 327 college studants from public and private universities from all Brazilian states, including the Federal District. The ages ranged from 17 to 58 years and 80,1% were female. The instrument used was the Reasons for Higher Education Dropout Scale. The results showed that the analyzes appropriateness of the satisfactory and that there was the presence of items differential functioning some items of the scale with most of the items with the presence of DIF had a privileged group of the public institution students. The results are discussed according to the literature and studies are suggested.

El objetivo del estudio fue comprobar la adecuación de la Escala de Razones para Deserción de la Educación Superior a través de calificación maqueta e investigar la presencia de funcionamiento diferencial de los ítems (DIF) de acuerdo con el tipo de instituciones de participantes en la investigación, públicas o privadas. Los participantes fueron 327 estudiantes de las universidades públicas y privadas de todos los estados brasileños, incluyendo el Distrito Federal. Las edades oscilaron entre 17 a 58 años, y el 80,1% eran mujeres. El instrumento utilizado fue la Escala de Razones para Deserción de la Educación Superior (M-ES). Los resultados mostraron que comparado de la idoneidad de los análisis de instrumentos fueron satisfactorios y que no había presencia de funcionamiento diferencial del ítem en algunos artículos, con la mayoría de los elementos con la presencia de DIF tenían un grupo privilegiado de los estudiantes de instituciones públicas. Los resultados se discuten de acuerdo con la literatura y se sugieren nuevos estudios.

Invarianza por sexo en la Escala de Detección del Trastorno de Ansiedad Generalizada (EDTAG)

En el presente trabajo se muestra la forma en la que se evalúa la invarianza utilizando los modelos de análisis factorial confirmatorio para medias y covarianzas (AFC-MACS) para datos categóricos y los modelos de Teoría de Respuesta al Ítem (TRI). Se ejemplifica el análisis de la invarianza en el estudio de la Escala de Detección del Trastorno de Ansiedad Generalizada (EDTAG) comparando hombres y mujeres. La EDTAG es una escala ampliamente utilizada en las instituciones de salud y por sus características (escala breve de 12 ítems dicotómicos) cualquier error de medida puede tener un impacto importante. En los resultados se muestra que la escala tiene la misma configuración, sin embargo, el ítem 9 muestra funcionamiento diferencial siendo los hombres quienes mayor probabilidad tienen de responder de manera afirmativa comparado con mujeres del mismo nivel de rasgo. Se discute la necesidad de éste tipo de análisis en las escalas.

The present paper shows how to evaluated invariance using confirmatory factor analysis models for means and covariances (CFA-MACS) for categorical data and models of Item Response Theory (IRT). Invariance analysis in the study of Detection Scale Generalized Anxiety Disorder comparing men and women is exemplified. The scale is widely used in health institutions and by its nature (a brief scale of 12 dichotomous items) any measurement error can have a major impact. Results have shown that the scale has the same configuration, but the item 9 shows differential item functioning, being males more likely to respond affirmatively compared to women in the same trait level. The need for this type of analysis on the scales is discussed.

Funcionamiento diferencial de ítemes: Examen de matemática - Universidad Jorge Tadeo Lozano / Differential item functioning: Math test Universidad Jorge Tadeo Lozano

La Universidad Jorge Tadeo Lozano aplica el Examen de Clasificación en Matemáticas Básicas, como evaluación diagnóstica, a los aspirantes y estudiantes provenientes de transferencias internas o externas, cuyo plan de estudios precise conocimientos básicos de Aritmética y Algebra Elemental. Dicho examen favorece el análisis de las condiciones académicas de los admitidos y permite a la Universidad, ofrecer opciones apropiadas para cada caso particular, al mismo tiempo que al evaluado le proporciona la posibilidad de reconocer su nivel de apropiación del conocimiento de los dominios conceptuales requeridos. Consecuentemente con el carácter decisorio del Examen de Clasificación de Matemáticas Básicas, se examinó si los ítemes utilizados presentan funcionamiento diferencial, esto es, se analizó si la diferencia de habilidades entre los evaluados podría deberse a las variables de contexto seleccionadas: sexo, edad, naturaleza jurídica del colegio de procedencia y facultad en la que el aspirante tramita su ingreso. Para ello, se procesaron 1.623 cadenas de respuestas para 61 ítemes, obtenidas en las pruebas comprendidas entre el tercer período lectivo de 2011 y el primero de 2012. La metodología incluyó la implementación de tres técnicas: Contraste del DIF (diferencia entre los centros de dificultades), Contraste del DIF (diferencia entre los extremos más próximos para los intervalos de dificultad) y prueba estadística Mantel-Haenszel. La conjunción de estas técnicas permitió determinar un ítem con funcionamiento diferencial en categoría moderada a grande, para la variable edad. Finalmente, para este ítem se exhiben sus parámetros estadísticos y su curva característica, estimados en la calibración.

The following article presents an application of differential item functioning (DIF), using results obtained from the qualifying test developed by the Jorge Tadeo Lozano University and taken by students to classify them at a level of mathematical knowledge and to define an academic route for them based on their cognitive status shown on the test. The analysis is part of a perspective to estimate the difficulty and others characteristics of items, and the skills and level of students through the use of the Rasch model of the one parameter item response theory (IRT) and the parameters of a sample of 1623 students taking a test composed of 61 items. The article analyzes both the statistical performance of the items in terms of the parameters of item-test correlation, misfits (infit and outfit), and discrimination, as well as the behavior of the set of items depending on the construct validity or dimensionality, reliability, internal consistency, and separation parameters. A method is then shown to examine which items display DIF, associated with the conditions of the students' origin and not of their academic ability, which could lead to bias in the results of the test. The employed methods estimate the relative difficulty of each item, for students of similar ability but who belong to different groups, according to four variables studied: sex, age, intended major, and whether the high school of origin is public or private. The value of the difference in relative difficulty between the groups mentioned is associated with a level of DIF and recognizes whether the item in question has bias and which groups this bias is favoring. The difference in relative difficulty is graded in terms of severity according to three categories proposed by the Educational Testing Service: (1) moderate to large, if the difference in relative difficulty between groups (for students of similar ability) is greater than or equal to .64 logits, (2) small to moderate, if the difference is greater than or equal to .43 and less than .64 logits, and (3) not significant, if this difference is less than .43 logits. In order to validate the detection of DIF, the calculations are performed using three techniques. Two are chosen from those available in the literature and the third one is a proposal by the authors of this article to consider the size of the error in the estimations of difficulty difference. The three techniques used are: (1) the measurement of the difference between the core values of the difficulty intervals, ignoring the value of the estimation error, (2) the difference between the nearest extremes of the difficulty intervals, taking into account the estimation error, and (3) the Mantel-Haenszel statistical test. Regarding databases formed for the analysis, two aspects were considered: (1) chains of responses corresponding to missing data or especially small groups, which would not have allowed an effective and reliable comparison, were omitted, and (2) random samples with uniform distribution were selected to create groups of the same size for each study variable. The analysis with the technique of difference between core values showed that two items (34 and 59) displayed DIF with moderate to large severity, regarding the age variable for item 34 and the intended major and high school of origin variables for item 59. The technique about difference between the nearest extremes confirmed DIF with moderate to large severity for item 34, with respect to the age variable. The Mantel-Haenszel test detected DIF with moderate to large severity for items 13, 20, 34, and 61 for the age variable, and for items 4, 30, 36, 43, and 59 for the major variable.

Funcionamento diferencial dos itens para o inventário de percepção de suporte familiar / Differential item functioning for the perception of family support inventory / Funcionamiento diferencial de items en el inventario de percepción de apoyo a la familia

Parte dos estudos sobre família envolve o suporte familiar, construto base do Inventário de Percepção do Suporte Familiar (IPSF). Várias pesquisas utilizando este instrumento podem ser encontradas, contudo sem resultados conclusivos sobre a diferença entre sexos no construto. Uma das formas de se verificar este viés se dá pelo funcionamento diferencial dos itens (DIF) e nesse sentido, este artigo teve como objetivo verificar se existe DIF em função do sexo para o IPSF, a partir de um banco de dados com 1322 sujeitos. Três itens apresentaram DIF favorecendo o grupo feminino e quatro, o masculino. Pelo princípio de equidade pode-se inicialmente indicar equilíbrio dos vieses, entretanto pela análise complementar de comparação das médias dos Thetas antes e após ancoragem dos itens sem DIF, foi possível identificar que, na prática, os vieses podem ter relação a aspectos externos à amostra, e não aos itens do teste, garantindo suas características psicométricas...

Part of the researches about family involves the Family Support, the basic construct of the Perception of Family Support Inventory (IPSF). Several studies using this instrument can be found, but without conclusive results on the gender difference in the construct. One way to verify this bias is through differential item functioning (DIF) and in this regard, this article aimed to verify whether there is DIF by gender for the IPSF, based from a database with 1322 subjects. Three items showed a DIF presence favoring the female group and four favoring the male group. By the principle of equality it can initially indicate the equilibrium state of the bias, however an additional analysis of comparison of the Thetas before and after anchoring of the items without DIF, it was found that in practice, the bias may be related to external aspects of the sample and not to the test items, ensuring its psychometric characteristics...

Parte de los estudios acerca la familia son acerca del apoyo familiar, el concepto base del Inventario de Percepción de Apoyo a la Familia (IPSF). Se puede encontrar varios estudios utilizando este instrumento, pero sin resultados concluyentes sobre la diferencia de género en el constructo. Una forma de comprobar esta tendencia es mediante el funcionamiento diferencial de los ítems (DIF) y en ese sentido, este artículo tuve como objetivo verificar si existe el DIF por género para la IPSF, a partir de una base de datos con 1322 sujetos. Tres elementos tuvieran DIF a favor de las mujeres y cuatro a favor de los hombres. Por el principio de la igualdad se puede indicar un estado de equilibrio en la parcialidad, sin embargo, el análisis de comparación adicional de los Thetas antes y después de anclaje de los elementos sin DIF, se encontró que en la práctica, la tendencia puede estar relacionada con un aspecto exterior de la muestra y no en el ítems de la prueba, asegurando a sus características psicométricas...

Funcionamiento diferencial del ítem en la evaluación de la sintomatologia TDAH en función del género y el formato de calificación / Differential Item Functioning in the Assessment of ADHD Symptoms Based on Gender and Rating Format

El objetivo de este estudio se centró en poner a prueba la invarianza de la sintomatología del Trastorno por Déficit de Atención con Hiperactividad (TDAH) en función del género, en una muestra de 634 niños. Se comprobó, en primer lugar, el ajuste de cinco modelos factoriales mediante análisis factorial confirmatorio, y se utilizó la regresión logística ordinal como método de estimación del funcionamiento diferencial del ítem (DIF), tanto uniforme como no uniforme. Los resultados pusieron de manifiesto que: (a) el modelo que presentó mejor ajuste fue el de tres factores correlacionados y (b) no existe DIF en función del género de los niños evaluados, ni en la modalidad de calificación ordinal (escala de 1 a 4) ni en la modalidad de calificación binaria (0-1) de los ítems. Estos resultados refrendan el hecho de que en el Diagnostic and Statistical Manual of Mental Disorders, DSM-IV-TR, no se establezcan criterios diferenciales para el diagnóstico del TDAH en niños y niñas.

The aim of this paper was to test the invariance of Attention Deficit Hyperactivity Disorder (ADHD) symptoms in a sample of 634 children attending to gender. We firstly examined the fit to the data of five models using confirmatory factor analysis, and ordinal logistic regression was used as a method of estimation of both uniform and non-uniform differential item functioning (DIF). The results showed that (a) the three correlated factors model was the best fit model, and (b) there was no gender-specific DIF, either in the ordinal rating form (scale of 1 to 4) or the binary rating form (0-1). These results support that the Diagnostic and Statistical Manual of Mental Disorders DSM-W-TR does not establish ADHD differential diagnosis criteria for boys and girls.

Funcionamento Diferencial do Item no Alcohol Use Disorders Identification Test / Differential Item Functioning in the Alcohol Use Disorders Identification Test / Funcionamiento Diferencial del Ítem en el Alcohol Use Disorders Identification Test

O objetivo do presente estudo foi investigar a presença de Funcionamento Diferencial do Item (DIF) para o sexo nos itens de uma popular medida de rastreio para a dependência do álcool, o Alcohol Use Disorders Identification Test (AUDIT). Os participantes foram 254 estudantes universitários. As análises de DIF foram realizadas a partir do modelo Partial Credit. Três itens não apresentaram ajuste adequado ao modelo, enquanto outro item apresentou um viés de grande magnitude para o sexo feminino. Especificamente, o itemAUDIT-6 mostrou ser, de fato, um aspecto do beber com maior severidade para indivíduos do sexo feminino do que para aqueles dosexo masculino. Recomenda-se cautela na utilização de escores brutos a partir dos 10 itens originais do instrumento e a exclusão doitem AUDIT-6 ou sua reformulação para a aplicação em indivíduos do sexo feminino.

The aim of the present study was to investigate Differential Item Functioning (DIF) for sex in a popular screening measure of alcohol dependence, the Alcohol Use Disorders Identification Test (AUDIT). Participants were 254 undergraduate students. Raschanalysis-based DIF procedures were employed to evaluate the possibility of sex bias in the AUDIT items. Results showed three items with inadequate fit to the unidimensional Partial Credit model and one item with a large bias against women. Specifically, item AUDIT-6 showed a larger difficulty estimate for women, suggesting a more severe aspect of drinking behavior for these individuals. Recommendations are made with regard to using raw scores based on the sum of the 10 AUDIT items. Dropping out or reformulating the AUDIT-6 item to accommodate sex differences and to reduce errors of individual ability (severity) estimates is strongly advised.

El objetivo del presente estudio fue investigar la presencia de Funcionamiento Diferencial del Ítem (DIF) para el sexo en los ítems de una popular medida de rastreo para la dependencia del alcohol, el Alcohol Use Disorders Identification Test (AUDIT). Participaron 254 estudiantes universitarios. Los análisis de DIF fueron realizados a partir del modelo Partial Credit. Tres ítems no presentaron ajusteade cuado al modelo, mientras otro ítem mostró una tendencia de gran magnitud para el sexo femenino. Específicamente, el ítem AUDIT-6 mostró ser, de hecho, un aspecto del beber con mayor severidad para individuos del sexo femenino que para aquellos del sexo masculino. Se recomienda precaución en el uso de escores brutos a partir de los 10 ítems originales del instrumento y la exclusióndel ítem AUDIT-6 o su reformulación para la aplicación en individuos del sexo femenino.

Equivalencia factorial y métrica de la Double Standard Scale por sexo y edad / Factorial and metric equivalence of Double Standard Scale by gender and age

La Double Standard Scale (DSS) es uno de los instrumentos más utilizados para evaluar la doble moral sexual y, en ocasiones, para compararla entre sexos. El interés por el estudio de la doble moral sexual radica en que constituye una variable asociada a la salud sexual. A pesar de que hay varios estudios que se han interesado por las propiedades psicométricas de la DSS, ninguno de ellos se ha planteado examinar su equivalencia entre hombres y mujeres, o entre adolescentes y adultos. Por ello, el objetivo de este trabajo es examinar la invarianza factorial y analizar el funcionamiento diferencial del ítem por sexo y edad. Para ello, se evaluó a una muestra de 2.248 sujetos peruanos (1.063 adolescentes -46% jóvenes y 54% jovencitas- y 1.185 adultos -51% varones y 49% mujeres). Los resultados muestran una equivalencia factorial de ajuste perfecto mediante el parcelamiento de ítems respecto al sexo, siendo el funcionamiento diferencial despreciable. En cambio, con respecto a la edad, se descarta la invarianza, aunque el funcionamiento diferencial es depreciable. En definitiva, se podrán contrastar las puntuaciones de la DSS entre sexos, pero no entre adolescentes y adultos.

The Double Standard Scale (DSS) is an instrument used to assess the sexual double standard, and appropriate, to make comparisons between sexes. The interest in the study of the sexual double standard is a variable associated with sexual health. Although, several studies have been interested in the psychometric properties of the DSS, none of them has been raised considering their equivalence between men and women, or between adolescents and adults. This study has the objective, examine the factorial invariance and analyze differential item functioning by sex and age. A sample of 2,248 Peruvian subjects (1.063 adolescent - 46% boys and 54% girls- and 1.185 adult -51% men and 49% women-) was evaluated. Results obtained demonstrate a perfect fit factorial equivalence by categorizing of items about gender, and the differential item functioning is negligible. In contrast, with respect to age, invariance is discarded, but the differential item functioning is negligible. In conclusion, DSS scores can be contrasted between genders, but not between adolescents and adults.

Funcionamento diferencial dos itens do teste cloze por opção / Diferential item functioning of teste cloze por opção / Funcionamiento diferencial del iten y análisis del modelo de rasch de teste cloze por opção

O estudo visou analisar o funcionamento diferencial dos itens do Teste de Cloze por Opção EM/U o qual avalia compreensão em leitura. Participaram 489 estudantes. Destes, 206 universitários de instituição particular, sendo 79,1 por cento do gênero feminino, com idade média de 25,89 anos (DP = 6,79). Outros 283 alunos do Ensino Médio (EM), com média de idade de 15,98 anos (DP = 1,27), 52,7 por cento de escola pública e 54,8 por cento do gênero feminino. O teste foi aplicado de forma coletiva. Constatou-se que quatro itens (10 por cento) tiveram os maiores índices de dificuldade. Verificou-se apenas um item (2,5 por cento) fora do limite adequado para outfit. Constatou-se que o conjunto de itens desse teste está ajustado do ponto de vista estrutural e que é relativamente fácil para esses estudantes respondê-lo. Doze itens (30 por cento) estão funcionando diferencialmente para o EM e Superior. Novos estudos são necessários para ampliar o conhecimento acerca do teste e adequação à população a que se destina.

This study analyzed the differential item functioning of Teste Cloze por Opção EM/U that assess collectively reading comprehension. The subjects were 489 students. 206 of them studied in a private college and 79,1 percent of these participants were female with average of 25,89 years (SD = 6,79). The other students were 283 from public (52,7 percent) and private (47,3 percent) high school with 15,98 years (SD = 1,27) as average and 54,8 percent of them were female. The results showed that four items (10 percent) had the highest rates of difficulty. There was only one item (2,5 percent) out of range suitable outfit. It was found that the set of items of this test is adjusted for the structural theorical model and it is relatively easy for these students respond to it. Twelve items (30 percent) are functioning differentially for high school and college. Further studies are needed to enhance the test properties and his adequacy for the intended population.

Para analizar el funcionamiento diferencial de los ítems de Teste Cloze por Opção- EM/U que evalúa la comprensión lectora, participaran 489 estudiantes. De ellos, 206 estudiantes de una institución privada, siendo 79,1 por ciento mujeres, edad media de 25,89 años (SD = 6,79). Otros 283 Estudiantes de Enseñanza Media (EM) con una edad media de 15,98 años (SD = 1,27), 52,7 por ciento de participantes de lãs escuelas públicas y el 54,8 por ciento deles eran mujeres. La prueba se aplicó colectivamente. Se encontró que cuatro elementos tuvieron las mayores tasas de dificultad. Sólo había un producto fuera del rango de adecuado de outfit. Los itens estan dequados em su y es relativamente fácil para estos estudiantes responder a prueva. Doce elementos funcionan diferencialmente para EM y Superior. Se requieren estudios adicionales para aumentar el conocimiento sobre la prueba y idoneidad para la población destinataria.

Teoría clásica de test y teoría de respuesta el ítem: un estudio comparativo aplicado a una prueba de razonamineto verbal / Classical test theory and item response theory: a comparative study applied to a test of verbal rezoning

En el presente trabajo se resumen las características principales de los modelos de la Teoría Clásica de Tests y de la Teoría de Respuesta al Ítem (TRI) exhibiendo su aplicación a una prueba de relaciones. Se analizan sus ítemes y su confiabilidad estudiando la estabilidad de los índices definidos en los marcos de ambas teorías, cuando éstos se obtienen de muestras correspondientes a dos poblaciones. Se utilizan el coeficiente Tau de Kendall, análisis de regresión y el test de Lord para la detección del Funcionamiento Diferencial del Ítem. Se comparan las distribuciones de las puntuaciones obtenidas con cada muestra y se concluye que son muy similares. Diecisiete sobre veinte ítemes exhiben un comportamiento similar entre las dos muestras, por lo que éstas son tratadas como una sola para su modelización en la TRI. El ajuste al modelo se rechaza en dos de ellos, mediante el test de Wright y Panchapakesan.