Improving the Measurement of Children's Mental Health Problems in Colombia with Item Response Theory / Cómo mejorar la medición de los problemas de salud mental en los niños colombianos mediante la Teoría de Respuesta al Ítem / Como melhorar a medição dos problemas de saúde mental nas crianças colombianas a partir da Teoria de Resposta ao Item

Abstract The present study examines the psychometric properties of the mental health scale for children used in the 2015 Colombian Mental Health Survey. To do so, a nationally representative sample of 2,727 children is used Mage=8.99; range=7-11, with reports from their main caregivers regarding 26 mental health problem symptoms taken from the Reporting Questionnaire for Children (RQC), Child Behavior Checklist (CBCL), and the Brief Screening and Diagnostic Questionnaire (CBTD). Classical test theory and factor analysis were conducted to analyze the classical location and information of each item, along with the dimensionality, reliability, and convergent validity of the scale. Item Response Theory (IRT) was used in order to estimate theoretically invariant item parameters for location and information. Findings reveal that the mental health scale for children has adequate psychometric properties for its use in Colombia. Furthermore, IRT analyses reveals a set of items that maximize information and that may be used in future administrations when more efficiency is warranted.

Resumen El estudio examina las propiedades psicométricas de la escala de salud mental para niños utilizada en la Encuesta Nacional de Salud Mental Colombia del 2015. Se utilizó una muestra representativa a nivel nacional de 2,727 niños M age =8.99; rango=7-11, con informes proporcionados por sus cuidadores principales respecto de los síntomas de 26 problemas de salud mental tomados del Cuestionario de Reporte para Niños (RQC), el Inventario de Comportamiento de Niños (CBCL) y el Cuestionario Breve de Tamizaje y Diagnóstico (CBTD). Se emplearon la Teoría Clásica de los Tests y el análisis factorial para analizar la localización clásica y la información de cada ítem, así como la dimensionalidad, la confiabilidad y la validez convergente de la escala. Además, se utilizó la Teoría de Respuesta al Ítem (TRI) para calcular los parámetros de ítem teóricamente invariables para localización e información. Los resultados muestran que la escala de salud mental para niños tiene propiedades psicométricas adecuadas para su uso en Colombia. Además, los análisis TRI revelan un conjunto de ítems que maximizan la información y pueden ser usados en administraciones futuras en las que se requiera mayor eficiencia.

Resumo Este estudo analisa as propriedades psicométricas da escala de saúde mental para crianças utilizada na Pesquisa Nacional de Saúde Mental Colombiana de 2015. Foi utilizada uma amostra representativa no âmbito nacional de 2,727 crianças m age =8.99' faixa etária=7-11, com informações fornecidas por seus cuidadores principais a respeito dos sintomas de 26 problemas de saúde mental tomados do Reporting Questionnaire for Children, do Inventário de Comportamentos de Crianças e Adolescentes (Child Behavior Checklist) e do Questionário Breve de Rastreamento e Diagnóstico. Foram utilizadas a Teoria Clássica dos Testes e a análise fatorial para analisar a localização clássica e a informação de cada item, bem como a dimensionalidade, a confiabilidade e a validade convergente da escala. Além disso, a Teoria de Resposta ao Item (TRI) para calcular o padrão de cada item teoricamente invariável para localização e informação. Os resultados indicam que a escala de saúde mental para crianças tem propriedades psicométricas adequadas para seu uso na Colômbia. Ainda, as análises com a TRI revelam um conjunto de itens que maximizam a informação e podem ser usados futuramente com mais eficácia.

Valoración psícométríca de la Psychological Entitlement Scale desde la Teoría Clásica de los Tests y la Teoría de Respuesta al Ítem / Psychometric Evaluation of the Psychological Entitlement Scale Using Classical Test Theory and Item Response Theory / Valoração psicométrica da Psychological Entitlement Scale desde a Teoria clássica dos testes e a Teoria da resposta ao item

Objetivo. Esta investigación se propuso examinar las propiedades psicométricas de la escala Psychological Entitlement Scale (PES) en el contexto local desde la Teoría clásica de los tests (TCT) y la Teoría de respuesta al ítem (TRI). Método. Participaron 402 estudiantes universitarios con una media de edad de 22.77 años (DS = 4.85), de ambos géneros (61.9% mujeres) y de distintas carreras universitarias y 324 personas de 18 a 65 años de edad (M = 32.77, DS = 10.71), de ambos géneros (56.2% mujeres) y de diferentes niveles socioeconómicos, residentes en la ciudad de Córdoba, seleccionados de manera accidental. Todos ellos fueron evaluados con la PES y la Escala de dominancia triple. Resultados. Desde la TCT, análisis factoriales exploratorios y confirmatorios evidenciaron que ocho de los nueve ítems que comprendía la escala original mostraron una estructura unifactorial, con adecuadas cargas factoriales y/o pesos de regresión. Además, se observaron valores aceptables de consistencia interna. Las personas clasificadas como prosociales presentaron valores significativamente menores en la PES que las personas individualistas y competitivas (r-p² = 0.04). Desde la TRI, si bien se obtuvo un buen ajuste global al modelo de escalas de clasificación de un parámetro, el análisis de ítems evidenció índices inaceptables para un ítem y categorías poco informativas. Conclusión. Aunque se obtuvo evidencia sobre adecuadas propiedades psicométricas desde la TCT, análisis desde la TRI sugieren realizar ajustes al instrumento, en particular, reagrupar categorías de respuesta que resultaron poco informativas.

Objective. The aim of this research was to examine the psychometric properties of the Psychological Entitlement Scale (PES) in the local context using Classical Test Theory (CTT) and Item Response Theory (IRT). Method. Participants were 402 university students with a mean age of 22.77 years (SD = 4.85), both genders (61.9% female), and from different university careers, and 324 residents of the city of Córdoba, aged 18 to 65 years (M = 32.77, SD = 10.71), both genders (56.2% women), with different socio-economic backgrounds. All participants were selected at random, and evaluated with PES and Triple Dominance Scale measures. Results. From the TCT, exploratory and confirmatory factor analyses indicated that eight of the nine items comprising the original scale showed an unifactorial structure with adequate factor loadings and/or regression weights. Also, acceptable values of internal consistency were observed. Individuals classified as pro-social presented significantly lower values in the PES than individualistic and competitive people (small effect size). From the IRT, the rating scale model showed a good global fit to the scale model, although the item analysis indicated unacceptable indices for one item, and some categories which were not very informative. Conclusion. Although TCT results demonstrated good psychometric properties, analysis from the IRT suggested adjustments to the instrument, in particular, the regrouping of response categories which were not very informative alone.

Escopo. Esta pesquisa propõe examinar as propriedades psicométricas desde a escada Psychological Entitlement Scale (PES) no contexto local desde a Teoria clássica dos testes (TCT) e a Teoria de resposta ao item (TRI). Metodologia. Participaram 402 estudantes universitários com uma media de idade de 22.77 anos (DS = 4.85,), de ambos gêneros (61.9% mulheres) e de diferentes carreiras universitárias e 324 pessoas de 18 a 65 anos de idade (M = 32.77, DS = 10.71), de ambos géneros (61.9% mulheres) e de diferentes níveis sócio-económicos, residentes na cidade de Córdoba, selecionados de maneira acidental. Todos eles foram avaliados com a PES e a Escada de dominancia tripla. Resultados. Desde a TCT, análises fatoriais exploratórios e confirmatórios evidenciaram que oito dos nove itens que compreendia a escada original mostraram uma estrutura unifatorial, com adequadas cargas fatoriais e/ou peso de regressão. Além, foram observados valores aceitáveis, de consistência interna. As pessoas classificadas como prosociais presentaram valores significativamente menores na PES que as pessoas individualistas e competitivas (r-p² = 0.04). Desde a TRI, embora foi obtido um bom ajuste global ao modelo de escadas de classificação de um parâmetro o análises de itens evidenciou índices inaceitáveis para um item e categorias pouco informativas. Conclusão. Embora foi obtida evidencia sobre adequadas propriedades psicométricas desde a TCT, análises desde a TRI sugerem fazer ajustes ao instrumento, em particular, reagrupar categorias de resposta que resultaram pouco informativas.

Escala Multidimensional de trastornos afectivos-EMTA: análisis desde la teoría clásica de los test y la teoría de respuesta al ítem / Multidimensional scale for affective disorders-Msad: analysis from the classic tests theory and the item response theory

La presente investigación responde a una de las fases del proceso de diseño y estandarización de la Escala Multidimensional de Trastornos Afectivos (EMTA), cuyo propósito fue su análisis desde la Teoría Clásica de los Test (TCT) y la Teoría de Respuesta al Ítem (TRI) a partir de una muestra de 384 estudiantes vinculados a tres instituciones de educación superior de Barranquilla, cuyas edades oscilaron entre los 17 y los 26 años de edad. Los datos fueron recolectados a través de la administración de tres instrumentos: la Escala Multidimensional de Trastornos Afectivos, el Inventario de Depresión de Beck (a= .791) y la Escala Autoaplicada de Altman (a= .566). Se reportaron resultados ajustados a los parámetros de ambos modelos. En el análisis desde la TCT, se evidenciaron índices alfa de Cronbach significativos para ambas subescalas (a = .942 para la Subescala de Depresión y a = .864 para la Subescala de Manía), una alta consistencia interna con correlaciones ítem escala superiores a .3 para todos los ítems. Desde la TRI, se reportó una fiabilidad en el caso de la Depresión de .88 (personas) y .99 (ítems), mientras que en lo referente a Manía, los índices fueron de .84 (personas) y .87 (ítems). A lo largo de los resultados se conservó un ajuste monotónico creciente, con lo cual se corrobora el cumplimiento del principio de la invarianza en la medición del rasgo latente.

This research responds to one phase of the process for the design and standarization of the MSAD Multidimentional Scale of Affective Disorders -EMTA in Spanish-, whose purpose was to analyze MSAD, from the Classical Test Theory (CTT) and the Item Response Theory (TRI), from a sample of 384 students enrolled to three universities in Barranquilla, aged between 17 and 26 years. This is considered an instrumental study, due to its purpose. The data were collected through he administration of three instruments: Scale Multidimensional Affective Disorder, The Beck Depression Inventory (a= .791) and the self-administered Altman Scale (a= .566). Finally, results were reported as adjusted to the parameters of both models. Analysis from the TCT showed high Cronbach alpha indexes for both subscales (a= .942 for the Depression Subscale and a= .864 for the Subscale Mania), as well as high internal item-scale correlations above .3 for all items. Since the TRI, reliability in the case of Depression .88 (individuals) and .99 (items) were reported, while rates regarding Mania were .84 (persons) and .87 (items). Results retained an increasing monotonic configuration; thus the principle of invariance in measuring the latent trait is corroborated.

Psicometria: fundamentos matemáticos da Teoria Clássica dos Testes / Psychometrics: mathematical foundations of classical test theory / Psicometría: fundamentos matemáticos de la teoría clásica de los tests

Este artigo revisita textos clássicos em psicometria e apresenta os fundamentos matemáticos da Teoria Clássica dos Testes. Aborda o modelo matemático da análise fatorial, o modelo linear clássico, a derivação do índice de precisão e dos tipos de cálculo do coeficiente de precisão, o erro padrão da medida, o equacionamento da validade com a análise fatorial e, por último, a análise de itens. O texto interessa àqueles que queiram ampliar seu conhecimento nos conceitos de psicometria, entendendo de onde surgem as principais fórmulas que usamos na prática psicométrica de análise de testes e escalas.

This paper revisits the classic texts in psychometrics and presents the mathematical foundations of the classical test theory. It discusses the mathematical model of factor analysis, the classical linear model, the derivation of the reliability and types of calculation of the reliability coefficient, the standard error of measurement, the integration of validity with factor analysis and, finally, item analysis procedures. The text concerns those who want to deepen their knowledge in the concepts of psychometrics, understanding the origin of the main formulas that we use when doing psychometric analysis of tests and scales.

Este artículo repasa los textos clásicos en psicometría y presenta los fundamentos matemáticos de la teoría clásica de los testes. Explica el modelo matemático de análisis factorial, el modelo lineal clásico, la derivación del índice de precisión y los tipos de cálculo del coeficiente de precisión, el error estándar de medición, el ecuacionamento de la validez con el análisis factorial y, por último, el análisis de ítems. El texto es de interés para aquellos que desean ampliar sus conocimientos sobre los conceptos de la psicometría, la comprensión de donde surgen las principales fórmulas que se presentan en la práctica psicométrica de tests y escalas.

Coeficientes de confiabilidad de instrumentos escritos en el marco de la teoría clásica de los tests / Reliability coefficient of written tools in the frame of the classical theory of tests

Evaluar la confiabilidad en el marco de la teoría clásica de los tests y precisar las condiciones bajo las cuales el coeficiente alfa de Cronbach constituye la mejor alternativa. El coeficiente alfa de Cronbach es el recurso numérico más utilizado para evaluar la confiabilidad de instrumentos escritos. Como prueba de esto, baste decir que desde su publicación en 1951 hasta la fecha, ha sido citado más de 5 590 veces. Sin embargo, se ha comprobado que en no pocas situaciones este coeficiente no es la mejor alternativa para evaluar la confiabilidad. Se discutieron varias alternativas para la evaluación de la confiabilidad y se precisaron las condiciones bajo las cuales el coeficiente alfa de Cronbach constituye la mejor alternativa. La teoría clásica de los tests constituye un modelo apropiado para desarrollar el concepto de confiabilidad y las diferentes fórmulas de cálculo de mayor utilidad en las aplicaciones, el coeficiente alfa de Cronbach es el indicador más utilizado para cuantificar la consistencia interna de los tests y es necesario tener en cuenta los supuestos que sustentan la correcta aplicación del coeficiente alfa para hacer una interpretación adecuada de su valor numérico.

To assess reliability in the frame of the classical theory of tests and to exactly specify the conditions under which Cronbach's alpha coefficient is the best option. Cronbach's alpha coefficient is the most used numerical resort to evaluate the reliability of written tools. As a proof, it is enough to say that from its publication in 1951 up to now, it has been cited more than 5 590 times. However, it has been proved that this coefficient is not always the best option to assess reliability. Various alternatives were discussed for the assessment of reliability, and the conditions under which Cronbach's alfa coefficient is the best choice were determined. The classical theory of tests is an appropriate model to develop the concept of reliability and the calculation formulae more useful for the applications. This coefficient is the most used indicator to quantify the internal consistency of tests, and it is necessary to bear in mind the suppositions that support the correct application of alpha coefficient to make a proper interpretation of its numerical value.