RESUMO
Abstract Background: Role stress is linked to reduced work performance, diminished organizational commitment, increased intention to leave a job, and negative physical and mental health effects. Given the significant implications of role stress, researchers have sought to understand and quantify the concept. The Role Conflict and Ambiguity (RCA) scales are widely utilized in job stress research as the predominant measurement tools. They were originally conceptualized as consisting of two independent dimensions: role conflict and role ambiguity. Objective: This study advances the validation research of the RCA scales by exploring its dimensionality through Mokken Scale Analysis (MSA) and Classical Test Theory (CTT). Method: South African school teachers responded to the RCA scales, Maslach Burnout Inventory, and Teaching Satisfaction Scale. Confirmatory Factor Analysis (CFA) and MSA were employed for data analysis. Results: The research determined that a second-order model provided the optimal fit, indicating that role ambiguity and role conflict are subordinate dimensions within the overarching construct of role stress. Conclusion: The findings from the CFA and supplementary bifactor indices reinforce the view that the instrument comprises 13 items, which assess a general dimension of role stress along with two sub-dimensions: role conflict and role ambiguity. Such specificity may lead to more effective strategies to mitigate role-related stress, thereby enhancing overall employee well-being, job satisfaction, and organizational productivity.
Resumen Antecedentes: El estrés de rol está relacionado con la reducción del rendimiento laboral, la disminución del compromiso organizativo, el aumento de la intención de abandonar el trabajo y los efectos negativos sobre la salud física y mental. Dadas las importantes implicaciones del estrés de rol, los investigadores han tratado de comprender y cuantificar este concepto. Las escalas de Conflicto y Ambigüedad de Roles (RCA) se utilizan ampliamente en la investigación del estrés laboral como herramientas de medición predominantes. Al principio, se conceptualizaron como dos dimensiones independientes: conflicto de rol y ambigüedad de rol. Objetivo: Este estudio avanza en la investigación de validación de las escalas RCA, explorando su dimensionalidad mediante el Análisis de Escalas de Mokken (MSA) y la Teoría Clásica de los Test (CTT). Método: Profesores sudafricanos respondieron a las escalas RCA, Maslach Burnout Inventory y Teaching Satisfaction Scale. Se emplearon el Análisis Factorial Confirmatorio (AFC) y el MSA para el análisis de los datos. Resultados: La investigación determinó que un modelo de segundo orden proporcionaba el ajuste óptimo, indicando que la ambigüedad de rol y el conflicto de rol son dimensiones subordinadas dentro del constructo global del estrés de rol. Conclusiones: Los resultados del AFC y los índices bifactoriales suplementarios refuerzan la opinión de que el instrumento consta de 13 ítems, que evalúan una dimensión general de estrés de rol junto con dos subdimensiones: conflicto de rol y ambigüedad de rol. Esta especificidad puede conducir a estrategias más eficaces para mitigar el estrés relacionado con el rol, mejorando así el bienestar general de los empleados, la satisfacción en el trabajo y la productividad de la organización.
RESUMO
The objective of this issue is a theoretical approach to the disadvantages involved in taking the certification exams of medical specializations through serial case reports and analyzing them with the Classical Test Theory (TCT). The certification exams of medical specializations correspond to criterial summative exams with high consequences. Therefore, it is imperative to maintain the highest quality standards in all the processes involved in preparing the exam. At present, it has been detected that some councils of medical specialties conduct the certification exams with tests that contain serial case reports and the psychometric analysis that they conduct is supported by the TCT; however, the structure of this type of test violates the fundamental assumptions of the TCT. The violation of the fundamental assumptions of the TCT in the tests constructed through serial case reports can lead to biases or misinterpretations of the results. Due to the above, it is advisable to use other psychometric models for the analysis of this type of test, or to avoid the use of serial case reports in the certification exams of medical specialties.
Se presenta un planteamiento teórico de las desventajas de realizar los exámenes de certificación de las especializaciones médicas mediante casos clínicos seriados y analizarlos con la Teoría Clásica del Test (TCT). Los exámenes de certificación de las especializaciones médicas corresponden a exámenes sumativos criteriales de altas consecuencias, por lo tanto, es imperativo mantener los máximos estándares de calidad en todos los procesos implicados en su elaboración. Actualmente, se ha detectado que algunos consejos de especialidades médicas realizan los exámenes de certificación con pruebas que incluyen casos clínicos seriados y que el análisis psicométrico está sustentado en la TCT; sin embargo, la estructura de este tipo de pruebas infringe los supuestos fundamentales de dicha teoría. La violación de los supuestos fundamentales de la TCT en las pruebas construidas mediante casos clínicos seriados puede conducir a sesgos o interpretación errónea de los resultados. Por lo anterior, es recomendable utilizar otros modelos psicométricos para el análisis de este tipo de pruebas, o evitar el uso de los casos clínicos seriados en los exámenes de certificación de las especialidades médicas.
Assuntos
Certificação , Psicometria , Humanos , Avaliação Educacional/métodosRESUMO
BACKGROUND: Potential childhood traumatic experiences increase risk for mental and physical health disorders and their precise assessment can help to promote health prevention and promotion strategies for countries with limited data and measurement strategies like Colombia. OBJECTIVE: The goal of the present study is to strengthen evidence for the validity of scores from an adapted version of the Early Trauma Inventory self report-short form (ETI-SF) using Item Response Theory and by assessing factorial invariance across gender and education level. PARTICIPANTS AND SETTING: The study assessed a total of 1909 Colombian participants (66.16 % women, 32.16 % men, 1.68 % other gender; age range 18-72 years old). METHODS: Participants answered the ETI-SF via a web-based sampling strategy. RESULTS: The total scores of the scale showed good reliability coefficients (α = 0.81 and ω = 0.60). A specific analysis for the subscales showed good reliability for the emotional, physical, and sexual trauma subscales (αs and ωs >0.64), while general trauma showed lower than accepted reliability values (α =0.56 and ω = 0.37). Most of the individual items of the scale showed good calibration. The factorial invariance analysis suggests the possibility of some gender and educational differences. CONCLUSIONS: The study confirms particularly high rates of potential childhood traumatic experiences in Colombia and complement data for specific trauma types. Overall, the ETI-SF is confirmed as useful for Colombia, which highlights this scale as a good tool to use for public health assessment. Future research can continue the integration of diverse methods for estimating the quality of the scale.
Assuntos
Promoção da Saúde , Masculino , Humanos , Feminino , Adolescente , Adulto Jovem , Adulto , Pessoa de Meia-Idade , Idoso , Colômbia/epidemiologia , Psicometria/métodos , Reprodutibilidade dos Testes , Autorrelato , Inquéritos e QuestionáriosRESUMO
The aim of this study was to analyze the psychometric properties of the Brazilian version of the Test de Evaluación Neuropsicologica Infantil (TENI) using classical test theory (CTT), item response theory (IRT), and differential item functioning (DIF) models. The visuospatial working memory, focused attention, and matrix reasoning subtasks were analyzed. A total of 553 children, aged between 3 and 9 years of age, from eight public and private schools from the urban area of Belo Horizonte were assessed. In general, all subtasks can be treated essentially as unidimensional. Items' discrimination and difficulties increased in the order of presentation, as they were planned, using CTT and IRT. Items with DIF were found in all tasks, with higher probabilities of answering items correctly for boys and for private school children. Our results corroborated the partial use of some TENI subtasks as a promising digital instrument for non-verbal neuropsychological assessment for children.
Assuntos
Resolução de Problemas , Brasil , Criança , Pré-Escolar , Humanos , Masculino , Testes Neuropsicológicos , Psicometria/métodos , Inquéritos e QuestionáriosRESUMO
Introdução: A certificação profissional está cada vez mais presente no currículo médico, seja por exigências do mercado, seja por demandas jurídicas. Após longa jornada inicial para a formação, o médico pode escolher entre dois caminhos para obter o título de especialista, uma residência ou uma especialização médica, desde que chanceladas por entidades oficiais. Nesse último modelo, o médico precisa, após a conclusão da especialização, realizar uma prova para a obtenção do título de especialista. A Sociedade Brasileira de Cardiologia, com o auxílio da Comissão Julgadora do Título de Especialista em Cardiologia, promove, anualmente, uma prova com essa finalidade. Em relação à elaboração de itens, até o presente estudo, não havia sido feita nenhuma avaliação psicométrica da prova do Título de Especialista em Cardiologia (TEC), tendo em vista a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI). Essas teorias buscam, de forma técnica, avaliar a qualidade dos itens envolvidos em um teste e, de forma estatística, mostram um perfil do teste em relação a grau de dificuldade, poder de discriminação e possibilidade de acertos ao acaso ("chute"), o que nos permite uma análise crítica da qualidade da prova realizada. Objetivos: Avaliar as propriedades psicométricas da prova do TEC no ano de 2019, em relação aos parâmetros da TCT e da TRI . Materiais e métodos: Estudo observacional, com a análise psicométrica das 120 questões da prova realizada por 1120 (mil cento e vinte) candidatos para a obtenção do título de especialista em Cardiologia, no ano de 2019. Resultados: A análise pela TCT demonstrou que a prova apresenta boa distribuição dos itens em relação ao grau de dificuldade, com uma tendência para maior facilidade. Pela TRI, foi possível verificar que, das 118 questões avaliadas, apenas 49 (41,5%) possuem um fator satisfatório de discriminação. Conclusão: Os resultados deste estudo apresentam uma visão inédita da prova do TEC e, para as entidades oficiais que organizam a prova, poderão desencadear uma série de discussões e propostas para as futuras construções de provas no âmbito da cardiologia e das demais especialidades médicas
Introduction: Professional certification is increasingly present in the medical curriculum, ei-ther due to market demands or due to legal demands. After a long initial journey to training, doctors can choose between two paths to obtain the title of specialist, a residency program or a medical specialization, provided they are certified by official entities. In the latter, upon completing the specialization, the doctor must perform a test to obtain the title of specialist. The Brazilian Society of Cardiology, with the assistance of the Judging Panel on Cardiology Specialist Titles, promotes annually a test for this purpose. Regarding the elaboration of items, until the present study, there had been no psychometric evaluation of the test for the Title of Specialist in Cardiology (TSC), considering the Classical Test Theory (CTT) and the Item Re-sponse Theory (IRT). These theories seek, in a technical way, to evaluate the quality of the items involved in a test and, statistically, yield a profile of the test regarding the degree of difficulty, power of discrimination, and possibility of scoring due to guessing, which allows us to critically analyze the quality of the test performed. Objectives: To evaluate the psycho-metric properties of the TEC test in 2019, considering the CTT and IRT parameters. Materials and methods: Observational study, with the psychometric analysis of the 120 questions of the test performed by 1,120 (one thousand and one hundred and twenty) candidates to obtain the Title of Specialist in Cardiology, in the year 2019. Results: The analysis using CTT demonstrated that the test presents a good distribution of the items regarding the degree of difficulty, with a tendency towards ease. Through the IRT, it was possible to verify that, of the 118 questions evaluated, only 49 (41.5%) have a satisfactory discrimination parameter. Conclusion: The results of this study present an unprecedented view of the TEC test and, for the official entities that organize the test, they may trigger a series of discussions and pro-posals for the future elaboration of tests in the scope of Cardiology and other medical special-ties
Assuntos
Humanos , Masculino , Feminino , Adulto , Psicometria , Especialização , Cardiologia , Educação Médica , Internato e ResidênciaRESUMO
Job satisfaction is related to better physical and mental health, as well as to factors specifically related to work. In this context, the measurement of work satisfaction is important for organizations that profess an interest in engaged and satisfied workers. Therefore, this study aims to examine the psychometric properties of the Satisfaction with Job Life Scale (SWJLS) in Portuguese workers by combining the procedures of the Classical Test Theory (CTT) and the Item Response Theory (IRT). Specifically, internal structure of the scale was studied, its reliability (consistency), correlations with other measures of wellbeing (life satisfaction, loneliness, emotional wellbeing at work, and job satisfaction) were also estimated, and finally, the sacle waqs tested for gender measurement invariance. Participants were 404 workers, 61% women and 39% men, aged between 18 and 64 years (M = 36.85; SD = 14.50). Confirmatory Factor Analysis indicated that the one-dimensional model of the SWJLS was adequate (Robust χ2(5) = 9.89, p = .078; CFI = .993; RMSEA = .049, 90% CI [.000 - .094]; SRMR = .011.) and had good internal consistency (ω = .947, 95% CI [.936, 956]; α = .947, 95% CI [.935, .955]). Subsequent analyses revealed that the scores of the SWJLS were related to other measures of job satisfaction (r = .742), job-related emotional well-being (r = .628), satisfaction with life (r = .808) and loneliness (r = -.455). Factorial invariance suggests that the structure of the SWJLS measures the same construct (satisfaction with work-life) in both female and male workers. Moreover, IRT analysis suggests that higher levels of work-life satisfaction are needed to choose the upper response options, while a very low level of work-life satisfaction is required to increase the likelihood of choosing the lower response options. In this sense, the SWJLS is useful and reliable, especially for identifying people with low levels of job satisfaction. These findings support the validity of the SWJLS and indicate that the Portuguese version is a brief instrument with good psychometric characteristics for measuring work-life satisfaction.
RESUMO
Abstract The present study examines the psychometric properties of the mental health scale for children used in the 2015 Colombian Mental Health Survey. To do so, a nationally representative sample of 2,727 children is used Mage=8.99; range=7-11, with reports from their main caregivers regarding 26 mental health problem symptoms taken from the Reporting Questionnaire for Children (RQC), Child Behavior Checklist (CBCL), and the Brief Screening and Diagnostic Questionnaire (CBTD). Classical test theory and factor analysis were conducted to analyze the classical location and information of each item, along with the dimensionality, reliability, and convergent validity of the scale. Item Response Theory (IRT) was used in order to estimate theoretically invariant item parameters for location and information. Findings reveal that the mental health scale for children has adequate psychometric properties for its use in Colombia. Furthermore, IRT analyses reveals a set of items that maximize information and that may be used in future administrations when more efficiency is warranted.
Resumen El estudio examina las propiedades psicométricas de la escala de salud mental para niños utilizada en la Encuesta Nacional de Salud Mental Colombia del 2015. Se utilizó una muestra representativa a nivel nacional de 2,727 niños M age =8.99; rango=7-11, con informes proporcionados por sus cuidadores principales respecto de los síntomas de 26 problemas de salud mental tomados del Cuestionario de Reporte para Niños (RQC), el Inventario de Comportamiento de Niños (CBCL) y el Cuestionario Breve de Tamizaje y Diagnóstico (CBTD). Se emplearon la Teoría Clásica de los Tests y el análisis factorial para analizar la localización clásica y la información de cada ítem, así como la dimensionalidad, la confiabilidad y la validez convergente de la escala. Además, se utilizó la Teoría de Respuesta al Ítem (TRI) para calcular los parámetros de ítem teóricamente invariables para localización e información. Los resultados muestran que la escala de salud mental para niños tiene propiedades psicométricas adecuadas para su uso en Colombia. Además, los análisis TRI revelan un conjunto de ítems que maximizan la información y pueden ser usados en administraciones futuras en las que se requiera mayor eficiencia.
Resumo Este estudo analisa as propriedades psicométricas da escala de saúde mental para crianças utilizada na Pesquisa Nacional de Saúde Mental Colombiana de 2015. Foi utilizada uma amostra representativa no âmbito nacional de 2,727 crianças m age =8.99' faixa etária=7-11, com informações fornecidas por seus cuidadores principais a respeito dos sintomas de 26 problemas de saúde mental tomados do Reporting Questionnaire for Children, do Inventário de Comportamentos de Crianças e Adolescentes (Child Behavior Checklist) e do Questionário Breve de Rastreamento e Diagnóstico. Foram utilizadas a Teoria Clássica dos Testes e a análise fatorial para analisar a localização clássica e a informação de cada item, bem como a dimensionalidade, a confiabilidade e a validade convergente da escala. Além disso, a Teoria de Resposta ao Item (TRI) para calcular o padrão de cada item teoricamente invariável para localização e informação. Os resultados indicam que a escala de saúde mental para crianças tem propriedades psicométricas adequadas para seu uso na Colômbia. Ainda, as análises com a TRI revelam um conjunto de itens que maximizam a informação e podem ser usados futuramente com mais eficácia.
RESUMO
BACKGROUND: This study examines the response pattern of depressive symptoms in a nationwide student sample, through item analyses of a rating scale by both classical test theory (CTT) and item response theory (IRT). METHODS: The 21-item Beck Depression Inventory-II (BDI-II) was administered to 12,711 college students. First, the psychometric properties of the scale were described. Thereafter, the endorsement probability of depressive symptom in each scale item was analyzed through CTT and IRT. Graphical plots depicted the endorsement probability of scale items and intensity of depression. Three items of different difficulty level were compared through CTT and IRT approach. RESULTS: Four in five students reported the presence of depressive symptoms. The BDI-II items presented good reliability and were distributed along the symptomatic continuum of depression. Similarly, in both CTT and IRT approaches, the item 'changes in sleep' was easily endorsed, 'loss of interest' moderately and 'suicidal thoughts' hardly. Graphical representation of BDI-II of both methods showed much equivalence in terms of item discrimination and item difficulty. The item characteristic curve of the IRT method provided informative evaluation of item performance. LIMITATION: The inventory was applied only in college students. CONCLUSION: Depressive symptoms were frequent psychopathological manifestations among college students. The performance of the BDI-II items indicated convergent results from both methods of analysis. While the CTT was easy to understand and to apply, the IRT was more complex to understand and to implement. Comprehensive assessment of the functioning of each BDI-II item might be helpful in efficient detection of depressive conditions in college students.
Assuntos
Transtorno Depressivo/diagnóstico , Transtorno Depressivo/psicologia , Escalas de Graduação Psiquiátrica/estatística & dados numéricos , Estudantes/psicologia , Adulto , Feminino , Humanos , Masculino , Psicometria/métodos , Reprodutibilidade dos Testes , Estudantes/estatística & dados numéricos , Universidades , Adulto JovemRESUMO
Researchers dealing with the task of estimating locations of individuals on continuous latent variables may rely on several statistical models described in the literature. However, weighting costs and benefits of using one specific model over alternative models depends on empirical information that is not always clearly available. Therefore, the aim of this simulation study was to compare the performance of seven popular statistical models in providing adequate latent trait estimates in conditions of items difficulties targeted at the sample mean or at the tails of the latent trait distribution. Results suggested an overall tendency of models to provide more accurate estimates of true latent scores when using items targeted at the sample mean of the latent trait distribution. Rating Scale Model, Graded Response Model, and Weighted Least Squares Mean- and Variance-adjusted Confirmatory Factor Analysis yielded the most reliable latent trait estimates, even when applied to inadequate items for the sample distribution of the latent variable. These findings have important implications concerning some popular methodological practices in Psychology and related areas. (AU)
Pesquisadores interessados em estimar a localização de indivíduos em variáveis latentes contínuas podem se beneficiar de diversos modelos estatísticos disponíveis na literatura. Entretanto, ponderar os custos e os benefícios de usar um modelo em detrimento de outros depende de informações empíricas que nem sempre estão diretamente disponíveis. Em virtude disso, o objetivo deste estudo foi comparar o desempenho de sete modelos estatísticos populares quanto a proporcionar adequadas estimativas de traço latente em condições de itens com dificuldades condizentes com a distribuição latente amostral versus apenas condizentes com as caudas dessa distribuição. Os resultados sugeriram uma tendência de todos os modelos de proporcionar estimativas mais precisas ao serem usados itens adequados para o nível de traço latente da amostra. Os modelos da Teoria de Resposta ao Item Rating Scale e Graded Response e a análise fatorial confirmatória com estimação Weighted Least Squares Mean- and Variance-adjusted forneceram as estimativas mais fidedignas de traço latente, mesmo quando os itens utilizados, de fato, correspondiam ao nível latente de poucos casos da amostra. Os resultados possuem importantes implicações no que diz respeito a algumas práticas metodológicas populares na Psicologia e em áreas próximas. (AU)
Assuntos
Psicometria , Estatística como Assunto , Análise FatorialRESUMO
Se aplicó el Modelo de Respuesta Graduada (MRG) de la Teoría de Respuesta al ítem (TRI) y la Teoría Clásica de Test (TCT) al análisis de ítems de una escala de Confianza para la Matemática (Abal, 2013). La prueba mide la capacidad percibida por un estudiante universitario para operar eficazmente con símbolos y fórmulas, aprender y aprobar la asignatura matemática u otras afines. La prueba consta de 8 ítems con formato de respuesta Likert de 6 opciones. Participaron 1875 estudiantes de Psicología de la Universidad de Buenos Aires, Argentina. Se verificó la condición de unidimensionalidad requerida por el MRG. El ajuste del MRG fue satisfactorio para todos los ítems. El análisis clásico incluyó el estudio de las frecuencias de respuesta, estadísticos descriptivos del ítem y correlación ítem-test corregida. El coeficiente de confiabilidad marginal de la TRI fue de .91 y el alfa de Cronbach fue .90. Se encontraron correlaciones elevadas entre: a) la media del ítem y los parámetros de localización centrales del MRG, b) la correlación ítem-test corregida y los parámetros de discriminación y c) entre los escalamientos de los individuos realizados desde la TRI y la TCT. Estos resultados aportan evidencias de validez basadas en la estructura interna del instrumento...
The Graded Response Model (GRM) of Item Response Theory (IRT) and Classical Test Theory (CTT) were applied to the analysis of items from a scale of Confidence in Mathematics (Abal, 2013). This scale measures the ability perceived by university student to operate effectively with symbols and formulas, to solve problematic situations, to learn and pass mathematics or related subjects. The scale comprises 8 items in polytomous response format (6-point Likert-type). The sample was made up by 1875 students of the Psychology school of Buenos Aires University, Argentina. The unidimensionality assumption required by the GRM was confirmed. The GRM fitted to data satisfactorily for all items. Location and discrimination parameters showed predictable values. Classical item analysis involved the examination of response frequencies, item descriptive statistics and corrected item-test correlations. The marginal reliability coefficient obtained from IRT was .91 and Cronbachs alpha was .90. High correlations were found between: a) item means and central location parameters of GRM, b) corrected item-test correlations and discrimination parameters, and c) IRT and CTT individual scores. The finding provides validity evidences based on the internal structure of scale...
Assuntos
Humanos , Masculino , Adolescente , Adulto , Feminino , Adulto Jovem , Pessoa de Meia-Idade , Autoeficácia , Confiança , Estudantes/psicologia , Matemática/educação , Testes Psicológicos , Argentina , Modelos Psicológicos , Reprodutibilidade dos TestesRESUMO
Objetivo. Esta investigación se propuso examinar las propiedades psicométricas de la escala Psychological Entitlement Scale (PES) en el contexto local desde la Teoría clásica de los tests (TCT) y la Teoría de respuesta al ítem (TRI). Método. Participaron 402 estudiantes universitarios con una media de edad de 22.77 años (DS = 4.85), de ambos géneros (61.9% mujeres) y de distintas carreras universitarias y 324 personas de 18 a 65 años de edad (M = 32.77, DS = 10.71), de ambos géneros (56.2% mujeres) y de diferentes niveles socioeconómicos, residentes en la ciudad de Córdoba, seleccionados de manera accidental. Todos ellos fueron evaluados con la PES y la Escala de dominancia triple. Resultados. Desde la TCT, análisis factoriales exploratorios y confirmatorios evidenciaron que ocho de los nueve ítems que comprendía la escala original mostraron una estructura unifactorial, con adecuadas cargas factoriales y/o pesos de regresión. Además, se observaron valores aceptables de consistencia interna. Las personas clasificadas como prosociales presentaron valores significativamente menores en la PES que las personas individualistas y competitivas (r-p² = 0.04). Desde la TRI, si bien se obtuvo un buen ajuste global al modelo de escalas de clasificación de un parámetro, el análisis de ítems evidenció índices inaceptables para un ítem y categorías poco informativas. Conclusión. Aunque se obtuvo evidencia sobre adecuadas propiedades psicométricas desde la TCT, análisis desde la TRI sugieren realizar ajustes al instrumento, en particular, reagrupar categorías de respuesta que resultaron poco informativas.
Objective. The aim of this research was to examine the psychometric properties of the Psychological Entitlement Scale (PES) in the local context using Classical Test Theory (CTT) and Item Response Theory (IRT). Method. Participants were 402 university students with a mean age of 22.77 years (SD = 4.85), both genders (61.9% female), and from different university careers, and 324 residents of the city of Córdoba, aged 18 to 65 years (M = 32.77, SD = 10.71), both genders (56.2% women), with different socio-economic backgrounds. All participants were selected at random, and evaluated with PES and Triple Dominance Scale measures. Results. From the TCT, exploratory and confirmatory factor analyses indicated that eight of the nine items comprising the original scale showed an unifactorial structure with adequate factor loadings and/or regression weights. Also, acceptable values of internal consistency were observed. Individuals classified as pro-social presented significantly lower values in the PES than individualistic and competitive people (small effect size). From the IRT, the rating scale model showed a good global fit to the scale model, although the item analysis indicated unacceptable indices for one item, and some categories which were not very informative. Conclusion. Although TCT results demonstrated good psychometric properties, analysis from the IRT suggested adjustments to the instrument, in particular, the regrouping of response categories which were not very informative alone.
Escopo. Esta pesquisa propõe examinar as propriedades psicométricas desde a escada Psychological Entitlement Scale (PES) no contexto local desde a Teoria clássica dos testes (TCT) e a Teoria de resposta ao item (TRI). Metodologia. Participaram 402 estudantes universitários com uma media de idade de 22.77 anos (DS = 4.85,), de ambos gêneros (61.9% mulheres) e de diferentes carreiras universitárias e 324 pessoas de 18 a 65 anos de idade (M = 32.77, DS = 10.71), de ambos géneros (61.9% mulheres) e de diferentes níveis sócio-económicos, residentes na cidade de Córdoba, selecionados de maneira acidental. Todos eles foram avaliados com a PES e a Escada de dominancia tripla. Resultados. Desde a TCT, análises fatoriais exploratórios e confirmatórios evidenciaram que oito dos nove itens que compreendia a escada original mostraram uma estrutura unifatorial, com adequadas cargas fatoriais e/ou peso de regressão. Além, foram observados valores aceitáveis, de consistência interna. As pessoas classificadas como prosociais presentaram valores significativamente menores na PES que as pessoas individualistas e competitivas (r-p² = 0.04). Desde a TRI, embora foi obtido um bom ajuste global ao modelo de escadas de classificação de um parâmetro o análises de itens evidenciou índices inaceitáveis para um item e categorias pouco informativas. Conclusão. Embora foi obtida evidencia sobre adequadas propriedades psicométricas desde a TCT, análises desde a TRI sugerem fazer ajustes ao instrumento, em particular, reagrupar categorias de resposta que resultaram pouco informativas.
Assuntos
Adulto , PsicometriaRESUMO
No século XX, o desenvolvimento e avaliação das propriedades psicométricas dos testes se embasou principalmente na Teoria Clássica dos Testes (TCT). Muitos testes são longos e redundantes, com medidas influenciáveis pelas características da amostra dos indivíduos avaliados durante seu desenvolvimento, sendo algumas destas limitações consequências do uso da TCT. A Teoria de Resposta ao Item (TRI) surgiu como uma possível solução para algumas limitações da TCT, melhorando a qualidade da avaliação da estrutura dos testes. Neste texto comparamos criticamente as características da TCT e da TRI como métodos para avaliação das propriedades psicométricas dos testes. São discutidas as vantagens e limitações de cada método.(AU)
In the 20th century, development and evaluation of psychometric properties of tests was mainly based on the Classical Test Theory (CTT). Many tests are long and redundant, with measures influenced by the characteristics of the sample of the individuals being evaluated. Some of the limitations are a consequence of the use of the CTT. The Item Response Theory (IRT) has been proposed as a solution to some limitations of the CTT, improving the quality of assessment of the tests structure. In this paper we critically compare the characteristics of CTT and IRT methods in determining the psychometric properties of tests. We discuss the advantages and limitations of each method.(AU)
Assuntos
PsicometriaRESUMO
No século XX, o desenvolvimento e avaliação das propriedades psicométricas dos testes se embasou principalmente na Teoria Clássica dos Testes (TCT). Muitos testes são longos e redundantes, com medidas influenciáveis pelas características da amostra dos indivíduos avaliados durante seu desenvolvimento, sendo algumas destas limitações consequências do uso da TCT. A Teoria de Resposta ao Item (TRI) surgiu como uma possível solução para algumas limitações da TCT, melhorando a qualidade da avaliação da estrutura dos testes. Neste texto comparamos criticamente as características da TCT e da TRI como métodos para avaliação das propriedades psicométricas dos testes. São discutidas as vantagens e limitações de cada método...
In the 20th century, development and evaluation of psychometric properties of tests was mainly based on the Classical Test Theory (CTT). Many tests are long and redundant, with measures influenced by the characteristics of the sample of the individuals being evaluated. Some of the limitations are a consequence of the use of the CTT. The Item Response Theory (IRT) has been proposed as a solution to some limitations of the CTT, improving the quality of assessment of the tests structure. In this paper we critically compare the characteristics of CTT and IRT methods in determining the psychometric properties of tests. We discuss the advantages and limitations of each method...
Assuntos
PsicometriaRESUMO
Este artigo revisita textos clássicos em psicometria e apresenta os fundamentos matemáticos da Teoria Clássica dos Testes. Aborda o modelo matemático da análise fatorial, o modelo linear clássico, a derivação do índice de precisão e dos tipos de cálculo do coeficiente de precisão, o erro padrão da medida, o equacionamento da validade com a análise fatorial e, por último, a análise de itens. O texto interessa àqueles que queiram ampliar seu conhecimento nos conceitos de psicometria, entendendo de onde surgem as principais fórmulas que usamos na prática psicométrica de análise de testes e escalas.(AU)
This paper revisits the classic texts in psychometrics and presents the mathematical foundations of the classical test theory. It discusses the mathematical model of factor analysis, the classical linear model, the derivation of the reliability and types of calculation of the reliability coefficient, the standard error of measurement, the integration of validity with factor analysis and, finally, item analysis procedures. The text concerns those who want to deepen their knowledge in the concepts of psychometrics, understanding the origin of the main formulas that we use when doing psychometric analysis of tests and scales.(AU)
Este artículo repasa los textos clásicos en psicometría y presenta los fundamentos matemáticos de la teoría clásica de los testes. Explica el modelo matemático de análisis factorial, el modelo lineal clásico, la derivación del índice de precisión y los tipos de cálculo del coeficiente de precisión, el error estándar de medición, el ecuacionamento de la validez con el análisis factorial y, por último, el análisis de ítems. El texto es de interés para aquellos que desean ampliar sus conocimientos sobre los conceptos de la psicometría, la comprensión de donde surgen las principales fórmulas que se presentan en la práctica psicométrica de tests y escalas.(AU)
Assuntos
Psicometria , Análise Fatorial , Reprodutibilidade dos TestesRESUMO
Este artigo revisita textos clássicos em psicometria e apresenta os fundamentos matemáticos da Teoria Clássica dos Testes. Aborda o modelo matemático da análise fatorial, o modelo linear clássico, a derivação do índice de precisão e dos tipos de cálculo do coeficiente de precisão, o erro padrão da medida, o equacionamento da validade com a análise fatorial e, por último, a análise de itens. O texto interessa àqueles que queiram ampliar seu conhecimento nos conceitos de psicometria, entendendo de onde surgem as principais fórmulas que usamos na prática psicométrica de análise de testes e escalas.
This paper revisits the classic texts in psychometrics and presents the mathematical foundations of the classical test theory. It discusses the mathematical model of factor analysis, the classical linear model, the derivation of the reliability and types of calculation of the reliability coefficient, the standard error of measurement, the integration of validity with factor analysis and, finally, item analysis procedures. The text concerns those who want to deepen their knowledge in the concepts of psychometrics, understanding the origin of the main formulas that we use when doing psychometric analysis of tests and scales.
Este artículo repasa los textos clásicos en psicometría y presenta los fundamentos matemáticos de la teoría clásica de los testes. Explica el modelo matemático de análisis factorial, el modelo lineal clásico, la derivación del índice de precisión y los tipos de cálculo del coeficiente de precisión, el error estándar de medición, el ecuacionamento de la validez con el análisis factorial y, por último, el análisis de ítems. El texto es de interés para aquellos que desean ampliar sus conocimientos sobre los conceptos de la psicometría, la comprensión de donde surgen las principales fórmulas que se presentan en la práctica psicométrica de tests y escalas.
Assuntos
Análise Fatorial , PsicometriaRESUMO
O presente estudo teve como objetivo analisar as qualidades psicométricas da Escala Baptista de Depressão (Versão Adulto) - EBADEP-A, com base na Teoria da Resposta ao Item - TRI e na Teoria Clássica dos Testes - TCT. Inicialmente, sobre os parâmetros de ajuste ao modelo, tanto no que concerne aos itens quanto às pessoas, os valores foram considerados de boa adequação, com percentual de desajuste considerado baixo. Em relação à precisão, tanto o alfa de Cronbach quanto o índice gerado pelo modelo de Rasch foram considerados excelentes. O estudo do funcionamento diferencial apresentou 17 itens com viés de resposta, sendo 11 favorecendo o grupo feminino e 6 o masculino. Quanto às análises com base na TCT, foi realizada ANOVA para análise dos grupos critério, sendo que a EBADEP-A foi capaz de discriminar os grupos de não-depressivos, universitários, psiquiátricos e depressivos. Estes resultados foram considerados como evidências de validade de construto e critério, respectivamente, complementando as diversas evidências já encontradas para a escala.(AU)
This study aimed to analyze the psychometric qualities of the Escala Baptista de Depressão (Versão Adulto) - EBADEP-A based on Item Response Theory - IRT and Classical Test Theory - TCT. Initially, adjustment parameters on the model, both regarding to items and to people, were considered good fit values, with a low percentage of mismatches. In relation to the reliability, both Cronbach's alpha and the Rasch index were considered great. The study of differential functioning presented 17 items with response bias, 11 favoring the female group and 6 the male one. As for the analysis based on TCT, it was performed an ANOVA to analyze the criterion groups, and the EBADEP-A was able to discriminate the non-depressed, college students, psychiatric and depressive groups. These results were considered as evidence of construct validity and criterion, respectively, complementing the variety of evidence ever found for the scale.(AU)
Assuntos
Humanos , Masculino , Feminino , Adolescente , Adulto Jovem , Adulto , Pessoa de Meia-Idade , Idoso , Idoso de 80 Anos ou mais , Depressão/psicologia , Psicometria , Reprodutibilidade dos Testes , Reprodutibilidade dos Testes , Pesos e MedidasRESUMO
O presente estudo teve como objetivo analisar as qualidades psicométricas da Escala Baptista de Depressão (Versão Adulto) - EBADEP-A, com base na Teoria da Resposta ao Item - TRI e na Teoria Clássica dos Testes - TCT. Inicialmente, sobre os parâmetros de ajuste ao modelo, tanto no que concerne aos itens quanto às pessoas, os valores foram considerados de boa adequação, com percentual de desajuste considerado baixo. Em relação à precisão, tanto o alfa de Cronbach quanto o índice gerado pelo modelo de Rasch foram considerados excelentes. O estudo do funcionamento diferencial apresentou 17 itens com viés de resposta, sendo 11 favorecendo o grupo feminino e 6 o masculino. Quanto às análises com base na TCT, foi realizada ANOVA para análise dos grupos critério, sendo que a EBADEP-A foi capaz de discriminar os grupos de não-depressivos, universitários, psiquiátricos e depressivos. Estes resultados foram considerados como evidências de validade de construto e critério, respectivamente, complementando as diversas evidências já encontradas para a escala.
This study aimed to analyze the psychometric qualities of the Escala Baptista de Depressão (Versão Adulto) - EBADEP-A based on Item Response Theory - IRT and Classical Test Theory - TCT. Initially, adjustment parameters on the model, both regarding to items and to people, were considered good fit values, with a low percentage of mismatches. In relation to the reliability, both Cronbach's alpha and the Rasch index were considered great. The study of differential functioning presented 17 items with response bias, 11 favoring the female group and 6 the male one. As for the analysis based on TCT, it was performed an ANOVA to analyze the criterion groups, and the EBADEP-A was able to discriminate the non-depressed, college students, psychiatric and depressive groups. These results were considered as evidence of construct validity and criterion, respectively, complementing the variety of evidence ever found for the scale.