Aplicación del modelo LLTM de Fischer al análisis de las fuentes de dificultad de ítemes de razonamiento deductivo / Application of the Fischer LLTM model to the analysis of the sources of difficulty of deductive reasoning items

El Modelo Logístico Lineal de Rasgo Latente (LLTM) de Fischer permite descomponer la dificultad de un ítem como suma de los efectos debidos a las fuentes de dificultad predichas por las teorías cognitivas, decidir si éstos son significativos y estimarlos. En el estudio que se informa se diseñaron y elaboraron 24 ítemes de razonamiento deductivo teniendo en cuenta las fuentes de dificultad predichas por las teorías cognitivas y por la experiencia educacional. Se administraron a 251 estudiantes de la Carrera de Psicología de la Universidad de Buenos Aires (UBA). Se describe el procedimiento para seleccionar un subconjunto de los mismos al cual ajuste el modelo LLTM. El objetivo de este trabajo fue verificar la pertinencia de las fuentes de dificultad consideradas y orientar la construcción de nuevos ítemes. Se logró un buen ajuste del modelo de Rasch (p = .89) y del modelo LLTM (p = .11) sobre 12 de ellos. Los valores z de Wald resultaron no significativos para los 12 ítemes mencionados. La correlación de los parámetros de dificultad estimados en ambos modelos fue: r = .99. Se consideraron cinco componentes que resultaron significativos. Éstos fueron, en orden decreciente de dificultad, la presencia de: (a) falacias de afirmación del consecuente y de negación del antecedente, (b) negación afectando a la disyunción o conjunción, (c) contenido abstracto o simbólico, (d) cuantificadores y (e) condicionales. Se verificaron los supuestos de invariancia para los parámetros de los ítemes y de los sujetos. Los resultados de esta etapa exploratoria alientan a seguir construyendo ítemes tomando en cuenta las fuentes de dificultad halladas.

The processes involved in deductive reasoning have been studied by Cognitive Psychology since the seventies. Many hypotheses have been put forward to explain the difficulties in solving simple reasoning problems when considering their logical connectives, content and context of the tasks in which they are presented. These hypotheses have led to the development of different theories of reasoning like those based on the formal inference rules approach (Braine, 1978; Braine & O'Brien, 1991; Braine & Rumain, 1983; Rips, 1994), the Pragmatic Schemas Theory (Cheng & Holyoak, 1985) and the theory of semantic mental models (Johnson-Laird, 1983, Johnson-Laird & Byrne, 1991). The componential models of the Item Response Theory have allowed Psychometry to explain said these processes (Embretson, 1994). Thus, for instance, the Linear Logistic Latent Trait Model (LLTM) (Fischer, 1973, 1997), an extension of the Rasch model, expresses item difficulty as the sum of the effects due to the sources of difficulty predicted by the mentioned cognitive theories, which enables us to decide whether these effects are significant and estimate them. In other words, the Rasch item parameters β1 are linearly decomposed in the form where p is the number of components considered, αl -the basic parameters of the model, expresses the difficulty of each component l, w il is the weight of αl with respect to the difficulty of the item i and c is an arbitrary normalization constant. Formula (1) implies that the application of the LLTM model makes sense only when the Rasch model fits the data. On the other hand, if the proposed components were sufficiently exhaustive to explain the differences between the items, formula (1) would allow us, once the basic parameters αl have been estimated, to recover estimates similar to those obtained directly by the application of the Rasch model, which would imply a high correlation between the parameters estimated under both models. The identification of the difficulty components and the estimate of their effects may be useful to generate items with preset difficulty parameters. This paper describes the process to find a subset of deductive reasoning items to which the LLTM model fits well. A set of 24 deductive reasoning items were designed and created considering the sources of difficulty predicted by cognitive theories and educational practice. The objective is to verify the suitability of such sources and to guide the construction of new items. Each item may consist of one, two or three premises and one conclusion. The individual must decide whether the conclusion is true or false. Nine items are made of concrete content, neutral to avoid any bias due beliefs or opinions, and the remaining ones have abstract or symbolic content. They were administered to a sample of 251 students of Psychology (Universidad de Buenos Aires - Argentina), composed of 24% males and 76% females, whose average age is 22.68 (DS = 6.35). Good fit for the Rasch model (p = .89) and for the LLTM model (p = .11) were obtained for 12 of them. The Wald z-values were not significant for the 12 items mentioned before. The linear correlation between the parameters estimated under both models was r = .99. Five components that turned out to be significant were considered. These components are listed in a decreasing level of difficulty: (a) affirmation of the consequent and negation of antecedent fallacies, (b) negation when affecting disjunction / conjunction, (c) abstract or symbolic content, (d) quantifiers and (e) conditionals. The two assumptions that refer to both, the item and subject parameter invariance, were checked. The results of this exploratory step encourage us to go on constructing new items taking into account the sources of difficulty that were found.

Variables asociadas a la dificultad de ítems de razonamiento condicional / Variables associated with the difficulty of conditional reasoning items

El objetivo del presente trabajo es realizar un estudio descriptivo y exploratorio para analizar fuentes de dificultad que afectan la evaluación de la validez de los cuatro argumentos condicionales clásicos: Modus Ponens (MP), Modus Tollens (MT), Afirmación del Consecuente (AC) y Negación del Antecedente (NA). Estas fuentes son: tipo de argumento, tipo de contenido, presencia de negaciones y cantidad de sujetos gramaticales que tienen el antecedente y el consecuente de la premisa condicional. Se diseñaron 51 ítems distribuidos en seis pruebas diferentes, administradas a seis grupos de estudiantes universitarios conformando un total de 725 participantes. Los resultados indican que el MP es más fácil que el MT, hallándose además una amplia aceptación de la validez del AC y del NA, siendo más fácil el reconocimiento de la falacia NA que el de AC. Se encuentran efectos del tipo de contenido para todos los argumentos menos para MP, siendo el contenido concreto un facilitador del reconocimiento de la validez. Tanto la falta de negaciones como su presencia en el antecedente y en el consecuente a la vez, son facilitadoras. El número de sujetos gramaticales incluidos en las proposiciones se asocia con la dificultad del argumento en MT y AC, siendo los argumentos de un sujeto más fáciles que los de dos.