Falacias sobre el valor p compartidas por profesores y estudiantes universitarios / Fallacies about p-Value Shared by Professors and University Students

Resumen La "Práctica Basada en la Evidencia" requiere a los profesionales valorar de forma crítica los resultados de las investigaciones psicológicas. Sin embargo, las interpretaciones incorrectas de los valores p de probabilidad son abundantes y repetitivas. Estas interpretaciones incorrectas pueden afectar las decisiones profesionales y poner en riesgo la calidad de las intervenciones y la acumulación de un conocimiento científico válido. Por lo tanto, identificar el tipo de falacia que subyace a las decisiones estadísticas es fundamental para abordar y planificar estrategias de educación estadística dirigidas a intervenir sobre las interpretaciones incorrectas. En consecuencia, el objetivo de este estudio es analizar la interpretación del valor p en estudiantes y profesores universitarios de psicología. La muestra estuvo formada por 161 participantes (43 profesores y 118 estudiantes). La antigüedad media como profesor fue de 16.7 años (DE = 10.07). La edad media de los estudiantes fue de 21.59 (DE = 1.3). Los hallazgos sugieren que los estudiantes y profesores universitarios no conocen la interpretación correcta del valor p. La falacia de la probabilidad inversa presentó mayores problemas de comprensión. Además, se confundieron la significación estadística y la significación práctica o clínica. Estos resultados destacan la necesidad de la educación estadística y reeducación estadística.

Abstract The "Evidence Based Practice" requires professionals to critically assess the results of psychological research. However, incorrect interpretations of p values of probability are abundant and repetitive. These misconceptions may affect professional decisions and compromise the quality of interventions and the accumulation of a valid scientific knowledge. Therefore, identifying the types of fallacies that underlying statistical decisions is fundamental for approaching and planning statistical education strategies designed to intervene in incorrect interpretations. Consequently, the aim of this study is to analyze the interpretation of p value among university students of psychology and academic psychologists. The sample was composed of 161 participants (43 academics and 118 students). The mean number of years as academic was 16.7 (SD = 10.07). The mean age of university students was 21.59 years (SD = 1.3). The findings suggest that college students and academics do not know the correct interpretation of p values. The inverse probability fallacy presented major problems of comprehension. In addition, the participants confused statistical significance and practical significance or clinical or the findings. There is a need for statistical education and statistical re-education.

Errores de interpretación de los métodos estadísticos: importancia y recomendaciones / Interpretation mistakes in statistical methods: their importance and some recommendations

Trabajos empíricos previos han identificado las opiniones de los investigadores respecto de las pruebas de significación y de otros recursos estadísticos, algunas de estas opiniones resultan totalmente inaceptables. En esta investigación comprobamos el grado en que estos errores aparecen en una muestra española de profesores e investigadores de universidad mediante la aplicación de un cuestionario. Los datos obtenidos son importantes para: a) la prevención de interpretaciones inadecuadas; b) la corrección de usos incorrectos; c) el análisis de alternativas posibles; y d) proponer cambios editoriales en los criterios de publicación

Prior research has identified some of the most common misconceptions on how researchers interpret the results of significance tests. In this study, we examine the scope of these misconceptions in a sample of university professors and researchers from Spain on the basis of a short questionnaire. The obtained results provide important information: i) to prevent wrong interpretation from the data, ii) to correct the wrong use of statistical testing, iii) to suggest new ways of examining the data, and iv) to propose some modifications on the editorial criteria to publish scientific work

Calidad de servicio en supermercados: una propuesta de medición / Quality service in supermarkets: a proposal of measurement

El presente trabajo estudia la percepción de la calidad de servicio en los supermercados. La investigación establece los criterios utilizados a la hora de valorar los servicios prestados y elabora un instrumento para medir la calidad de servicio en este contexto. A partir de la revisión de la literatura se ha creado una escala compuesta por 13 ítems y cuatro factores teóricos (precios, producto, servicio e imagen y producto fresco). Para comprobar las propiedades psicométricas del instrumento llevamos a cabo una encuesta telefónica asistida por ordenador (CATI) con una muestra de 300 entrevistas. Los resultados nos permiten presentar una escala con una estructura factorial de cuatro dimensiones, con unos índices de fiabilidad y validez óptimos. Al mismo tiempo, concluimos que la variable valoración global del establecimiento es una variable importante en la estructura perceptiva de los consumidores

This assignment has the aim of going deeply into the study of service quality perception in supermarkets. The research tries to find the criterion used when rating the services received in a supermarket and also to elaborate an instrument to measure the service quality in this context. From the review of the existing bibliography, four theoretical factors and a thirteen items scale have been composed. These four factors are: price, product, service and image and fresh product. In order to check the psychometrical properties of the questionnaire we carried out a computer assisted telephone interviewing (CATI) with a sample of 300 interviews. The results obtained allow us to show a scale with a factorial structure of 4 dimensions that throws up optimal indexes of reliability and validity. At the same time we conclude that the variable called establishment global rate is an important variable in the perceptive structure of the consumers

[Quality service in supermarkets: a proposal of measurement]. / Calidad de servicio en supermercados: una propuesta de medición.

This assignment has the aim of going deeply into the study of service quality perception in supermarkets. The research tries to find the criterion used when rating the services received in a supermarket and also to elaborate an instrument to measure the service quality in this context. From the review of the existing bibliography, four theoretical factors and a thirteen items scale have been composed. These four factors are: price, product, service and image and fresh product. In order to check the psychometrical properties of the questionnaire we carried out a computer assisted telephone interviewing (CATI) with a sample of 300 interviews. The results obtained allow us to show a scale with a factorial structure of 4 dimensions that throws up optimal indexes of reliability and validity. At the same time we conclude that the variable called establishment global rate is an important variable in the perceptive structure of the consumers.

[Interpretation mistakes in statistical methods: their importance and some recommendations]. / Errores de interpretación de los métodos estadísticos: importancia y recomendaciones.

Interpretation mistakes in statistical methods: Their importance and some recommendations. Prior research has identified some of the most common misconceptions on how researchers interpret the results of significance tests. In this study, we examine the scope of these misconceptions in a sample of university professors and researchers from Spain on the basis of a short questionnaire. The obtained results provide important information: i) to prevent wrong interpretation from the data, ii) to correct the wrong use of statistical testing, iii) to suggest new ways of examining the data, and iv) to propose some modifications on the editorial criteria to publish scientific work.

Psicología clínica basada en pruebas: efecto del tratamiento / Evidence-based clinical psychology: basic considerations for its study

La práctica de la Psicología Clínica Basada en Pruebas supone integrar la experiencia del profesional clínico con la mejor evidencia obtenida de la investigación sistemática. La Psicología Basada en Pruebas (PBP) promueve la recogida, interpretación e integración de la evidencia válida e importante derivada de la investigación, del juicio clínico y de la opinión del paciente. Dicha práctica está fundamentalmente relacionada con la aplicación de los ensayos clínicos aleatorizados, las revisiones sistemáticas y el meta-análisis aunque su vínculo no es de necesidad. La Psicología Basada en Pruebas sigue cuatro pasos: formular el problema clínico, localización en la literatura de los artículos relevantes, valoración crítica de las pruebas encontradas y aplicación de los hallazgos a la práctica clínica (AU)

La medida de la empatía: análisis del Interpersonal Reactivity Index / Measuring empathy: the Interpersonal Reactivity Index

El objetivo principal de este estudio fue analizar las propiedades psicométricas del Interpersonal Reactivity Index (IRI) (Davis, 1980, 1983) en su adaptación española. Se trata de uno de los cuestionarios más utilizados para evaluar la empatía desde una perspectiva multidimensional que incluye dos factores cognitivos y dos emocionales. La adaptación española se ha realizado con una amplia muestra de sujetos pertenecientes a diferentes centros educativos de la Comunidad Valenciana (1.285 adolescentes, 698 varones y 597 mujeres, con un rango de edad entre 13 y 18 años). Los resultados obtenidos indican la validez del instrumento para evaluar los diferentes componentes de la empatía (AU)

The main aim of this study was to analyze the psychometric properties of the Interpersonal Reactivity Index (IRI) (Davis, 1980, 1983) in its Spanish adaptation. It is one of the questionnaires but used to evaluate the empathy from a multidimensional perspective that includes two cognitive factors and two emotional. The Spanish adaptation has been carried out with a wide sample of fellows belonging to different educational centers of the Valencian Community (1.285 adolescents, 698 males and 597 women, with an age range between 13 and 18 years). The results of this study indicate the validity of the instrument to evaluate the different components of the empathy (AU)

Tratamientos psicológicos con apoyo empírico y práctica clínica basada en la evidencia / No disponible

La investigación sobre el efecto de los tratamientos psicológicos ha ido progresando desde una postura de validación y apoyo empírico hasta su formulación como un modelo de práctica basada en la evidencia. Encontrar la evidencia más válida, desarrollar teorías coherentes y comprensibles, trabajar con clínicos expertos y reconocer la importancia del paciente permitirá componer un modelo que facilite el avance del conocimiento sobre los tratamientos psicológicos más eficaces (AU)

The investigation on the effect of psychological treatments has gone progressing since a position of validation and empirical support to its formulation as a model of practice based on the evidence. To find the most valid evidence, develop understandable and coherent theories, work with clinical experts and recognize the importance of the patient will permit to compose a model that facilitate the advance of the knowledge on the most efficacy psychological treatments (AU)

Psicología clínica basada en pruebas efecto del tratamiento / No disponible

La práctica de la Psicología Clínica Basada en Pruebas supone integrar la experiencia del profesional clínico con la mejor evidencia obtenida de la investigación sistemática. La Psicología Basada en Pruebas (PBP) promueve la recogida, interpretación e integración de la evidencia válida e importante derivada de la investigación, del juicio clínico y de la opinión del paciente. Dicha práctica está fundamentalmente relacionada con la aplicación de los ensayos clínicos aleatorizados, las revisiones sistemáticas y el meta-análisis aunque su vínculo no es de necesidad. La Psicología Basada en Pruebas sigue cuatro pasos: formular el problema clínico, localización en la literatura de los artículos relevantes, valoración crítica de las pruebas encontradas y aplicación de los hallazgos a la práctica clínica (AU)

The practice of Evidence-Based Clinical Psychology means integrating individual clinical expertise with the best available external clinical evidence from systematic research. Evidence-Based Psychology (EBP) is an approach that promotes the collection, interpretation, and integration of valid, important and applicable patient-reported, clinician-observed, and research-derived evidence. It is dependent on the use of randomised controlled trials, as well as systematic reviews of a series of trials and meta-analysis, although it is not restricted to these. Evidence-Based Psychology follows four steps: formulate a clear clinical question from a patient’s problem; search the literature for relevant clinical articles; evaluate (critically appraise) the evidence for its validity and usefulness; implement useful findings in clinical practice (AU)

Tamaño del efecto del tratamiento y significación estadística / Effect size and statistical significance

En la actualidad la atención por la sensibilidad y validez de conclusión estadística del diseño de la investigación ha aumentado, especialmente en el tratamiento que reciben en las ediciones actuales de los manuales de diseños experimentales aunque quizás en el ámbito aplicado (donde la estimación del tamaño del efecto cobra su mayor importancia) no se ha desarrollado todo lo que sería de desear como lo demuestran los estudios de potencia de los trabajos publicados. El principal propósito de este trabajo es analizar la repercusión o impacto que tienen las indicaciones de los consejos editoriales sobre los trabajos de investigación publicados respecto al cálculo e interpretación conjunta de las medidas de magnitud del efecto junto con los valores de significación estadística (AU)

Currently, there is a growing interest in the study of the sensitive and validity of the statistical conclusions of experimental design. Although most of books on experimental design stress these issues, many students on applied psychology still do not take advantage of these advances, as can be deduced by low statistical power. The goal of this article is to examine the impact of the guidelines of the editorial Board of peer reviewed respect to the computation and interpretation of the measures of effect size as well as the values of statistical significance (AU)

Prueba de aleatorización vs. distribución F cuando la escala de medida de la variable dependiente es discreta y el diseño experimental / Randomness tests versus F-distribution when the measurement scale is discrete

El objetivo de este trabajo es analizar cómo incide el número de observaciones en la validez de la conclusión estadística de los diseños experimentales -asumiendo la manipulación y asignación aleatoria- cuando la variable dependiente se mide en una escala ordinal y discreta con una distribución rectangular -los sucesos son equiprobables y finitos. Las variables dependientes que se emplean en la investigación psicológica en bastantes ocasiones no se miden con una variable continua y, en otros casos, aunque la variable sea continua, tampoco es posible asumir que sigan una distribución normal. En este trabajo se construye una distribución muestral del estadístico F para una escala ordinal discreta, comparándola con las clásicas que se calcularon asumiendo que la escala de medida de la variable dependiente es continua y normal (AU)

The aim of this research is to examine the influence of sample size on the statistical validity of experimental designs (i.e. assuming random assignment and direct manipulation) when the dependent variable is discrete and measured in an ordinal scale, which is distributed as a rectangular distribution -any point of the sample space is equally likely. The dependent variables in the psychological studies always are not continuous and, even in this case, frequently, it is difficult to guaranteed the normality assumption. In this paper we constructed a sample distribution of the F statistic for the ordinal and discrete scale, and we compare this distribution which the classical distributions which assume that the dependent variable is normally distributed (AU)

Significación estadística, importancia del efecto y replicabilidad de los datos / Statistical significance and replicability of the data

Se analiza la relación entre los conceptos de significación estadística (nivel de probabilidad, p) y de replicabilidad. El nivel de significación estadística (p. e. de 0.01) indica la probabilidad de los datos bajo el supuesto de la hipótesis nula, pero eso no quiere decir que una replicación posterior tendrá la probabilidad complementaría (en este caso, 0.99) de ser significativa. Entendida correctamente la replicabilidad tiene que ver exclusivamente con la fiabilidad y consistencia de los datos, y la única forma de comprobarla es mediante sucesivos contrastes empíricos (AU)

This paper analyses the relationship between the concepts of statistical significance (level of probability, p) and replicability. The level of statistical significance (for example, p = 0.01) indicates the probability of the data under the null hypothesis assumption, however, this does not mean that in a later replication the probability to obtain significant differences will be the complementary, 0.99. If correctly understood, replicability is exclusively related to the reliability and consistency of the data. The only way to evaluate reliability is through repeated empirical tests (AU)