Knowledge level of effect size statistics confidence intervals and meta-analysis in spanish academic psychologists / Grado de conocimiento sobre los tamaños del efecto, intervalos de confianza y meta-análisis en psicólogos académicos españoles

ABSTRACT

BACKGROUND: The statistical reform movement and the American Psychological Association (APA) defend the use of estimators of the effect size and its confidence intervals, as well as the interpretation of the clinical significance of the findings. METHOD: A survey was conducted in which academic psychologists were asked about their behavior in designing and carrying out their studies. The sample was composed of 472 participants (45.8% men). The mean number of years as a university professor was 13.56 years (SD= 9.27). RESULTS: The use of effect-size estimators is becoming generalized, as well as the consideration of meta-analytic studies. However, several inadequate practices still persist. A traditional model of methodological behavior based on statistical significance tests is maintained, based on the predominance of Cohen's d and the unadjusted R2/η2, which are not immune to outliers or departure from normality and the violations of statistical assumptions, and the under-reporting of confidence intervals of effect-size statistics. CONCLUSION: The paper concludes with recommendations for improving statistical practice

RESUMEN

ANTECEDENTES el movimiento de la reforma estadística y la Asociación Americana de Psicología (APA) defienden el uso de estimadores del tamaño del efecto y sus intervalos de confianza, así como la interpretación de la significación clínica de los hallazgos. MÉTODO: se realizó una encuesta a psicólogos académicos sobre su conducta en el diseño y realización de estudios. La muestra estuvo compuesta de 472 participantes (45,8% hombres). La media en años como académico fue 13,56 (DT= 9,27). RESULTADOS: el uso de estadísticos del tamaño del efecto se está generalizando, también la consideración de los estudios meta-analíticos. Sin embargo, persisten prácticas estadísticas inadecuadas. Se mantiene un modelo tradicional de comportamiento metodológico basado en las pruebas de significación estadística, predominio de la d de Cohen, y del R2/η2 no ajustado que no son inmunes a la existencia de outliers y violaciones de las asunciones y un escaso uso de los intervalos de confianza de los estadísticos del tamaño del efecto. CONCLUSIONES: se concluye con recomendaciones para la mejora de la práctica estadística