Falacias sobre el valor p compartidas por profesores y estudiantes universitarios / Fallacies about p-Value Shared by Professors and University Students

Resumen La "Práctica Basada en la Evidencia" requiere a los profesionales valorar de forma crítica los resultados de las investigaciones psicológicas. Sin embargo, las interpretaciones incorrectas de los valores p de probabilidad son abundantes y repetitivas. Estas interpretaciones incorrectas pueden afectar las decisiones profesionales y poner en riesgo la calidad de las intervenciones y la acumulación de un conocimiento científico válido. Por lo tanto, identificar el tipo de falacia que subyace a las decisiones estadísticas es fundamental para abordar y planificar estrategias de educación estadística dirigidas a intervenir sobre las interpretaciones incorrectas. En consecuencia, el objetivo de este estudio es analizar la interpretación del valor p en estudiantes y profesores universitarios de psicología. La muestra estuvo formada por 161 participantes (43 profesores y 118 estudiantes). La antigüedad media como profesor fue de 16.7 años (DE = 10.07). La edad media de los estudiantes fue de 21.59 (DE = 1.3). Los hallazgos sugieren que los estudiantes y profesores universitarios no conocen la interpretación correcta del valor p. La falacia de la probabilidad inversa presentó mayores problemas de comprensión. Además, se confundieron la significación estadística y la significación práctica o clínica. Estos resultados destacan la necesidad de la educación estadística y reeducación estadística.

Abstract The "Evidence Based Practice" requires professionals to critically assess the results of psychological research. However, incorrect interpretations of p values of probability are abundant and repetitive. These misconceptions may affect professional decisions and compromise the quality of interventions and the accumulation of a valid scientific knowledge. Therefore, identifying the types of fallacies that underlying statistical decisions is fundamental for approaching and planning statistical education strategies designed to intervene in incorrect interpretations. Consequently, the aim of this study is to analyze the interpretation of p value among university students of psychology and academic psychologists. The sample was composed of 161 participants (43 academics and 118 students). The mean number of years as academic was 16.7 (SD = 10.07). The mean age of university students was 21.59 years (SD = 1.3). The findings suggest that college students and academics do not know the correct interpretation of p values. The inverse probability fallacy presented major problems of comprehension. In addition, the participants confused statistical significance and practical significance or clinical or the findings. There is a need for statistical education and statistical re-education.

Las pruebas de significación estadística: seis décadas de fuegos artificiales / Tests of statistical significance: six decades of fireworks / As provas de significação estatística: seis décadas de fogos artificiais

RESUMEN Tras varios decenios de críticas a las técnicas inferenciales basadas en las pruebas de significación estadística orientadas al rechazo de la llamada "hipótesis nula" y, a pesar del notable consenso alcanzado entre los estadísticos profesionales, este recurso se mantiene vigente tanto en las publicaciones biomédicas, entre ellas las de Salud Pública, como en cursos introductorios de estadística. Entre las muchas deficiencias señaladas por los más prominentes especialistas se destacan tres por ser las más obvias y fáciles de comprender: que no contribuyen a cumplimentar la encomienda de la ciencia, que se conocen de antemano las respuestas a las preguntas que se encaran por su conducto y que los resultados que producen dependen de un elemento ajeno a la realidad estudiada: el tamaño muestral. El artículo discute en detalle tales limitaciones, ilustra su perniciosa presencia en la investigación actual y valora las razones para la subsistencia de la sinrazón en esta materia.

ABSTRACT After decades of criticism against inferential techniques based on statistical significance tests, which mainly reject the so-called "null hypothesis", and in spite of the remarkable consensus among professional statisticians, this resource remains prevalent in both biomedical publications (including public health journals) and introductory statistics courses. Among the many problems identified by the most prominent specialists, three of them are the most obvious and easy to understand: that these tests do not contribute to the actual enterprise of science, that the answers to the questions that are addressed are known in advance and that their results depend critically on an element that is external to the domain that is being studied: sample size. This paper discusses in detail these limitations, illustrates their pernicious presence in current research and evaluates the reasons for the survival of the senselessness in this matter.

RESUMO Trás vários decênios de críticas as técnicas inferenciais baseadas nas provas de significação estatística orientadas ao rejeito da chamada "hipótese nula" e, embora do notável consenso alcançado entre os estatísticos profissionais, este recurso se mantem vigente tanto nas publicações biomédicas, entre elas as de Saúde Pública, como nos cursos introdutórios de estatística. Entre as muitas deficiências assinaladas pelos mais proeminentes especialistas se destacam três por ser as mais obvias e fácies de compreender: que não contribuem a complementar a encomenda da ciência, que se conhecem de antemão as respostas ás perguntas que se encaram pelo seu conduto y que os resultados que produzem depende dum elemento alheio á realidade estudada: o tamanho amostral. O artigo discute em detalhe tais limitações, ilustra a sua perniciosa presença na investigação atual e valora as razões para a subsistência da sem-razão em esta matéria.

p < 0,05, ¿Criterio mágico para resolver cualquier problema o leyenda urbana? / p <0.05, A magic criterion to solve any problem or an urban legend? / p <0,05, Critério mágico para resolver qualquer problema ou lenda urbana?

Las Pruebas de Hipótesis son el procedimiento de análisis más conocido por los investigadores y utilizado en las revistas científicaspero, a su vez, ellas han sido fuertemente criticadas, su uso ha sido cuestionado y restringido en algunos casos por las inconsistenciasobservadas en su aplicación. Este problema se analiza, en este artículo, tomando como punto de partida los Fundamentos de laMetodología Estadística y los diferentes enfoques que históricamente se han desarrollado para abordar el problema del análisis delas Hipótesis Estadísticas. Resaltándose un punto poco conocido por algunos: el carácter aleatorio de los valores P. Se presentanlos fundamentos de las soluciones de Fisher, Neyman-Pearson y Bayesiana y a partir de ellas se identifican las inconsistenciasdel procedimiento de conducta que indica identificar un valor P, compararlo con el valor del error de tipo I –que usualmente esconsiderado como 0,05- y a partir de ahí decidir las conclusiones del análisis. Adicionalmente se identifican recomendaciones sobrecómo proceder en un problema, así como los retos a enfrentar, en lo docente y en lo metodológico, para analizar correctamente losdatos y determinar la validez de las hipótesis de interés...

Hypothesis testing is a well-known procedure for data analysiswidely used in scientific papers but, at the same time, strongly criticized and its use questioned and restricted in some cases due toinconsistencies observed from their application. This issue is analyzed in this paper on the basis of the fundamentals of the statisticalmethodology and the different approaches that have been historically developed to solve the problem of statistical hypothesis analysishighlighting a not well known point: the P value is a random variable. The fundamentals of Fisher´s, Neyman-Pearson´s and Bayesian´ssolutions are analyzed and based on them, the inconsistency of the commonly used procedure of determining a p value, compare it toa type I error value (usually 0.05) and get a conclusion is discussed and, on their basis, inconsistencies of the data analysis procedureare identified, procedure consisting in the identification of a P value, the comparison of the P-value with a type-I error value –whichis usually considered to be 0.05– and upon this the decision on the conclusions of the analysis. Additionally, recommendations on thebest way to proceed when solving a problem are presented, as well as the methodological and teaching challenges to be faced whenanalyzing correctly the data and determining the validity of the hypotheses...

Os testes de hipóteses são o método de análisemelhor conhecido por pesquisadores e utilizado em revistas científicas; mas por sua vez, têm sido fortemente criticados, seu uso temsido questionado e, em alguns casos restritos pelas inconsistências observadas na sua aplicação. Esse problema é discutido neste artigo,tendo como ponto de partida os Fundamentos da Metodologia Estatística e as diferentes abordagens que historicamente têm sidodesenvolvidas para resolver o problema da analise das Hipóteses Estatísticas. Destacando-se um ponto pouco conhecido por alguns: ocaráter aleatório do p-valor. Apresentam-se os fundamentos das soluções de Fisher, Neyman-Pearson e Bayesiana e delas são identificadasas inconsistências do procedimento de conduta que orienta identificar um p-valor para compará-lo com o valor do erro de tipo I, queé geralmente considerado como 0,05 - e, posteriormente, decidir as conclusões da análise. Além disso, se identificam recomendaçõessobre como proceder num problema, e os desafios a serem enfrentados no ensino e no metodológico, para analisar corretamente osdados e determinar a validade das hipóteses de interesse...

Prueba de hipótesis frente a intervalos de confianza / Hypothesis testing versus confidence intervals

Los valores p, generalmente, 0,05 ó 0,01, que en la prueba de hipótesis estadística se usan para diferenciar resultados estadísticamente significativos de los no significativos, se considera de poco valor informativoy práctico cuando el investigador biomédico y epidemiólogo están interesados en conocer la magnitud de un resultado de un estudio. Este artículo muestra la ventaja de los intervalos al comparar la prueba de hipótesis con la estimación de intervalos de confianza para inferir la diferencia entre dos proporciones muestrales.

The p values, generally 0.05 or 0.01, that in the statistical hypothesis test are used to distinguish the significant and non-significant statistical results, it is considered of few information and few practical value, when the biomedical researcher and epidemiologist are interesting in knowing the magnitude of a result of study. This communication shows the advantage of the intervals to compare the hypothesis test with the interview confidence for inferring the difference between two sample proportions.