Significancia Estadística en Ciencias de la Salud: Limitaciones y Alternativas / Statistical significance in the field of health sciences: limitations and alternatives

Introducción. La prueba de significancia de la hipótesis nula (PSHN) constituye la herramienta más usada para evaluar hipótesis científicas y tomar decisiones al respecto, en especial en ciencias de la salud. Sin embargo, por décadas ha estado en el centro del debate, ya que se han identificado varios problemas conceptuales y de interpretación. Se realizó una revisión de artículos científicos que ilustran las críticas de esta controversia y su relevancia en el ámbito de la investigación en salud. Algunas alternativas para la PSHN son una adecuada interpretación del valor p, uso de intervalos de confianza, incluir el tamaño del efecto y adoptar un marco de inferencia bayesiana. En todos los casos en que se utilice PSHN, su uso debe ser claramente justificado.

Background. Null hypothesis significance testing (NSHT) constitutes the most widely applied tool for the evaluation of scientific hypotheses and decision making in health sciences. However, the method has been the centre of a heated debate where various criticisms related to conceptual and interpretational problems. A review of scientific articles that illustrate the criticisms of this controversy and its relevance in the field of health research was carried out. Some alternatives for the NSHT are an adequate interpretation of the p-value, use of confidence intervals, including the effect size and adopting a Bayesian inference framework. In all cases where NSHT is used, its use should be clearly justified.

Frequentist and Bayesian Hypothesis Testing: An Intuitive Guide for Urologists and Clinicians / Pruebas de hipótesis frecuentista y bayesiana: Una Guía intuitiva para urólogos y clínicos

Given the limitations of frequentist method for null hypothesis significance testing, different authors recommend alternatives such as Bayesian inference. A poor understanding of both statistical frameworks is common among clinicians. The present is a gentle narrative review of the frequentist and Bayesian methods intended for physicians not familiar with mathematics. The frequentist p-value is the probability of finding a value equal to or higher than that observed in a study, assuming that the null hypothesis (H0) is true. The H0 is rejected or not based on a p threshold of 0.05, and this dichotomous approach does not express the probability that the alternative hypothesis (H1) is true. The Bayesian method calculates the probability of H1 and H0 considering prior odds and the Bayes factor (Bf). Prior odds are the researcher's belief about the probability of H1, and the Bf quantifies how consistent the data is concerning H1 and H0. The Bayesian prediction is not dichotomous but is expressed in continuous scales of the Bf and of the posterior odds. The JASP software enables the performance of both frequentist and Bayesian analyses in a friendly and intuitive way, and its application is displayed at the end of the paper. In conclusion, the frequentist method expresses how consistent the data is with H0 in terms of p-values, with no consideration of the probability of H1. The Bayesian model is a more comprehensive prediction because it quantifies in continuous scales the evidence for H1 versus H0 in terms of the Bf and the

Dadas las limitaciones del método de significancia frecuentista basado en la hipótesis nula, diferentes autores recomiendan alternativas como la inferencia bayesiana. Es común entre los médicos una comprensión deficiente de ambos marcos estadísticos. Esta es una revisión narrativa amigable de los métodos frecuentista y bayesiano dirigida quienes no están familiarizados con las matemáticas. El valor de p frecuentista es la probabilidad de encontrar un valor igual o superior al observado en un estudio, asumiendo que la hipótesis nula (H0) es cierta. La H0 se rechaza o no con base en un umbral p de 0.05, y este enfoque dicotómico no expresa la probabilidad de que la hipótesis alternativa (H1) sea verdadera. El método bayesiano calcula la probabilidad de H1 y H0 considerando las probabilidades a priori y el factor de Bayes (fB). Las probabilidades a priori son la creencia del investigador sobre la probabilidad de H1, y el fB cuantifica cuán consistentes son los datos con respecto a H1 y H0. La predicción bayesiana no es dicotómica, sino que se expresa en escalas continuas del fB y de las probabilidades a posteriori. El programa JASP permite realizar análisis frecuentista y bayesiano de una forma simple e intuitiva, y su aplicación se muestra al final del documento. En conclusión, el método frecuentista expresa cuán consistentes son los datos con H0 en términos de valores p, sin considerar la probabilidad de H1. El modelo bayesiano es una predicción más completa porque cuantifica en escalas continuas la evidencia de H1 versus H0 en términos del fB y de las probabilidades a posteriori.

Problems needing special attention when hypothesis test is applied / 中华医学图书情报杂志

Whether to select one-tailed test or two-tailed test,how to establish null hypothesis and alternative hypothesis,how to improve the test efficacy were elaborated,and the common problems encountered when hypothesis was applied in scientific papers were pointed out with examples.

p < 0,05, ¿Criterio mágico para resolver cualquier problema o leyenda urbana? / p <0.05, A magic criterion to solve any problem or an urban legend? / p <0,05, Critério mágico para resolver qualquer problema ou lenda urbana?

Las Pruebas de Hipótesis son el procedimiento de análisis más conocido por los investigadores y utilizado en las revistas científicaspero, a su vez, ellas han sido fuertemente criticadas, su uso ha sido cuestionado y restringido en algunos casos por las inconsistenciasobservadas en su aplicación. Este problema se analiza, en este artículo, tomando como punto de partida los Fundamentos de laMetodología Estadística y los diferentes enfoques que históricamente se han desarrollado para abordar el problema del análisis delas Hipótesis Estadísticas. Resaltándose un punto poco conocido por algunos: el carácter aleatorio de los valores P. Se presentanlos fundamentos de las soluciones de Fisher, Neyman-Pearson y Bayesiana y a partir de ellas se identifican las inconsistenciasdel procedimiento de conducta que indica identificar un valor P, compararlo con el valor del error de tipo I –que usualmente esconsiderado como 0,05- y a partir de ahí decidir las conclusiones del análisis. Adicionalmente se identifican recomendaciones sobrecómo proceder en un problema, así como los retos a enfrentar, en lo docente y en lo metodológico, para analizar correctamente losdatos y determinar la validez de las hipótesis de interés...

Hypothesis testing is a well-known procedure for data analysiswidely used in scientific papers but, at the same time, strongly criticized and its use questioned and restricted in some cases due toinconsistencies observed from their application. This issue is analyzed in this paper on the basis of the fundamentals of the statisticalmethodology and the different approaches that have been historically developed to solve the problem of statistical hypothesis analysishighlighting a not well known point: the P value is a random variable. The fundamentals of Fisher´s, Neyman-Pearson´s and Bayesian´ssolutions are analyzed and based on them, the inconsistency of the commonly used procedure of determining a p value, compare it toa type I error value (usually 0.05) and get a conclusion is discussed and, on their basis, inconsistencies of the data analysis procedureare identified, procedure consisting in the identification of a P value, the comparison of the P-value with a type-I error value –whichis usually considered to be 0.05– and upon this the decision on the conclusions of the analysis. Additionally, recommendations on thebest way to proceed when solving a problem are presented, as well as the methodological and teaching challenges to be faced whenanalyzing correctly the data and determining the validity of the hypotheses...

Os testes de hipóteses são o método de análisemelhor conhecido por pesquisadores e utilizado em revistas científicas; mas por sua vez, têm sido fortemente criticados, seu uso temsido questionado e, em alguns casos restritos pelas inconsistências observadas na sua aplicação. Esse problema é discutido neste artigo,tendo como ponto de partida os Fundamentos da Metodologia Estatística e as diferentes abordagens que historicamente têm sidodesenvolvidas para resolver o problema da analise das Hipóteses Estatísticas. Destacando-se um ponto pouco conhecido por alguns: ocaráter aleatório do p-valor. Apresentam-se os fundamentos das soluções de Fisher, Neyman-Pearson e Bayesiana e delas são identificadasas inconsistências do procedimento de conduta que orienta identificar um p-valor para compará-lo com o valor do erro de tipo I, queé geralmente considerado como 0,05 - e, posteriormente, decidir as conclusões da análise. Além disso, se identificam recomendaçõessobre como proceder num problema, e os desafios a serem enfrentados no ensino e no metodológico, para analisar corretamente osdados e determinar a validade das hipóteses de interesse...

Diferencias entre el Nivel de Significancia alfa y el Valor P: [revisión] / Differences between alfa significance level and P value: [review]

Cuando los trabajadores de la salud o las personas con escasos conocimientos de bioestadística se involucran en investigaciones, especialmente de tipo cuantitativo, aplican técnicas estadísticas con las que pretenden analizar la información obtenida como resultado de un proceso de recolección de datos en cuya plantación no se hizo previsión del tipo de análisis que se podría necesitar para que los resultados fueran consecuentes con las hipótesis que desde un principio se ligan con todo proceso de indagación empírica, sistemática, controlada y reproducible -investigación- que busca resolver un problema especifico. Por ello, cuando se trata de interpretar los resultados de un estudio se pueden presentar errores respecto a la validez de los resultados obtenidos, especialmente cuando de manera empírica se quiere establecer el nivel de significación y, además, aclarar lo relacionado con el error que se produce cuando se acepta como válido un hallazgo que se origina por no haber formulado la hipótesis de trabajo (Error de tipo I).

Usually health professionals and people with little knowledge of statistics when involved with quantitative research they are faced to make statistical techniques to fulfill the data analysis resulting from a previous data collection. Generally they state hypothesis and later the information analysis can support the evidence in favor or against such hypothesis. In that point commonly they are faced to confusion when they try to interpret p value and type I error. The concept of p value and significance level will be approached in this paper and the difference among them will be cleared.

Notes on the Interpretation of the Results of Statistical Tests in the Journal of the Society / 日本東洋医学雑誌

Statistical tests are commonly reported in papers published in the journal. The interpretation of the statistical results, however, is not necessarily proper, which may invalidate the conclusions. This paper describes the issues regarding the interpretation of the results of statistical tests in the journal, and refers to the proper use of statistical test and estimation.