Artículo de Revisión / The uncertainties of statistical "significance"

Statistical inference was introduced by Fisher and Neyman-Pearson more than 90 years ago to define the probability that the difference in results between several groups is due to randomness or is a real, "significant" difference. The usual procedure is to test the probability (P) against the null hypothesis that there is no real difference except because of the inevitable sampling variability. If this probability is high we accept the null hypothesis and infer that there is no real difference, but if P is low (P < 0.05) we reject the null hypothesis and infer that there is, a "significant" difference. However, a large amount of discoveries using this method are not reproducible. Statisticians have defined the deficiencies of the method and warned the researchers that P is a very unreliable measure. Two uncertainties of the "significance" concept are described in this review: a) The inefficacy of a P value to discard the null hypothesis; b) The low probability to reproduce a P value after an exact replication of the experiment. Due to the discredit of "significance" the American Statistical Association recently stated that P values do not provide a good measure of evidence for a hypothesis. Statisticians recommend to never use the word "significant" because it is misleading. Instead, the exact P value should be stated along with the effect size and confidence intervals. Nothing greater than P = 0.001 should be considered as a demonstration that something was discovered. Currently, several alternatives are being studied to replace the classical concepts.

Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery / Análise crítica do uso de testes estatísticos em publicações Brasileiras relacionadas à cirurgia do aparelho digestivo

OBJECTIVE: To evaluate the evolution of scientific papers published on digestive tract surgery in Brazilian journals in 20 years and examine whether the level of evidence in the studies has improved, as well as the incorporation of statistical procedures and their proper application. METHODS: We selected all original articles related to digestive tract surgery published in the years of 1987 and 2007 in 4 leading Brazilian surgical journals. Studies were divided according to the level of evidence (I: prospective, controlled and randomized, II: prospective without control or randomization and III: retrospective) and compared them to assess whether there was an improvement in the level of evidence between these two years surveyed. We also assessed whether there was increased use of analytical statistics and correct application of statistical procedures. RESULTS: Comparing the articles published in 1987 with those of 2007, we observed no improvement with respect to the level of evidence, with more than half of the articles published being case series and retrospective studies (56.14 percent). There has been a significant increase in the use of analytical statistics (70.4 percent in 2007 vs. 40 percent in 1987) in the 20 years, however 16.7 percent of the studies published in 2007 did not correctly apply or adequately describe the statistical analyses used. CONCLUSION: In this study, we observed no improvement in the level of evidence presented in publications on digestive tract surgery in the last 20 years. There was an increased use of statistical analysis, but there is a need to correctly apply statistical procedures.

OBJETIVO: Avaliar a evolução dos trabalhos publicados sobre cirurgia do aparelho digestivo em revistas brasileiras nos últimos 20 anos, observando se houve melhora no nível de evidência destes trabalhos além da incorporação de procedimentos estatísticos e a sua correta aplicação. MÉTODOS: Selecionamos todos os artigos originais relacionados à cirurgia do aparelho digestivo publicados nos anos de 1987 e 2007 em quatro revistas cirúrgicas nacionais de renome. Os estudos foram divididos de acordo com o nível de evidência (I: prospectivo, randomizado e controlado, II: prospectivo sem controle ou randomização e III: retrospectivo) e comparados para avaliar se houve melhora do nível de evidência entre os dois anos avaliados. Também observamos se ocorreu aumento no uso de estatística analítica e a correta aplicação dos procedimentos estatísticos. RESULTADOS: Comparando os artigos publicados em 1987 com os de 2007, não observamos melhora no nível de evidência, com mais de metade dos artigos publicados tratando de séries de casos e estudos retrospectivos (56,14 por cento). Houve um aumento significante na utilização de estatística analítica (70,4 por cento em 2007 vs. 40 por cento em 1987) nos últimos 20 anos, mas 16,7 por cento dos estudos publicados em 2007 não aplicavam corretamente ou descreviam adequadamente a análise estatística utilizada. CONCLUSÃO: Neste estudo observamos que não houve melhora no nível de evidência das publicações brasileiras relacionadas à cirurgia do aparelho digestivo nos últimos 20 anos. Houve aumento do uso de estatística analítica, porém existe a necessidade de se observar a correta aplicação dos procedimentos estatísticos.

Frequência do uso adequado dos testes estatísticos nos artigos originais publicados na Revista Brasileira de Anestesiologia entre janeiro de 2008 e dezembro de 2009 / Frequency of the adequate use of statistical tests of hypothesis in original articles published in the Revista Brasileira de Anestesiologia between January 2008 and December 2009 / Frecuencia del uso adecuado de los test estadísticos en los artículos originales publicados en la Revista Brasileña de Anestesiología entre enero de 2008 y diciembre de 2009

JUSTIFICATIVA E OBJETIVOS: A realização de uma análise estatística é necessária para uma avaliação adequada do artigo original por parte do leitor, possibilitando-lhe melhor visualização e compreensão dos resultados. O objetivo desta pesquisa foi determinar a frequência do uso adequado dos testes estatísticos de hipóteses presentes nos artigos originais publicados na Revista Brasileira de Anestesiologia no período entre janeiro de 2008 e dezembro de 2009. MÉTODOS: Foram selecionados artigos originais publicados na Revista Brasileira de Anestesiologia entre janeiro de 2008 a dezembro de 2009. O uso dos testes estatísticos foi avaliado como apropriado quando a seleção dos testes foi adequada para variáveis contínuas e categóricas e para testes paramétricos e não paramétricos; houve descrição do fator de correção quando se relatou o uso de múltiplas comparações; foi mencionado o uso específico de um teste estatístico para a análise de uma variável. RESULTADOS: Foram selecionados 76 artigos originais, com um total de 179 testes estatísticos de hipóteses. A frequência dos testes estatísticos mais utilizados foi: 20,11 por cento para o qui-quadrado, 19,55 por cento para o teste t de student, 10,05 por cento para o teste de ANOVA e 9,49 por cento para o teste exato de Fisher. A frequência de uso adequado dos testes estatísticos de hipóteses foi de 56,42 por cento (IC 95 por cento 49,16 por cento a 63,68 por cento), de uso inadequado 13,41 por cento (IC 95 por cento 8,42 por cento a 18,40 por cento), ocorrendo resultado inconclusivo em 30,16 por cento (IC 95 por cento 23,44 por cento a 36,88 por cento). CONCLUSÕES: A frequência do uso adequado dos testes estatísticos utilizados nos artigos originais publicados na Revista Brasileira de Anestesiologia entre janeiro de 2008 e dezembro de 2009 foi de 56,42 por cento.

BACKGROUND AND OBJECTIVES: Statistical analysis is necessary for adequate evaluation of the original article by the reader allowing him/her to better visualize and comprehend the results. The objective of the present study was to determine the frequency of the adequate use of statistical tests in original articles published in the Revista Brasileira de Anestesiologia from January 2008 to December 2009. METHODS: Original articles published in the Revista Brasileira de Anestesiologia between January 2008 and December 2009 were selected. The use of statistical tests was deemed appropriate when the selection of the tests was adequate for continuous and categorical variables and for parametric and non-parametric tests, the correction factor was described when the use of multiple comparisons was reported, and the specific use of a statistical test for analysis of one variable was mentioned. RESULTS: Seventy-six original articles from a total of 179 statistical tests were selected. The frequency of the statistical tests used more often was: Chi-square 20.11 percent, Student t test 19.55 percent, ANOVA 10.05 percent, and Fisher exact test 9.49 percent. The frequency of the adequate use of statistical tests was 56.42 percent (95 percent CI 49.16 percent to 63.68 percent), erroneous use in 13.41 percent (95 percent CI 8.42 percent to 18.40 percent), and an inconclusive result in 30.16 percent (95 percent CI 23.44 percent to 36.88 percent). CONCLUSIONS: The frequency of inadequate use of statistical tests in the articles published by the Revista Brasileira de Anestesiologia between January 2008 and December 2009 was 56.42 percent.

JUSTIFICATIVA Y OBJETIVOS: La realización de un análisis estadístico se hace necesario para una evaluación pertinente del artículo original por parte del lector, ayudándolo a obtener una mejor visualización y comprensión de los resultados. El objetivo de esta investigación fue determinar la frecuencia del uso adecuado de los test estadísticos de hipótesis presentes en los artículos originales publicados en la Revista Brasileña de Anestesiología, entre enero de 2008 y diciembre de 2009. MÉTODOS: Se seleccionaron artículos originales publicados en la Revista Brasileña de Anestesiología entre enero de 2008 a diciembre de 2009. El uso de los test estadísticos se evaluó como apropiado cuando: la selección de los test fue satisfactoria para las variables continuas y categóricas y para el test paramétrico y no paramétrico; hubo una descripción del factor de corrección cuando se relató el uso de múltiples comparaciones; fue mencionado el uso específico de un test estadístico para el análisis de una variable. RESULTADOS: Se seleccionaron 76 artículos originales, con un total de 179 test estadísticos de hipótesis. La frecuencia de los test estadísticos más utilizados fue: 20,11 por ciento para el Chi-Cuadrado, 19,55 por ciento, para el test t de Student, 10,05 por ciento para el test de ANOVA y 9,49 por ciento para el test exacto de Fisher. La frecuencia de uso adecuado de los test estadísticos de hipótesis fue de un 56,42 por ciento (IC 95 por ciento 49,16 por ciento a 63,68 por ciento), de uso inadecuado, 13,41 por ciento (IC 95 por ciento 8,42 por ciento a 18,40 por ciento), con un resultado sin conclusiones en un 30,16 por ciento (IC 95 por ciento 23,44 por ciento a 36,88 por ciento). CONCLUSIONES: La frecuencia del uso adecuado de los test estadísticos utilizados en los artículos originales publicados en la Revista Brasileña de Anestesiología entre enero de 2008 y diciembre de 2009, fue de un 56,42 por ciento.