Teste de hipóteses: perguntas que você sempre quis fazer, mas nunca teve coragem / Hypothesis testing: questions you have always wanted to ask, but never had the courage to

Dando continuidade aos artigos da série "Perguntas que você sempre quis fazer, mas nunca teve coragem", que tem como objetivo responder e sugerir referências para o melhor entendimento das principais dúvidas dos pesquisadores do Hospital de Clínicas de Porto Alegre sobre estatística, este segundo artigo se propõe a responder às principais dúvidas levantadas sobre Teste de Hipóteses. São discutidas questões referentes à metodologia de um teste de hipóteses na concepção clássica de Inferência Estatística, bem como tamanho de efeito, tipos de erros, valor de p e poder. Os conceitos são abordados numa linguagem acessível ao público leigo e diversas referências são sugeridas para os curiosos em relação ao tema. (AU)

Continuing the series of articles "Questions you have always wanted to ask, but never had the courage to", which aims to answer the most common questions of researchers at Hospital de Clínicas de Porto Alegre regarding statistics and to suggest references for a better understanding, this second article addresses the topic of hypothesis testing. The hypothesis testing method is discussed from a classical conception of statistical inference, including effect size, type of errors, p-value and power. The concepts are explained in plain language for lay readers and several references are suggested for those curious about the topic. (AU)

Likelihood ratio test between two groups of castor oil plant traits / Teste de razão de verossimilhança entre dois grupos de caracteres de mamoneira

ABSTRACT: The likelihood ratio test (LRT), to the independence between two sets of variables, allows to identify whether there is a dependency relationship between them. The aim of this study was to calculate the type I error and power of the LRT for determining independence between two sets of variables under multivariate normal distributions in scenarios consisting of combinations of 16 sample sizes; 40 combinations of the number of variables of the two groups; and nine degrees of correlation between the variables (for the power). The rate of type I error and power were calculate at 640 and 5,760 scenarios, respectively. A performance evaluation of the LRT was conducted by computer simulation by the Monte Carlo method, using 2,000 simulations in each scenario. When the number of variables was large (24), the TRV controlled the rate of type I errors and showed high power in sizes greater than 100 samples. For small sample sizes (25, 30 and 50), the test showed good performance because the number of variables did not exceed 12.

RESUMO: O teste de razão de verossimilhança para a independência entre dois grupos de variáveis permite-nos identificar se existe uma relação de dependência entre eles. O objetivo deste trabalho foi calcular o erro tipo I e o poder do teste de razão de verossimilhança para independência entre dois grupos de caracteres, com distribuição normal multivariada, em cenários constituídos pelas combinações de: 16 tamanhos de amostra; 40 combinações de número de caracteres dos dois grupos; e nove graus de correlação entre os caracteres (para o poder). A taxa de erro tipo I e o poder foram calculados em 640 e 5.760 cenários a taxa de erro tipo I e o poder, respectivamente. A avaliação do desempenho do teste de razão de verossimilhança foi realizada por meio de simulação computacional pelo método Monte Carlo, utilizando-se 2.000 simulações em cada um dos cenários. Quando o número de caracteres é grande (24), o teste de razão de verossimilhança controla a taxa de erro tipo I e apresenta poder elevado (próximo a 100%), em tamanhos de amostra superiores a 100. Para tamanhos amostrais pequenos (25, 30 e 50), o teste apresenta bom desempenho (erro tipo I esperado e poder elevado), desde que o número de caracteres não exceda a 12.

Normalidade de variáveis: métodos de verificação e comparação de alguns testes não-paramétricos por simulação / Normality of variables: diagnosis methods and comparison of some nonparametric tests by simulation

Introdução: os principais testes estatísticos têm como suposição a normalidade dos dados, que deve ser verificada antes da realização das análises principais. Objetivo: revisar as técnicas de verificação da normalidade dos dados e comparar alguns testes de aderência à normalidade para diferentes distribuições de origem e tamanho amostral. Metodologia: através da simulação de cinco distribuições (Normal, t-student, Qui-Quadrado, Gama e Exponencial) e seis tamanhos amostrais (10, 30, 50, 100, 500 e 1000) foram simulados 5000 amostras de cada par distribuição-tamanho amostral e realizados os testes Qui-quadrado, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, Anderson-Darling e Jarque-Bera. Resultados: os resultados obtidos mostram uma clara superioridade dos testes Shapiro-Francia e Shapiro-Wilk, com percentuais de acerto de 72,41% e 72,15%, respectivamente. Entre os piores resultados encontramos o Kolmogorov-Smirnov e Qui-Quadrado, com percentual de acerto de 44,78% e 61,58%, respectivamente. Conclusões: Para amostras pequenas recomenda-se que sejam utilizados procedimentos não paramétricos diretamente para a análise, em função da baixa performance dos testes de aderência à normalidade, dado o baixo percentual de acertos. Para amostras maiores, recomenda-se o uso dos testes Shapiro-Francia ou Shapiro-Wilk.

Introduction: The main statistical tests have the normality assumption that must be verified before performing the main analyzes. Objective: To review the techniques of testing for normality of data and compare some adherence tests for different true distributions and sample size. Methodology: Through simulation of five distributions (Normal, t-Student, Chi-Square, Gamma and Exponential) and six sample sizes (10, 30, 50, 100, 500 and 1000) were simulated 5000 samples of each pair sample size-distribution and applied the Chi-square, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, Anderson-Darling and Jarque-Bera tests. Results: The results show a clear superiority of the Shapiro-Francia and Shapiro-Wilk tests, with percentages of accuracy of 72.41% and 72.15% respectively. Among the worst results we find the Kolmogorov-Smirnov and Chi-Square, with percentage of accuracy of 44.78% and 61.58% respectively. Conclusions: For small samples it is recommended to use non-parametric procedures directly for the analyzes, due to the low performance of the tests of adherence to normality, given the low percentage of accuracy. For larger samples, we recommend the use of the Shapiro-Francia and Shapiro-Wilk tests.

Comparações múltiplas bayesianas em modelos normais homocedásticos e heterocedásticos / Bayesian multiple comparisons in homocedastic and heterocedastic normal models

Procedimentos de comparações múltiplas são utilizados para comparar médias de níveis de um fator, porém, os testes mais populares apresentam problemas de ambiguidade dos resultados e de controle do erro tipo I, além de terem seus desempenhos influenciados negativamente no caso de heterogeneidade de variâncias e não balanceamento. Objetivou-se, neste trabalho propor alternativas bayesianas para comparações múltiplas considerando os casos de homogeneidade e heterogeneidade de variâncias. A metodologia utilizada nesse trabalho foi baseada na distribuição a posteriori t multivariada. Foram geradas k cadeias de médias, utilizando o método de Monte Carlo. Foi obtida a amplitude padronizada sob H0, obtida na distribuição a posteriori das médias, contemplando a possibilidade de se analisar tanto o caso de variâncias heterogêneas como o caso de variâncias homogêneas. Os procedimentos de comparações múltiplas bayesianos foram propostos com sucesso.

Multiple comparison procedures are used to compare factor's levels means, since the most popular tests show problems related to ambiguous results and to the control of the type I error rates. Moreover, their performance is worst in heterocedastics and unbalanced cases. The objective of this work is to propose a Bayesian alternative for multiple comparisons considering the homocedastic and heterocedastic normal models. The methodology adopted in this paper was based on a posteriori multivariate t distribution. It was used k Monte Carlo chains of the mean factor to make inferences. The standardized range was obtained, under H0, from the posteriori distribution of the means, for the analysis of homocedastic and heterocedastic cases. The bayesian procedures of multiple comparisons were successfully proposed.

Robustness of asymptotic and bootstrap tests for multivariate homogeneity of covariance matrices / Robustez de testes assintóticos e de Bootstrap para homogeneidade de covariâncias em populações multivariadas

The present work emphasizes the importance of testing hypothesis on homogeneity of covariance matrices from multivariate k populations. The violation of the assumption of the homogeneity of covariance matrices affects the performance of the tests and the coverage probability of the confidence regions. This work intends to apply two tests of homogeneity of covariance and to evaluate type I error rates and power using Monte Carlo simulation in normal populations and robustness in non normal populations. Multivariate Bartlett's test (MBT) and its bootstrap version (MBTB) were used. Different configurations are tested combining sample sizes, number of variates, correlation and number of populations. Results show that the bootstrap test was considered superior to the asymptotic test and robust, since it controls the type error I rate.

O presente trabalho ressalta a importância da aplicação de testes sobre a hipótese de igualdade de matrizes de covariâncias de k populações. A violação da pressuposição da homogeneidade das covariâncias afeta diretamente a qualidade dos testes e a probabilidade de cobertura das regiões de confiança. Por essa razão, neste trabalho propõe-se aplicar dois testes de homogeneidade de covariâncias e avaliar as suas performances mediante uso de simulação Monte Carlo em populações normais e a robustez em situações não-normais avaliando-se o erro tipo I e o poder. Os testes utilizados foram: teste de Bartlett multivariado e a sua versão bootstrap. Foram feitas combinações entre os tamanhos amostrais, número de variáveis, correlação e número de populações. Os resultados obtidos permitiram concluir que o teste de bootstrap foi considerado superior aos assintótico e robusto, controlando o erro tipo I.

Desempenho de testes de normalidade multivariados avaliado por simulação Monte Carlo / Monte Carlo evaluation of the performance of multivariate normality tests

Neste trabalho, objetivou-se avaliar a performance do teste multivariado de normalidade de Shapiro-Wilk implementado no R comparando o seu desempenho com os testes de assimetria e curtose de Mardia (1970, 1974, 1975) utilizando simulação Monte Carlo. Foram mensuradas e comparadas as taxas de erro tipo I e poderes dos testes. Pode-se concluir que o teste de Shapiro-Wilk multivariado do programa R, função mshapiro.test do pacote mvnormtest, tem fraco desempenho (liberal) e não é recomendado para uso rotineiro.

This work aimed to evaluate the performance of the multivariate normality test of Shapiro-Wilk implemented in R in the library mvnormtest and to compare it with the asymmetry and kurtosis normality test proposed by Mardia (1970, 1974, 1975) using Monte Carlo simulation. The multivariate normality test of Shapiro-Wilk is not recommended for regular use.