Comparing discrete distributions when the sample space is smal / Comparando las distribuciones discretas cuando el espacio muestral es pequeño

ABSTRACT

This paper describes two new methods for comparing two independent, discrete distributions, when the sample space is small, using an extension of the Storer-Kim method for comparing independent binomials. These methods are relevant, for example, when comparing groups based on a Likert scale, which was the motivation for the paper. In essence, the goal is to test the hypothesis that the cell probabilities associated with two independent multinomial distributions are equal. Both a global test and a multiple comparison procedure are proposed. The small-sample properties of both methods are compared to four other techniques via simulations Cliff's generalization of the Wilcoxon-Mann-Whitney test that effectively deals with heteroscedasticity and tied values, Yuen's test based on trimmed means, Welch's test and Student's t test. For the simulations, data were generated from beta-binomial distributions. Both symmetric and skewed distributions were used. The sample space consisted of the integers 0(1)4 or 0(1)10. For the global test that is proposed, when testing at the 0.05 level, simulation estimates of the actual Type I error probability ranged between 0.043 and 0.059. For the new multiple comparison procedure, the estimated family wise error rate ranged between 0.031 and 0.054 for the sample space 0(1)4. But for 0(1)10, the estimates dropped as low as 0.016 in some situations. Given the goal of comparing means, Student's t is well known to have practical problems when distributions differ. Similar problems are found here among the situations considered. No single method dominates in terms of power, as would be expected, because different methods are sensitive to different features of the distributions being compared. But in general, one of the new methods tends to have relatively good power based on both simulations and experience with data from actual studies. If, however, there is explicit interest in comparing means, rather than comparing the cell probabilities, Welch's test was found to perform well. The new methods are illustrated using data from the Well-Elderly Study where the goal is to compare groups in terms of depression and the strategies used for dealing with stress.

RESUMEN

En este artículo se describen dos nuevos métodos para comparar dos distribuciones discretas independientes, cuando el espacio muestral es pequeño, usando una extensión del método Storer-Kim para comparar binomios independientes. Estos métodos son relevantes, por ejemplo, cuando se comparan grupos basados en una escala Likert, la cual motivó la escritura del artículo. En esencia, el objetivo es evaluar la hipótesis de que las probabilidades de células asociadas con dos distribuciones multinominales independientes son iguales. Se propone una prueba global y un procedimiento de comparación múltiple. Las propiedades de las muestras pequeñas de ambos métodos fueron comparadas con otras cuatro técnicas a través de simulaciones generalización de Cliff de la prueba de Wilcoxon-Mann-Whitney que trata eficazmente con heteroscedasticidad y valores vinculados, la prueba de Yuen basada en medias truncadas, la prueba de Welch y la prueba t de Student. Para las simulaciones, los datos se generaron a partir de distribuciones beta-binomiales. Se utilizaron distribuciones tanto simétricas como asimétricas. El espacio muestral consistió en los enteros 0(1)4 o 0(1)10. Para la prueba global que se propone, cuando se evaluó al nivel de 0.05, la simulación estimó la probabilidad del error tipo I osciló entre 0.043 y 0.059. Para el nuevo procedimiento de comparación múltiple, la tasa de error estimada oscilaba entre 0.031 y 0.054 para el espacio de la muestra 0(1)4. Pero para 0(1)10, las estimaciones fueron tan bajas como 0.016 en algunas situaciones. Teniendo en cuenta el objetivo de la comparación de medias, la prueba t de Student es bien conocida por tener problemas prácticos cuando distribuciones difieren. Problemas similares se encuentraron entre las situaciones consideradas. No existe un único método que domina en términos de poder, como sería de esperar, debido a que los diferentes métodos son sensibles a las diferentes características de las distribuciones que son comparadas. Pero en general, uno de los nuevos métodos tiende a tener relativamente buen poder basado tanto en simulaciones y la experiencia con los datos de estudios reales. Si, sin embargo, existe un interés explícito en comparar medias, en lugar de comparar las probabilidades de celda, la prueba de Welch se encuentra que tiene un buen desempeño. Los nuevos métodos se ilustran usando datos del estudio Well-Elderly donde el objetivo es comparar los grupos en cuanto a la depresión y las estrategias utilizadas para hacer frente al estrés.