Influência de dados censurados no cálculo da concentração média das variáveis de qualidade da água demanda química de oxigênio e fosfato / The influence of censored data on computing mean concentrations of water quality variables chemical oxygen demand and phosphate

RESUMO

Um dos problemas comumente encontrado na análise estatística de dados provenientes do monitoramento da qualidade da água envolve os chamados dados censurados. Este estudo mostra como os valores calculados das concentração médias de amostras que contenham dados censurados são influenciadas pelo tamanho da amostra, percentual de dados censurados e método de cálculo. As concentrações médias foram calculadas com os métodos de substituição e maximum likelihood estimator (MLE) para amostras de demanda química de oxigênio e fosfato. O intervalo de confiança da média foi utilizado como métrica de comparação. Os resultados revelam que as concentrações médias calculadas com o método de substituição simples se posiciona fora do intervalo de confiança. Já o método MLE calcula valores aceitáveis, porém, a eficácia do método depende de um limite de elasticidade do nível de censura e do tamanho da amostra.

ABSTRACT

One of the most common problems in statistical analysis of data from water quality monitoring programs involves the so-called censored data. This study highlights how the sample mean concentration of chemical oxygen demand and phosphate variables are influenced by the estimation method, sample size and percentage of censored data. The confidence interval was used as a metric for comparison of calculated sample mean concentrations on both simple substitution and maximum likelihood estimator (MLE) methods. The results show that sample mean concentrations calculated by simple substitution method are positioned outside the confidence interval. Otherwise, the MLE method produces acceptable values for sample mean concentration, although the magnitude is constrained by sample size and percentage of censored data. The effectiveness of the method depends on an elastic limit of censoring level and sample size.