Methods to estimate the variance of some indices of the signal detection theory: a simulation study / Métodos para estimar la varianza de algunos índices de la teoría de la detección de señales: un estudio de simulación

ABSTRACT

A simulation study is presented to evaluate and compare three methods to estimate the variance of the estimates of the parameters δ and C of the signal detection theory (SDT). Several methods have been proposed to calculate the variance of their estimators, d' and c. Those methods have been mostly assessed by comparing the empirical means and variances in simulation studies with the calculations done with the parametric values of the probabilities of giving a yes response on a signal trial (hits) and on a noise trial (false alarms). In practical contexts the variance must be estimated from estimations of those probabilities (empirical rates of hits and false alarms). The three methods to estimate the variance compared in the present simulation study are based in the binomial distribution of Miller, the normal approach of Gourevitch and Galanter and the maximum likelihood method proposed by Dorfman and Alf. They are compared in terms of relative bias (accuracy) and the mean squared error (precision). The results show that the last two methods behave indistinguishably for practical purposes and provide severe over-estimation errors in a range of situations that while not the most common are perfectly credible in several practical contexts. By contrast, the method of Miller provides better results (or at least similar) in all conditions studied. It is the recommended method to obtain estimates of the variances of these statistics for practical purposes (AU)

RESUMEN

Se presenta un estudio de simulación para evaluar y comparar tres métodos de estimación de la varianza de las estimaciones de los parámetros δ y C de la teoría de la detección de señales (TDS). Se han propuesto varios métodos para calcular la varianza de sus estimadores, d’ y c. Dichos métodos han sido evaluados sobre todo comparando las medias y varianzas empíricas en estudios de simulación en los que los cálculos se han hecho con los valores paramétricos de las probabilidades de emitir una respuesta ‘si’ en un ensayo-señal (aciertos) y en un ensayo-ruido (falsas alarmas). En contextos prácticos la varianza tiene que ser estimada a partir de las estimaciones de esas probabilidades (tasas empíricas de aciertos y falsas alarmas). Los tres métodos para estimar la varianza comparados en la presente simulación son los basados en la distribución binomial de Miller, en la aproximación a la normal de Gourevitch y Galanter y el de máxima verosimilitud propuesto por Dorfman y Alf. Estos se comparan en términos de su sesgo relativo (exactitud) y en el error cuadrático medio (precisión). Los resultados muestran que los dos últimos métodos se comportan de forma indistinguible a efectos prácticos y producen importantes errores de sobre-estimación en un abanico de situaciones que sin ser las más comunes son bastante realistas en diversos contextos prácticos. Por el contrario, el método de Miller proporciona mejores resultados (o al menos similares) en todas las condiciones estudiadas. Es el método recomendado para obtener estimaciones de las varianzas de estos estadísticos en situaciones aplicadas (AU)