RESUMO
OBJECTIVES: To develop and test the performance of computerized ultrasound image analysis using deep neural networks (DNNs) in discriminating between benign and malignant ovarian tumors and to compare its diagnostic accuracy with that of subjective assessment (SA) by an ultrasound expert. METHODS: We included 3077 (grayscale, n = 1927; power Doppler, n = 1150) ultrasound images from 758 women with ovarian tumors, who were classified prospectively by expert ultrasound examiners according to IOTA (International Ovarian Tumor Analysis) terms and definitions. Histological outcome from surgery (n = 634) or long-term (≥ 3 years) follow-up (n = 124) served as the gold standard. The dataset was split into a training set (n = 508; 314 benign and 194 malignant), a validation set (n = 100; 60 benign and 40 malignant) and a test set (n = 150; 75 benign and 75 malignant). We used transfer learning on three pre-trained DNNs: VGG16, ResNet50 and MobileNet. Each model was trained, and the outputs calibrated, using temperature scaling. An ensemble of the three models was then used to estimate the probability of malignancy based on all images from a given case. The DNN ensemble classified the tumors as benign or malignant (Ovry-Dx1 model); or as benign, inconclusive or malignant (Ovry-Dx2 model). The diagnostic performance of the DNN models, in terms of sensitivity and specificity, was compared to that of SA for classifying ovarian tumors in the test set. RESULTS: At a sensitivity of 96.0%, Ovry-Dx1 had a specificity similar to that of SA (86.7% vs 88.0%; P = 1.0). Ovry-Dx2 had a sensitivity of 97.1% and a specificity of 93.7%, when designating 12.7% of the lesions as inconclusive. By complimenting Ovry-Dx2 with SA in inconclusive cases, the overall sensitivity (96.0%) and specificity (89.3%) were not significantly different from using SA in all cases (P = 1.0). CONCLUSION: Ultrasound image analysis using DNNs can predict ovarian malignancy with a diagnostic accuracy comparable to that of human expert examiners, indicating that these models may have a role in the triage of women with an ovarian tumor. © 2020 The Authors. Ultrasound in Obstetrics & Gynecology published by John Wiley & Sons Ltd on behalf of International Society of Ultrasound in Obstetrics and Gynecology.
Análisis de imágenes ecográficas utilizando redes neurales profundas para distinguir entre tumores ováricos benignos y malignos: comparación con la evaluación subjetiva de expertos OBJETIVOS: Desarrollar y probar el desempeño del análisis de imágenes ecográficas computarizadas utilizando redes neurales profundas (RNP) para distinguir entre tumores ováricos benignos y malignos y comparar su precisión en el diagnóstico con la de la evaluación subjetiva (ES) por especialistas expertos en ecografía. MÉTODOS: Se incluyeron 3077 (escala de grises, n=1927; power Doppler, n=1150) imágenes de ultrasonido de 758 mujeres con tumores ováricos, que fueron clasificadas prospectivamente por examinadores especialistas en ecografía, de acuerdo con los términos y definiciones de la IOTA (Análisis Internacional de Tumores Ováricos). El resultado histológico de la cirugía (n=634) o el seguimiento a largo plazo (≥3 años) (n=124) sirvieron como el estándar de referencia. El conjunto de datos se dividió en un subconjunto de formación (n=508; 314 benignos y 194 malignos), un subconjunto de validación (n=100; 60 benignos y 40 malignos) y un subconjunto de pruebas (n=150; 75 benignos y 75 malignos). Se utilizó el aprendizaje de transferencia en tres RNP pre-formadas: VGG16, ResNet50 y MobileNet. Cada modelo fue formado primero mediante escalas de temperatura, al igual que los la calibración de los outputs. A continuación, se utilizó una combinación de los tres modelos para estimar la probabilidad de que el tumor fuera maligno con base en la totalidad de las imágenes de un caso determinado. La combinación de RNP permitió clasificar los tumores como benignos o malignos (modelo Ovry-Dx1); o como benignos, no concluyentes o malignos (modelo Ovry-Dx2). Se comparó el desempeño para el diagnóstico de los modelos de RNP, en términos de sensibilidad y de especificidad, con el de la ES para la clasificación de los tumores ováricos en el subconjunto de formación. RESULTADOS: Con una sensibilidad del 96,0%, Ovry-Dx1 tuvo una especificidad similar a la de la ES (86,7% frente a 88,0%; P=1,0). Ovry-Dx2 tuvo una sensibilidad del 97,1% y una especificidad del 93,7%, y designaron un 12,7% de las lesiones como no concluyentes. Cuando se complementó Ovry-Dx2 con ES en los casos no concluyentes, la sensibilidad general (96,0%) y la especificidad (89,3%) no fueron significativamente diferentes de la utilización de ES en todos los casos (P=1,0). CONCLUSIÓN: El análisis de imágenes ecográficas mediante RNP puede predecir el cáncer de ovario con una precisión en el diagnóstico igual a la de los especialistas expertos humanos, lo que indica que estos modelos pueden jugar un papel en el triaje de mujeres con un tumor de ovario. © 2020 The Authors. Ultrasound in Obstetrics & Gynecology published by John Wiley & Sons Ltd on behalf of International Society of Ultrasound in Obstetrics and Gynecology.
