Assessing the reliability of ChatGPT: a content analysis of self-generated and self-answered questions on clear aligners, TADs and digital imaging

ABSTRACT

ABSTRACT Introduction: Artificial Intelligence (AI) is a tool that is already part of our reality, and this is an opportunity to understand how it can be useful in interacting with patients and providing valuable information about orthodontics. Objective: This study evaluated the accuracy of ChatGPT in providing accurate and quality information to answer questions on Clear aligners, Temporary anchorage devices and Digital imaging in orthodontics. Methods: forty-five questions and answers were generated by the ChatGPT 4.0, and analyzed separately by five orthodontists. The evaluators independently rated the quality of information provided on a Likert scale, in which higher scores indicated greater quality of information (1 = very poor; 2 = poor; 3 = acceptable; 4 = good; 5 = very good). The Kruskal-Wallis H test (p< 0.05) and post-hoc pairwise comparisons with the Bonferroni correction were performed. Results: From the 225 evaluations of the five different evaluators, 11 (4.9%) were considered as very poor, 4 (1.8%) as poor, and 15 (6.7%) as acceptable. The majority were considered as good [34 (15,1%)] and very good [161 (71.6%)]. Regarding evaluators' scores, a slight agreement was perceived, with Fleiss's Kappa equal to 0.004. Conclusions: ChatGPT has proven effective in providing quality answers related to clear aligners, temporary anchorage devices, and digital imaging within the context of interest of orthodontics.

RESUMO

RESUMO Introdução: A Inteligência Artificial (IA) é uma ferramenta que já faz parte de nossa realidade, e esta é uma oportunidade de entendermos como ela pode ser útil na interação com os pacientes e no fornecimento de informações valiosas sobre Ortodontia. Objetivo: O objetivo deste estudo foi avaliar a precisão do ChatGPT em responder a perguntas sobre Alinhadores transparentes, Dispositivos de ancoragem temporária, e Imagens digitais em Ortodontia. Métodos: 45 perguntas e respostas foram geradas pelo ChatGPT 4.0 e analisadas separadamente por cinco ortodontistas que, de forma independente, avaliaram a qualidade das informações fornecidas, usando uma escala de Likert, na qual pontuações mais altas indicavam uma maior qualidade das informações (1 = muito ruim; 2 = ruim; 3 = aceitável; 4 = bom; 5 = muito bom). Aplicou-se o teste H de Kruskal-Wallis (p < 0,05) e comparações pareadas post-hoc com correção de Bonferroni. Resultados: Das 225 avaliações dos cinco avaliadores diferentes, 11 (4,9%) foram consideradas como muito ruins, 4 (1,8%) como ruins, e 15 (6,7%) como aceitáveis. A maioria foi considerada boa [34 (15,1%)] ou muito boa [161 (71,6%)]. Com relação às pontuações dos avaliadores, percebeu-se uma leve concordância, com o Kappa de Fleiss igual a 0,004. Conclusões: O ChatGPT mostrou eficácia em fornecer respostas de qualidade para questões relacionadas a Alinhadores transparentes, Dispositivos de ancoragem temporária e Imagens digitais.