Uso de aplicativo de inteligência artificial como fonte de informação para resolução de provas de Odontologia / Use of an artificial intelligence application as a source of information for solving Dentistry exams

RESUMO

Introdução: O ChatGPT® é uma ferramenta pública desenvolvida pela OpenAI que utiliza a tecnologia do modelo de linguagem GPT. Este chatbot é capaz de atender a variadas solicitações de texto. Objetivo: avaliar se o ChatGPT® é capaz de ser a única fonte de informação para resolução de provas de Odontologia. Material e métodos: consiste em um estudo transversal quantitativo analítico. Para a coleta de dados, foi elaborada uma prova fictícia constituída por questões do ENADE e de outros concursos públicos. Os participantes responderam a prova em dois momentos T1, sem o ChatGPT® e, após 15 dias (T2), utilizando-o. A amostra foi de 30 discentes de graduação em Odontologia, divididos igualmente entre 3 grupos 1º ao 4º semestre, 5º ao 6º semestre e 7º ao 10º semestre. Para análise de dados foram aplicadas análises estatísticas descritiva e inferencial, por meio do software SPSS, com os testes de Wilcoxon e de McNemar. Resultados: revelaram uma eficácia notável do ChatGPT® na resolução de questões discursivas, com 83,3% de taxa de acerto, enquanto os discentes deram mais respostas incorretas ou incompletas. Porém, foram observadas limitações da base de dados do ChatGPT® quanto às questões objetivas. É crucial ressaltar que, apesar de resultados promissores, a aplicação do Chat levanta questões éticas e pedagógicas. Assim, a introdução do ChatGPT® na educação preocupa quanto à validade e equidade nas avaliações, destacando a importância de encontrar equilíbrio entre a inovação tecnológica e a preservação da integridade acadêmica

ABSTRACT

Introduction: ChatGPT® is a public tool developed by OpenAI that employs the language model technology of GPT. This chatbot is capable of addressing various text-based requests. Objective: To assess whether ChatGPT® can be the sole source of information for resolving Dentistry exams. Materials and Methods: This is an analytical quantitative cross-sectional study. For data collection, a fictitious exam was created, consisting of questions from the National Student Performance Exam (ENADE) and other public competitions. Participants answered the exam at two different times T1, without ChatGPT®, and, after 15 days (T2), using it. The sample included 30 undergraduate Dentistry students, equally divided into three groups 1st to 4th semester, 5th to 6th semester, and 7th to 10th semester. Descriptive and inferential statistical analyses were applied using SPSS software, including the Wilcoxon and McNemar tests. Results: They revealed a notable effectiveness of ChatGPT® in resolving essay questions, with an 83.3% accuracy rate, while students provided more incorrect or incomplete answers. However, limitations of the ChatGPT® database were observed regarding objective questions. It is crucial to emphasize that, despite promising results, the application of Chat raises ethical and pedagogical questions. Therefore, the introduction of ChatGPT® in education raises concerns about the validity and fairness of assessments, underscoring the importance of finding a balance between technological innovation and the preservation of academic integrity