RESUMO
Abstract Objective: To test the performance of ChatGPT on radiology questions formulated by the Colégio Brasileiro de Radiologia (CBR, Brazilian College of Radiology), evaluating its failures and successes. Materials and Methods: 165 questions from the CBR annual resident assessment (2018, 2019, and 2022) were presented to ChatGPT. For statistical analysis, the questions were divided by the type of cognitive skills assessed (lower or higher order), by topic (physics or clinical), by subspecialty, by style (description of a clinical finding or sign, clinical management of a case, application of a concept, calculation/classification of findings, correlations between diseases, or anatomy), and by target academic year (all, second/third year, or third year only). Results: ChatGPT answered 88 (53.3%) of the questions correctly. It performed significantly better on the questions assessing lower-order cognitive skills than on those assessing higher-order cognitive skills, providing the correct answer on 38 (64.4%) of 59 questions and on only 50 (47.2%) of 106 questions, respectively (p = 0.01). The accuracy rate was significantly higher for physics questions than for clinical questions, correct answers being provided for 18 (90.0%) of 20 physics questions and for 70 (48.3%) of 145 clinical questions (p = 0.02). There was no significant difference in performance among the subspecialties or among the academic years (p > 0.05). Conclusion: Even without dedicated training in this field, ChatGPT demonstrates reasonable performance, albeit still insufficient for approval, on radiology questions formulated by the CBR.
Resumo Objetivo: Testar o desempenho do ChatGPT em questões de radiologia formuladas pelo Colégio Brasileiro de Radiologia (CBR), avaliando seus erros e acertos. Materiais e Métodos: 165 questões da avaliação anual dos residentes do CBR (2018, 2019 e 2022) foram apresentadas ao ChatGPT. Elas foram divididas, para análise estatística, em questões que avaliavam habilidades cognitivas de ordem superior ou inferior e de acordo com a subespecialidade, o tipo da questão (descrição de um achado clínico ou sinal, manejo clínico de um doente, aplicação de um conceito, cálculo ou classificação dos achados descritos, associação entre doenças ou anatomia) e o ano da residência (R1, R2 ou R3). Resultados: O ChatGPT acertou 53,3% das questões (88/165). Houve diferença estatística entre o desempenho em questões de ordem cognitiva inferior (64,4%; 38/59) e superior (47,2%; 50/106) (p = 0,01). Houve maior índice de acertos em física (90,0%; 18/20) do que em questões clínicas (48,3%; 70/145) (p = 0,02). Não houve diferença significativa de desempenho entre subespecialidades ou ano de residência (p > 0,05). Conclusão: Mesmo sem treinamento dedicado a essa área, o ChatGPT apresenta desempenho razoável, mas ainda insuficiente para aprovação, em questões de radiologia formuladas pelo CBR.
RESUMO
Resumo: Introdução: A avaliação do estudante deve induzir aprendizagem e ser baseada em competência, ou seja, avaliar (habilidades cognitivas, psicomotoras e afetivas). Para avaliar conhecimento e a habilidade para sua utilização no contexto profissional, o Teste de Progresso (TP) tem sido usado em larga escala, com finalidade somativa e principalmente formativa. Objetivo: Este estudo teve como objetivo verificar a adequação e qualidade de itens que compõem os TP realizados pelos estudantes. Método: Trata-se de estudo exploratório descritivo e retrospectivo que analisou todos os itens de seis provas do TP aplicado a estudantes de Medicina do primeiro ao sexto ano da Faculdade de Medicina de Ribeirão Preto/USP, no período de 2013 a 2018. Os sete indicadores de boas práticas foram: 1. abordar tema relevante na formação médica; 2. ter enunciado maior que as alternativas; 3. avaliar aplicação do conhecimento; 4. definir pergunta clara para o item no enunciado; 5. avaliar apenas um domínio do conhecimento em cada item; 6. ter resposta correta e distratores homogêneos e plausíveis; 7. ausência de erros no item que acrescentam dificuldade desnecessária ou dão pistas da resposta correta. Dois avaliadores independentes analisaram as questões e, quando necessário, revisavam em conjunto os itens discordantes. Resultado: A análise das provas permitiu identificar boa qualidade técnica na maioria dos itens das seis provas, além de indicar que a não adesão foi mais frequente nos indicadores 4 e 5, que podem comprometer tanto a validade quanto a interpretação dos resultados da prova em termos de lacunas do conhecimento por parte dos estudantes. Conclusão: A qualidade das questões das provas analisadas é muito boa, mas foi possível identificar oportunidades de melhoria no processo de elaboração de itens, que servem de base para o desenvolvimento docente dos elaboradores da instituição.
Abstract: Introduction: Assessment drives learning and should follow a competence-based approach. The Progress Test (PT) has been used on a large scale for summative and mainly formative purposes to assess knowledge and the ability to use it in the professional context. Objective: To check the adequacy and quality of the items and that make up the progress tests sat by students. Method: Descriptive and retrospective exploratory study that analyzed all the items of six PT exams applied to medical students from the first to the sixth year of the Faculty of Medicine of Ribeirão Preto/USP, from 2013 to 2018. The seven indicators of good practices were: 1. Addresses a relevant topic in medical training; 2. Statement longer than key answer and distractors; 3. Application of knowledge evaluated; 4.Clear lead-in defined for the item in the statement; 5. Only one domain of knowledge assessed in each item; 6.Plausible and homogeneous key answer and distractors; 7.Absence of flaws that add unnecessary difficulty or give clues to the correct answer. Two independent evaluators analyzed the items and, if necessary, they jointly reviewed any disagreement. Result: The analysis showed a good technical quality of most items in the six PT exams. In addition, they indicated that non-adherence was a bit more frequent for indicators 4 and 5, which can compromise both the validity and the interpretation of the test results in terms of knowledge gaps on the part of students. Conclusion: In general, the quality of the items was very good but there are some opportunities for improvement in the process of item writing based on faculty development within the institution.
RESUMO
Resumo O artigo analisa as questões do novo Enem que apresentam objetos de conhecimento da Educação Física, compreendendo as relações que se estabelecem por e entre as áreas do conhecimento mediadas pelas competências e habilidades. De natureza qualitativa, utiliza a análise crítico-documental como metodologia. As fontes são compostas por: 49 questões relacionadas com a Educação Física no exame (2009 a 2017), as Diretrizes Nacionais para o Ensino Médio, o Documento Básico do Enem e a Matriz de Referência do Enem. Os usos e apropriações dos objetos de conhecimento da Educação Física, devido à sua natureza multidisciplinar, favorecem a exigência da elaboração das questões do exame visando à interdisciplinaridade por e entre as áreas do conhecimento, explorando as relações cotidianas dos sujeitos. A interação entre os objetivos da área de Linguagens e suas Tecnologias, promovida pelo exame, permite-nos compreender a Educação Física dentro de um contexto amplo de formação, para além do saberes de domínio.
Resumen El estudio analiza las preguntas del Nuevo Enem (Examen Nacional de la Enseñanza Media) que presentan objetos de conocimiento de la Educación Física, abarcando las relaciones que se establecen por y entre las áreas de conocimiento mediadas por competencias y habilidades. De naturaleza cualitativa, utiliza el análisis crítico-documental como metodología. Las fuentes están compuestas por: 49 preguntas relacionadas con la Educación Física en el examen (2009 a 2017), las Directrices Nacionales para la Enseñanza Media, el Documento Básico del Enem y la Matriz de Referencia del Enem. Los usos y apropiaciones de los objetos de conocimiento de la Educación Física, por su carácter multidisciplinario, favorecen la exigencia de elaborar las preguntas del examen buscando la interdisciplinariedad por y entre las áreas de conocimiento, explorando las relaciones cotidianas de los sujetos. La interacción entre los objetivos del área de Lenguas y sus Tecnologías, impulsada por el examen, nos permite comprender la Educación Física dentro de un amplio contexto de formación, más allá de los saberes del campo.
Abstract The article analyzes the issues that contain the Physical Education present in Novo Enem, understanding the relationships established by and between the areas of knowledge mediated by competences and abilities. Of the qualitative type, it uses documentary critical analysis as a methodology. The sources are composed of: 49 questions related to Physical Education in the exam (2009 to 2017), the National Guidelines for Secondary Education, the Basic Document of Enem and the Reference Matrix of Enem. The uses and appropriations of the contents of Physical Education, due to its multidisciplinary nature, favors the requirement to elaborate the exam questions aiming at interdisciplinarity by and between the areas of knowledge, exploring the subjects' daily relationships. The interaction between the objectives of the Languages, Codes and their Technologies area, promoted by the exam, allows us to understand Physical Education within a broad context of training, in addition to domain knowledge.