Un estudio de ChatGPT encontró que la herramienta de inteligencia artificial respondió correctamente a menos de la mitad de las preguntas de la prueba de un recurso de estudio comúnmente utilizado por los médicos cuando se preparan para la certificación de la junta en oftalmología.
El estudio, publicado en JAMA Ophthalmology y dirigido por St. Michael’s Hospital, un sitio de Unity Health Toronto, encontró que ChatGPT respondió correctamente el 46 por ciento de las preguntas cuando se realizó inicialmente en enero de 2023. Cuando los investigadores realizaron la misma prueba un mes después, ChatGPT puntuaron más de un 10 por ciento más.
El potencial de la IA en la medicina y la preparación de exámenes ha generado entusiasmo desde que ChatGPT estuvo disponible públicamente en noviembre de 2022. También genera preocupación por el potencial de información incorrecta y trampas en el mundo académico. ChatGPT es gratuito, está disponible para cualquier persona con conexión a Internet y funciona de manera conversacional.
« ChatGPT puede tener un papel cada vez mayor en la educación médica y la práctica clínica con el tiempo, sin embargo, es importante enfatizar el uso responsable de tales sistemas de IA », dijo el Dr. Rajeev H. Muni, investigador principal del estudio e investigador del Li. Instituto de Conocimiento Ka Shing en St. Michael’s. « ChatGPT, tal como se usó en esta investigación, no respondió correctamente suficientes preguntas de opción múltiple para brindar una asistencia sustancial en la preparación para la certificación de la junta en este momento ».
Los investigadores utilizaron un conjunto de datos de preguntas de opción múltiple de práctica de la prueba gratuita de OphthoQuestions, un recurso común para la preparación del examen de certificación de la junta. Para garantizar que las respuestas de ChatGPT no se vieran influenciadas por conversaciones simultáneas, las entradas o conversaciones con ChatGPT se borraron antes de ingresar cada pregunta y se utilizó una nueva cuenta de ChatGPT. Las preguntas que usaban imágenes y videos no se incluyeron porque ChatGPT solo acepta ingreso de texto.
De 125 preguntas de opción múltiple basadas en texto, ChatGPT respondió correctamente 58 (46 %) preguntas cuando se realizó el estudio por primera vez en enero de 2023. Los investigadores repitieron el análisis en ChatGPT en febrero de 2023 y el rendimiento mejoró al 58 %.
« ChatGPT es un sistema de inteligencia artificial que tiene una gran promesa en la educación médica. Aunque proporcionó respuestas incorrectas a las preguntas de certificación de la junta en oftalmología aproximadamente la mitad del tiempo, anticipamos que el cuerpo de conocimiento de ChatGPT evolucionará rápidamente », dijo el Dr. Marko Popovic, un coautor del estudio y médico residente en el Departamento de Oftalmología y Ciencias de la Visión de la Universidad de Toronto.
ChatGPT coincidió estrechamente con la forma en que los alumnos respondieron las preguntas y seleccionó la misma respuesta de opción múltiple que la respuesta más común proporcionada por los alumnos de oftalmología el 44 por ciento de las veces. ChatGPT seleccionó la respuesta de opción múltiple que fue menos popular entre los aprendices de oftalmología el 11 % de las veces, la segunda menos popular el 18 % de las veces y la segunda más popular el 22 % de las veces.
« ChatGPT se desempeñó con mayor precisión en preguntas de medicina general, respondiendo correctamente el 79 % de ellas. Por otro lado, su precisión fue considerablemente menor en preguntas sobre subespecialidades de oftalmología. Por ejemplo, el chatbot respondió correctamente el 20 % de las preguntas sobre oculoplástica y cero por ciento correctamente de la subespecialidad de la retina. La precisión de ChatGPT probablemente mejorará más en las subespecialidades de nicho en el futuro », dijo Andrew Mihalache, autor principal del estudio y estudiante de pregrado en la Universidad Western.