« Los modelos de lenguaje grande son modelos de lenguaje de redes neuronales con notables habilidades de conversación. Generan respuestas similares a las humanas y participan en conversaciones interactivas. Sin embargo, a menudo generan afirmaciones muy convincentes que son comprobablemente incorrectas o brindan respuestas inapropiadas. Hoy en día no hay manera de ser certeza sobre la calidad, el nivel de evidencia o la consistencia de la información clínica o la evidencia que respalda cualquier respuesta. Estos chatbots son herramientas inseguras cuando se trata de asesoramiento médico y es necesario desarrollar nuevos marcos que garanticen la seguridad del paciente », dijo el profesor Stephen Gilbert. Profesor de Ciencias de la Reglamentación de Dispositivos Médicos en el Centro Else Kröner Fresenius de Salud Digital de la TU Dresden.
Desafíos en la aprobación regulatoria de grandes modelos lingüísticos
La mayoría de las personas investigan sus síntomas en línea antes de buscar consejo médico. Los motores de búsqueda juegan un papel en el proceso de toma de decisiones. La próxima integración de LLM-chatbots en los motores de búsqueda puede aumentar la confianza de los usuarios en las respuestas proporcionadas por un chatbot que imita una conversación. Se ha demostrado que los LLM pueden proporcionar información profundamente peligrosa cuando se les solicitan preguntas médicas.
El enfoque subyacente de LLM no tiene un modelo de « verdad básica » médica, que es inherentemente peligroso. Los LLM con interfaz de chat ya han brindado respuestas médicas dañinas y ya se han utilizado de manera poco ética en « experimentos » en pacientes sin consentimiento. Casi todos los casos de uso de LLM médicos requieren control regulatorio en la UE y EE. UU. En los EE. UU. su falta de explicabilidad los descalifica como ‘no dispositivos’. Los LLM con explicabilidad, bajo sesgo, previsibilidad, corrección y resultados verificables no existen actualmente y no están exentos de los enfoques de gobernanza actuales (o futuros).
En este artículo, los autores describen los escenarios limitados en los que los LLM podrían encontrar aplicación bajo los marcos actuales, describen cómo los desarrolladores pueden buscar crear herramientas basadas en LLM que podrían aprobarse como dispositivos médicos, y exploran el desarrollo de nuevos marcos que preservan la atención del paciente. seguridad. « Los chatbots LLM actuales no cumplen con los principios clave de la IA en el cuidado de la salud, como el control de sesgos, la explicabilidad, los sistemas de supervisión, la validación y la transparencia. Para ganarse su lugar en el arsenal médico, los chatbots deben diseñarse para una mayor precisión, seguridad y eficacia clínica. demostrado y aprobado por los reguladores », concluye el Prof. Gilbert.