En un artículo de opinión revisado por pares que se publica el 10 de julio en la revista Patterns, los investigadores muestran que los programas informáticos comúnmente utilizados para determinar si un texto fue escrito por inteligencia artificial tienden a etiquetar falsamente los artículos escritos por hablantes de idiomas no nativos como generados por IA. Los investigadores advierten contra el uso de tales detectores de texto de IA por su falta de confiabilidad, lo que podría tener un impacto negativo en las personas, incluidos los estudiantes y las personas que solicitan empleo.
« Nuestra recomendación actual es que debemos ser extremadamente cuidadosos y tal vez tratar de evitar el uso de estos detectores tanto como sea posible », dice el autor principal James Zou, de la Universidad de Stanford. « Puede tener consecuencias significativas si estos detectores se usan para revisar cosas como solicitudes de empleo, ensayos de ingreso a la universidad o tareas de la escuela secundaria ».
Las herramientas de inteligencia artificial como el chatbot ChatGPT de OpenAI pueden redactar ensayos, resolver problemas de ciencias y matemáticas y producir código de computadora. Los educadores de los EE. UU. están cada vez más preocupados por el uso de la IA en el trabajo de los estudiantes y muchos de ellos han comenzado a usar detectores GPT para evaluar las tareas de los estudiantes. Estos detectores son plataformas que afirman poder identificar si el texto es generado por IA, pero su confiabilidad y efectividad aún no se han probado.
Zou y su equipo pusieron a prueba siete detectores GPT populares. Ejecutaron 91 ensayos en inglés escritos por hablantes no nativos de inglés para una prueba de dominio del inglés ampliamente reconocida, llamada Prueba de inglés como lengua extranjera, o TOEFL, a través de los detectores. Estas plataformas etiquetaron incorrectamente más de la mitad de los ensayos como generados por IA, y un detector marcó casi el 98 % de estos ensayos como escritos por IA. En comparación, los detectores pudieron clasificar correctamente más del 90% de los ensayos escritos por estudiantes de octavo grado de EE. UU. como generados por humanos.
Zou explica que los algoritmos de estos detectores funcionan evaluando la perplejidad del texto, que es lo sorprendente que es la elección de palabras en un ensayo. « Si usa palabras comunes en inglés, los detectores darán una puntuación de perplejidad baja, lo que significa que es probable que mi ensayo se marque como generado por IA. Si usa palabras complejas y más sofisticadas, es más probable que se clasifique como escrito por humanos ». algoritmos », dice. Esto se debe a que los modelos de lenguaje grandes como ChatGPT están entrenados para generar texto con poca perplejidad para simular mejor cómo habla un humano promedio, agrega Zou.
Como resultado, las elecciones de palabras más simples adoptadas por escritores no nativos en inglés los harían más vulnerables a ser etiquetados como usuarios de IA.
Luego, el equipo colocó los ensayos TOEFL escritos por humanos en ChatGPT y le pidieron que editara el texto usando un lenguaje más sofisticado, incluida la sustitución de palabras simples con vocabulario complejo. Los detectores GPT etiquetaron estos ensayos editados por IA como escritos por humanos.
« Debemos ser muy cautelosos al usar cualquiera de estos detectores en el aula, porque todavía hay muchos sesgos y son fáciles de engañar con solo la cantidad mínima de diseño rápido », dice Zou. El uso de detectores GPT también podría tener implicaciones más allá del sector educativo. Por ejemplo, los motores de búsqueda como Google devalúan el contenido generado por IA, lo que puede silenciar inadvertidamente a los escritores no nativos en inglés.
Si bien las herramientas de IA pueden tener un impacto positivo en el aprendizaje de los estudiantes, los detectores GPT deben mejorarse y evaluarse aún más antes de ponerlos en uso. Zou dice que entrenar estos algoritmos con tipos de escritura más diversos podría ser una forma de mejorar estos detectores.