Detectores de IA: cuando aprender a escribir parece trampa
Uno de tus estudiantes te entrega un texto distinto a los que suele escribir. Es fluido, tiene un hilo argumentativo claro y desarrolla sus ideas con coherencia. Te parece demasiado bueno, así que decides comprobar con un detector si fue escrito con inteligencia artificial. El resultado: 95 % de probabilidad de que lo haya escrito una IA. Llamas al estudiante, le explicas por qué anulas la nota y le adviertes que delegar su escritura a una máquina afecta su aprendizaje.
Una semana después, el estudiante vuelve con sus borradores. Te muestra el esquema que hizo, las versiones que fue corrigiendo y los conectores que aprendió en tu clase y que usó al pie de la letra. El texto era suyo. Y lo que lo hizo sospechoso fue haber aprendido a escribir mejor. Para entender cómo pudo pasar, hay que mirar cómo funcionan estos detectores.
¿Cómo leen los detectores de IA?
Un detector de Inteligencia Artificial mide qué tan predecible es un texto. Los modelos de lenguaje, como ChatGPT, escriben eligiendo palabra por palabra la opción más probable según lo que viene antes. Por eso sus textos tienden a ser fluidos, correctos y previsibles. La mayoría de los detectores aprovecha esa huella con una medida llamada perplejidad. Consiste en el grado de “sorpresa” o “confusión” que percibe un modelo de lenguaje al leer cada palabra de un texto. Si el modelo adivina con facilidad la palabra siguiente, la perplejidad es baja y el texto parece escrito por una máquina. Si las palabras lo sorprenden, la perplejidad es alta y el texto parece humano.
Algunos detectores añaden una segunda medida, la variación. Los humanos solemos alternar oraciones largas y cortas, simples y complejas; las máquinas tienden a un ritmo más uniforme. De modo que, menos variación significa para el detector, más sospecha. El problema es que estas medidas no distinguen entre una máquina y una persona que escribe con un vocabulario sencillo o con estructuras repetidas. Así escriben muchos estudiantes que están aprendiendo una segunda lengua, pero también muchos que escriben en su lengua materna. Un vocabulario amplio y unas estructuras complejas se construyen con prácticas sostenidas de lectura y escritura, a las que no todos nuestros estudiantes han tenido el mismo acceso.
Bajo sospecha por escribir en una segunda lengua
En 2023, un equipo de la Universidad de Stanford puso a prueba siete detectores de uso extendido (Liang et al., 2023). Les dio dos grupos de textos, todos escritos por personas y sin ayuda de IA. El primero eran 91 ensayos de hablantes no nativos de inglés, escritos para el TOEFL, la prueba de inglés como lengua extranjera y tomados de un foro chino. El segundo, que sirvió de comparación, eran 88 ensayos de estudiantes estadounidenses de octavo grado, hablantes nativos.
En promedio, los detectores clasificaron como generados por IA el 61,3 % de los ensayos de los estudiantes no nativos. De esos ensayos, el 19,8 % fue señalado como artificial por los siete detectores a la vez, y el 97,8 %, por al menos uno. En cambio, los ensayos de los estudiantes nativos se clasificaron casi siempre de forma correcta.
Los autores explican la diferencia con la perplejidad. Quienes escriben en una lengua que no es la suya suelen usar un repertorio de palabras y expresiones más limitado. Sus textos resultan más predecibles y el detector los confunde con el de una máquina. Lo comprobaron en sentido inverso. Cuando simplificaron el vocabulario de los ensayos de los estudiantes nativos, para imitar la escritura de un hablante no nativo, estos también empezaron a ser clasificados como generados por IA. En otras palabras, el detector no castiga el uso de la IA, sino una forma de escribir: la de quienes están aprendiendo y, probablemente, la de quienes no han tenido un acceso amplio a la cultura escrita.
Fáciles de engañar
Si el detector castiga el vocabulario sencillo, basta con enriquecerlo para escapar de él. Eso fue lo que probaron los investigadores. Le pidieron a ChatGPT que mejorara el vocabulario de los mismos ensayos del TOEFL, para que sonaran como los de un hablante nativo. La tasa de ensayos humanos clasificados como artificiales cayó del 61,3 % al 11,6 %. Es decir que, para que un texto humano deje de parecer escrito por una máquina, la solución más eficaz es pasárselo a una máquina.
El estudio hizo también la prueba contraria. Generó con ChatGPT ensayos de admisión universitaria, que los detectores identificaban bien como artificiales. Luego le pidió al mismo ChatGPT que los reescribiera “empleando un lenguaje literario”. La detección cayó casi a cero.
Otras investigaciones llegan a la misma conclusión. Weber-Wulff et al. (2023) evaluaron 14 detectores (Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT. Go Winston, GPT Zero, GPT-2 Output Detector Demo, OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector y Writer, Zero GPT) ninguno superó el 80 % de precisión. Cuando un texto generado por IA se parafraseaba con otra herramienta, los detectores solo identificaban alrededor de uno de cada cuatro casos. Perkins et al. (2024) mostraron que técnicas simples bastan para hacerlos fallar. El resultado es doblemente injusto. Quien escribe con honestidad, pero con un vocabulario limitado queda bajo sospecha. Quien usa la IA y sabe cómo disimularlo pasa sin problemas.
Lo que recomiendan los autores
Liang et al. (2023) advierten con fuerza contra el uso de los detectores en contextos evaluativos o educativos, en especial cuando se evalúa el trabajo de quienes escriben en una lengua que no es la suya. Proponen tres ideas:
No usar los detectores como prueba en la evaluación. Un resultado del detector no debería bastar para acusar a un estudiante ni para calificar su trabajo.
No aplicar un mismo criterio para todos. El diseño y el uso de los detectores no pueden seguir un enfoque único, porque no todos los estudiantes escriben desde el mismo lugar.
Usarlos, si acaso, como apoyo para aprender. Su uso de menor riesgo sería como ayuda educativa, no como herramienta de evaluación. Algo que el estudiante pueda emplear para revisar y mejorar su propia escritura, no algo que se use para juzgarlo.
La recomendación coincide con la de otros estudios. Los informes de un detector pueden, como mucho, abrir una conversación con el estudiante, nunca cerrarla (Weber-Wulff et al., 2023).
Referencias
Liang, W., Yuksekgonul, M., Mao, Y., Wu, E. y Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. Texto completo en PMC
Perkins, M., et al. (2024). Simple techniques to bypass GenAI text detectors: implications for inclusive education. International Journal of Educational Technology in Higher Education, 21. Repositorio JCU
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P. y Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19, 26. https://doi.org/10.1007/s40979-023-00146-z
Comentarios