Lo que aprendimos sobre justicia algorítmica en educación

El sesgo tiene un carácter contextual. Su magnitud y comportamiento varía según el punto de la distribución en la que la institución fije el umbral de intervención, así como según la meta predicha

Imagina que te sientas a presentar un examen en línea y la cámara no reconoce tu rostro. Lo intentas de nuevo. Nada. El sistema simplemente no te ve. Esto les pasó a muchos estudiantes afrodescendientes con programas de supervisión automatizada. Antes de que alguien revisara una sola respuesta, el sistema ya les había dicho que no había sido diseñado para ellos.

Algo similar ocurre con la etiqueta “en riesgo de deserción”. Estos casos son ejemplos de lo que se conoce como daños de representación, los que ocurren por la forma en que un sistema muestra a ciertos grupos, cuando los estereotipa, los invisibiliza, los retrata de manera denigrante o no logra reconocerlos. Son difíciles de medir porque no niegan algo concreto, como una nota o un cupo, sino que moldean cómo se percibe a los estudiantes y cómo se perciben ellos mismos.

Hecho con IA.

Fuente: Baker, R. S., Hawn, A. (2022), Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052-1095.

Como se observa en el gráfico, los daños de asignación suelen derivarse de los daños de representación. Ocurren cuando un sistema niega oportunidades o recursos a determinados grupos o cuando distribuye un bien de manera injusta entre ellos. En educación, un ejemplo son los sistemas de admisión que utilizan los resultados de pruebas estandarizadas como variable predictora. Si esas pruebas ya presentan sesgos de género y origen étnico, el algoritmo los traslada a decisiones de alto impacto.

Estos dos tipos de daño no van por separado. Los daños de representación pueden legitimar los de asignación, es decir, decisiones sobre quién accede a una institución, a una beca o a un programa. Cuando un grupo es representado como “de bajo desempeño” o “en riesgo”, negarle ciertas oportunidades parece una decisión razonable y no discriminatoria.

Matthews et al. (2022, como se citó en Hanifa, 2025, pp. 194–195) encontraron que los word embeddings empleados en el procesamiento del lenguaje natural heredan estereotipos de género y raciales presentes en los corpus de texto con los que se entrenan. Estos sesgos, a su vez, influyen en los sistemas de calificación automatizada de ensayos, que terminan evaluando la escritura de los estudiantes según nombres o estilos asociados a determinados grupos demográficos.

Frente a este sesgo, una de las discusiones en la literatura es si conviene incluir o excluir variables sensibles, como la raza, en los modelos. Bird & Song, (2025) encontró que esta decisión produce efectos distintos en la reducción del sesgo, incluso entre modelos desarrollados con la misma base de datos.

Un equipo de investigadores construyó dos modelos con los mismos estudiantes y los mismos datos. Uno predecía si aprobarían un curso; el otro, si se graduarían. Al incluir la raza como variable, el primer modelo se volvió más justo. El segundo, menos. Mismo procedimiento, resultados opuestos. (Bird & Song, 2025). Por consiguiente, el sesgo tiene un carácter contextual. Su magnitud y comportamiento varía según el punto de la distribución en la que la institución fije el umbral de intervención, así como según la meta predicha (aprobar un curso vs graduarse). Estrategias que funcionan para mitigar el sesgo en un modelo pueden resultan ineficaces en otro.

Otro desafío importante, de acuerdo con Baker y Hawn (2022), son los escasos incentivos comerciales que tienen los desarrolladores de tecnología educativa para revelar los sesgos de sus productos. Reconocer estas fallas puede exponerlos a críticas públicas de periodistas, comunidades y académicos, e incluso a demandas legales.

En consecuencia, resulta más conveniente no examinar el problema; no recopilar datos sobre los distintos grupos de estudiantes ni analizar si el sistema los afecta de manera diferente. El resultado es peligroso, pues un sesgo que no se mide no puede corregirse y sigue operando sin que nadie lo advierta.

Por ello, adoptar sistemas automatizados en educación exige un cambio en la cultura institucional, en el que reconocer un sesgo se entienda como el primer paso para corregirlo y no como una amenaza. En esa cultura, preguntar con qué datos se entrenó un modelo, si se evaluó en distintos grupos de estudiantes o quién revisa sus decisiones deja de ser incómodo y se vuelve una práctica habitual.

BIBLIOGRAFÍA

Baker, R. S., Hawn, A. (2022), Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052-1095

Bird, K. A., Castleman, B. L., & Song, Y. (2025). Are algorithms biased in education? Exploring racial bias in predicting community college student success. Journal of Policy Analysis and Management, 44(2), 379-402

Hanifa, F. N. (2025). Assessing algorithmic fairness: bias analysis and equity principles in AI-based assessment and personalized learning systems. Zaw. Fikr J. Islam. Educ., 1, 181-190.