¿Cómo discutir con datos?

Lo que cambia cuando el sesgo pasa por un algoritmo

Descubre cómo el sesgo algorítmico impacta la convivencia escolar y la toma de decisiones.

En el blog anterior, abordamos la taxonomía de sesgos propuesta por Ferrero y Barujel (2019), citados en Bakert (2022): teórico, metodológico, por entrenamiento de dato, por descontextualización e interpretativo. Sin embargo, estos sesgos no son exclusivos de los algoritmos, dado que también aparecen en otras herramientas y prácticas humanas. En esa perspectiva, ¿qué los vuelve particulares cuando un algoritmo los reproduce? La diferencia no está en su origen, sino en tres rasgos que los amplifican: la escala, la apariencia de neutralidad y la opacidad.  

Los sesgos de un docente por graves que sean, afectan a estudiantes que pasan por su aula. En cambio, un modelo automatizado aplica el mismo criterio, con el mismo error, a miles de estudiantes a la vez. Esto importa sobre todo en decisiones de alto impacto como las predicciones de deserción escolar, las recomendaciones para la ubicación en programas o la identificación de estudiantes con altas capacidades. Estas decisiones pueden tener consecuencias duraderas en las trayectorias académicas y profesionales de los estudiantes, así como reproducir desigualdades estructurales de una generación a otra.

Además, como estos modelos pueden aplicarse a poblaciones cada vez más amplias, sus efectos no se limitan a individuos, alcanzan escuelas enteras e inclusos sistemas educativos nacionales. Aquí aplica el efecto Pigmaleón, lo que antes era la expectativa de un docente, ahora es una etiqueta institucional que acompaña al estudiante en su proceso.

A esta escala se suma la velocidad. El sistema clasifica, predice o recomienda sin el tiempo de observación, diálogo y reflexión que suele acompañar el juicio pedagógico. Cuando alguien detecta un error, sus efectos ya se han propagado.

El segundo rasgo es la apariencia de neutralidad. Cuando un docente o directivo decide sabemos que es una persona con criterios, experiencias y posibles prejuicios, por eso su juicio se puede interpelar. En cambio, el resultado de un algoritmo llega como un número, un puntaje o una categoría y adquiere una apariencia de neutralidad matemática que lo hace parecer incuestionable, pero los algoritmos no con neutrales; incorporan las decisiones de quienes lo diseñaron, los datos con los que fueron entrenados y los supuestos sobre qué vale la pena medir. Por ello, no basta con analizar los resultados, también hay que interpelar los instrumentos que recolectan y analizan los datos. Como señala Madaio (2024), esto implica cuestionar el tecnosolucionismo, es decir, la creencia de que la tecnología por sí sola resolverá problemas humanos. También implica cuestionar la racionalidad técnica, que asume que los datos son un reflejo fiel y objetivo de la realidad y que, por lo tanto, sus resultados son válidos por sí mismos.

A esta apariencia de neutralidad se suma la opacidad. Juntas forman una combinación problemática. La primera hace que no queramos cuestionar el resultado y la segunda que no podamos hacerlo. Volvamos al ejemplo del aula. Cuando un estudiante siente que una decisión del docente o directivo fue injusta, puede pedirle explicaciones y quien la tomó tiene que justificar su criterio, reconocer un error o sostener su decisión con argumentos. En cambio, en un sistema automatizado sin explicabilidad, esa conversación no es posible. El estudiante no sabe qué datos se usaron, qué criterios pesaron ni por qué el resultado fue ese. A veces ni siquiera la institución que usa el sistema lo sabe. Así, la opacidad le quita a la persona el derecho a preguntar por qué, cómo se tomó una decisión y a impugnarla.

Tal como afirma Nidaul (2022) el impacto del sesgo algorítmico en los estudiantes puede ser multidimensional y de largo alcance, afectando su motivación para aprender, su autoeficacia y sus aspiraciones educativas. Los sistemas de evaluación automatizada sesgados pueden subestimar sistemáticamente las capacidades de los estudiantes de ciertos grupos, generando una retroalimentación negativa que mina la confianza en sí mismos y crea la llamada “amenaza del estereotipo”, en la que los alumnos se sienten condicionados por estereotipos negativos asociados a su grupo.

Ética y gobernanza

Una acción transversal consiste en la transparencia y explicabilidad de los algoritmos para garantizar la rendición de cuentas, de manera que todos los miembros de la institución escolar comprendan cómo se toman las decisiones. La trasparencia no solo garantiza justicia, si no también confianza entre desarrollares, educadores y alumnos. Por tal motivo, Hanifa (2025) sugiere aplicar modelos simples y legibles por su facilidad de comprensión.

Como afirma Sahlgren (2021) los análisis de equidad implican decisiones éticas y políticas de gobernanza claras. Si bien las evaluaciones técnicas y los instrumentos de auditoría algorítmica resultan útiles para la gestión de riesgos y la transparencia, estos no pueden sustituir el debate político sobre la justicia educativa.

Por consiguiente, los sistemas automatizados no reemplazan las decisiones humanas, sino las respaldan, atendiendo al contexto específico de cada institución. Para lograrlo, docentes y directivos requieren formación que les permita comprender cómo funcionan estos sistemas, reconocer sus limitaciones y usarlos de manera crítica e informada. Solo así la colaboración entre personas y máquinas podrá orientarse hacia la inclusión y la equidad.

Comprender el algoritmo como un sistema de actividad Ferrero y Barujel (2019), citados en Bakert (2022) permite a docentes y directivos ver que el sesgo no es solo un fallo del código, sino un reflejo de cómo la comunidad escolar define sus metas (objeto), aplica sus reglamentos (reglas) y delega o asume la responsabilidad (división del trabajo) al tomar decisiones.

Realizado con IA.

Fuente: Baker, R. S., Hawn, A. (2022), Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052-1095

REFERENCIAS BIBLIOGRÁFICAS

Baker, R. S., Hawn, A. (2022), Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052-1095

Hanifa, F. N. (2025). Assessing algorithmic fairness: bias analysis and equity principles in AI-based assessment and personalized learning systems. Zaw. Fikr J. Islam. Educ., 1, 181-190.

Otto Sahlgren (2023) The politics and reciprocal (re)configuration of

accountability and fairness in data-driven education, Learning, Media and Technology, 48:1,

95-108, DOI: 10.1080/17439884.2021.1986065

Madaio, M., Blodgett, S. L., Mayfield, E., & Dixon-Román, E. (2022). Beyond “fairness”. The ethics of artificial intelligence in education: Practices, challenges, and debates, 203-288.