¿Quién responde por el sesgo algorítmico? Por qué la justicia educativa exige una mirada comunitaria

El sesgo algorítmico en educación no es solo un problema técnico. Descubre por qué la equidad exige la participación de toda la comunidad educativa.

La perspectiva técnica del sesgo algorítmico lo analiza en el marco del ciclo de vida del aprendizaje automático, planteando que el problema puede mitigarse mediante la corrección de la muestra o el ajuste de métricas matemáticas de equidad. Desde este enfoque, el sesgo se origina principalmente en la fase de recopilación de datos de entrenamiento, derivando en sesgos de representación o de medición. Así, si no se recopilan datos de la muestra adecuada de estudiantes, los modelos fallan al aplicarse a otros grupos objetivo. Por ejemplo, un modelo entrenado únicamente con datos de estudiantes suburbanos de clase media-alta no generalizará correctamente para estudiantes urbanos de bajos ingresos.

Sin embargo, esta aproximación presenta limitaciones sustanciales en tanto asume erróneamente que la intervención técnica es suficiente para combatir la discriminación, ignorando que las métricas de equidad suelen ser matemáticamente incompatibles entre sí y que limpiar los datos no erradica los sesgos estructurales e históricos subyacentes en el contexto social. Tal como afirma Katell (2020), en el marco de la rendición de cuenta de alto impacto, las escuelas pueden hacer modificaciones de tipo técnico a las métricas sin transformar las estructuras sociales. “Algunas intervenciones técnicas en fair ML modifican las etiquetas de predicción de los estudiantes desfavorecidos cerca del umbral de aprobación para ajustar la métrica.” (Katell, 2020, citado en Otto, 2021)

En contraste, autores como Ferrero y Barujel (2019), citados en Baker (2022) sitúan la fuente del sesgo no solo en el ciclo de vida del aprendizaje automático, sino también como producto de las interacciones sociales que rodean la producción y el uso de un algoritmo, explorando así sus causas estructurales, institucionales y humanas. A partir de la teoría de la actividad sociocultural, describen un algoritmo como el artefacto de un sistema de actividad, ubicando el sesgo dentro de las partes conectadas de ese sistema, donde los sujetos toman decisiones dentro de un contexto de objetos, reglas, comunidad y división del trabajo. Aplicando este marco alternativo, identifican los sesgos como teóricos, metodológicos, por entrenamiento de dato, por descontextualización o por interpretación.

CATEGORÍA DEL SESGO	¿EN QUÉ CONSISTE?	EJEMPLO
Sesgo teórico	Definición deficiente o reduccionista de los constructos pedagógicos. Ocurre al simplificar fenómenos sociales complejos en variables operacionales rígidas o mediante el uso de proxies inadecuados.	Asumir la "calificación" como proxy directo de "capacidad de aprendizaje", invisibilizando las variables socioeconómicas que condicionan la nota obtenida.
Sesgo metodológico	Inadecuada arquitectura del estudio o diseño de instrumentos de recolección distorsionados que no contemplan las particularidades socioculturales del contexto o población evaluada.	Utilizar pruebas de evaluación digital estandarizadas para medir competencias en comunidades que presentan baja alfabetización o brecha de acceso tecnológico.
Sesgo por entrenamiento de dato	Uso de conjuntos de datos caracterizados por la subrepresentación de grupos poblacionales o por la presencia de patrones históricos de discriminación preexistentes en la muestra.	Entrenar un modelo de predicción de rendimiento exclusivamente con datos de estudiantes suburbanos de altos ingresos y aplicarlo a entornos urbanos de bajos recursos.
Sesgo por descontextualización	Importación e implementación de soluciones tecnológicas diseñadas para entornos o instituciones específicas en realidades heterogéneas sin revalidación ni adaptación previa.	Aplicar un algoritmo predictivo de deserción concebido para universidades privadas de EE. UU. dentro del sistema de universidades públicas de América Latina.
Sesgo interpretativo	Lectura acrítica, determinista o con sesgo de automatización de los outputs numéricos del algoritmo por parte de los operadores humanos (docentes, directivos).	Un comité educativo que interpreta la alerta de riesgo emitida por un sistema como una certeza absoluta de fracaso, negando apoyos académicos al estudiante.

Acciones para mitigar la injusticia algorítmica

De manera transversal, las instituciones educativas deben ampliar los esfuerzos para hacer que la inteligencia artificial sea más explicable e interpretable para todos los miembros de la comunidad educativa. Es poco probable que estos esfuerzos tengan un éxito completo a menos que los algoritmos y sus propiedades se comuniquen de manera efectiva a estos miembros de la comunidad. Los miembros de la comunidad —y los profesionales ajenos a la ciencia de datos en general— no pueden proporcionar recomendaciones y supervisión útiles si no se les da la información adecuada sobre los algoritmos y sus propiedades. No se trata solo de hacer que la información esté disponible, también debe ser comprensible (Howley, 2018). Por lo tanto, los avances en la inteligencia artificial explicable y en la inteligencia artificial interpretable (Doran et al., 2018), así como en la investigación sobre métodos de explicación que hagan comprensibles los algoritmos complejos (Zhou et al., 2020), serán esenciales para abordar los desafíos que rodean al sesgo algorítmico. (citados en Baker, et al. 2022)

Para avanzar hacia la equidad algorítmica en la educación, resulta indispensable respaldar a los investigadores y profesionales en la construcción y curaduría de conjuntos de datos de alta calidad. La medida inicial más apremiante consiste en registrar explícitamente las variables de pertenencia a grupos demográficos dentro de los procesos de recolección de información. Como advierten Paquette et al. (2020), citado en Baker (2022), la literatura predominante en minería de datos educativos suele omitir los atributos demográficos de los estudiantes, incluso a nivel agregado. Esta opacidad representa un punto ciego: «si no recopilamos datos sobre la pertenencia a un grupo, no podemos analizar nuestros conjuntos de datos en busca de sesgos algorítmicos» «(…) los hallazgos sugieren que es problemático ignorar las diferencias de grupo al aplicar los modelos. El simple recurso de recopilar una muestra diversa y entrenar con todos los estudiantes parece proporcionar beneficios en algunos casos. (Baker, et, al. 2022).»

Una vez que un proyecto de desarrollo de algoritmos ha recopilado datos sobre las identidades de los estudiantes, el siguiente paso será identificar las brechas en la representatividad del conjunto de datos y abordar esas brechas mediante la recopilación de datos adicionales.

Preguntas aún sin responder

Sin embargo, de acuerdo con Baker et, al. (2022) la captura de datos de caracterización demográfica más detallados conlleva riesgos latentes en materia de privacidad y mayores exigencias en el cumplimiento regulatorio. Frente a esto, la implementación de técnicas como la ofuscación de datos, los entornos de procesamiento con acceso restringido a variables sensibles y los acuerdos vinculantes contra la reidentificación, permiten mitigar dichas vulnerabilidades. Asimismo, resulta imperativo que los organismos reguladores y los comités de ética institucional ponderen de manera equilibrada los riesgos de las brechas de privacidad frente a los perjuicios derivados del sesgo algorítmico.

Asimismo, de acuerdo con los hallazgos de Bakert et, al. (2022) la magnitud y el comportamiento del sesgo varia notablemente según el punto de la distribución en la que la institución fije el umbral de intervención, así como según la meta predicha (aprobar un curso frente a graduarse). Estrategias que funcionan para mitigar el sesgo en un modelo (como incluir predictores raciales) pueden resultan ineficaces en otro.

De acuerdo con la perspectiva de Ferrero y Barujel (2019), es posible afirmar que el algoritmo no es un objeto puramente matemático. Es un artefacto mediador dentro de un sistema de actividad humano y social. Refleja y redistribuye las decisiones, valores y limitaciones de los sujetos e instituciones que lo diseñan y utilizan.

Por tanto, tal como señala Hanifa (2025). las evaluaciones técnicas e instrumentos de auditoría algorítmica son útiles para la gestión de riesgos y la transparencia, pero no deben sustituir el debate político sobre la justicia educativa. A medida que se desarrollan herramientas para gobernar los algoritmos en la educación, la investigación debe continuar examinando críticamente la ética y la política que las sustentan y considerar el impacto ético y técnico caso por caso, en lugar de aplicar normas genéricas.

Ruta crítica

BIBLIOGRAFÍA

Baker, R. S., Hawn, A. (2022), Algorithmic bias in education. International Journal of Artificial Intelligence in Education, 32(4), 1052-1095

Otto Sahlgren (2023) The politics and reciprocal (re)configuration of accountability and fairness in data-driven education, Learning, Media and Technology, 48:1, 95-108, DOI: 10.1080/17439884.2021.1986065

Hanifa, F. N. (2025). Assessing algorithmic fairness: bias analysis and equity principles in AI-based assessment and personalized learning systems. Zaw. Fikr J. Islam. Educ., 1, 181-190.

Ruta crítica (Realizado con IA)