En un mundo donde los algoritmos deciden desde qué vemos en redes sociales hasta si nos aprueban un préstamo, es fácil pensar que las matemáticas son imparciales. Sin embargo, Cathy O'Neil, matemática y experta en ciencia de datos, nos advierte que estos sistemas no siempre son justos. En su libro Weapons of Math Destruction (en español, Armas de Destrucción Matemática ), O'Neil expone cómo los algoritmos pueden reforzar las desigualdades en lugar de eliminarlas.
¿Quién es Cathy O'Neil?
Cathy O'Neil tiene una trayectoria impresionante en matemáticas y ciencia de datos. Estudió en Harvard, obtuvo un doctorado en la Universidad de Princeton y trabajó en Wall Street durante la crisis financiera de 2008. Fue ahí donde comenzó a cuestionar cómo los modelos matemáticos podían perjudicar a las personas en lugar de ayudarlas.
Tras dejar la industria financiera, se convirtió en una crítica de la "dictadura de los datos" y fundó ORCAA (O'Neil Risk Consulting & Algorithmic Auditing), una empresa que evalúa el impacto ético de los algoritmos en empresas y organizaciones.
El Peligro de los algoritmos opacos
En Weapons of Math Destruction , O'Neil explica cómo muchos algoritmos usados en educación, finanzas, empleo y seguridad pública perpetúan la desigualdad en lugar de mejorar la sociedad. Estos modelos suelen cumplir con tres características problemáticas:
Opacidad: No sabemos cómo funcionan ni por qué toman ciertas decisiones. Por ejemplo, los sistemas de puntaje crediticio afectan quién puede acceder a un préstamo, pero su funcionamiento es un misterio para la mayoría.
-
Escalabilidad: Se aplica a grandes poblaciones sin considerar el contexto individual. Un algoritmo de contratación puede descartar automáticamente a ciertos candidatos por factores irrelevantes, como su código postal.
-
Perjuicio autorreforzado: Si un sistema se basa en datos históricos sesgados, comenzará produciendo resultados injustos. Un algoritmo que evalúa el desempeño docente con base en calificaciones de los estudiantes puede penalizar injustamente a profesores que trabajan con comunidades desfavorecidas.
Ejemplos de algoritmos injustos
O'Neil detalla varios casos en su libro:
- Educación: Algoritmos que califican a los docentes pueden hacer que pierdan su trabajo sin una evaluación justa.
 |
- Préstamos y finanzas: Modelos que discriminan a personas con ingresos bajos o pertenecientes a minorías, dificultándoles el acceso a créditos o seguros.
- Sistema de justicia: Algoritmos que predicen la reincidencia criminal pueden recomendar sentencias más duras a ciertos grupos sociales, perpetuando el racismo sistémico.
¿Qué podemos hacer?
La autora no solo señala problemas, sino que también propone soluciones. Entre ellas:
- Mayor transparencia: Las empresas y gobiernos deben explicar cómo funcionan sus modelos y permitir auditorías independientes.
- Regulación responsable: No se trata de prohibir los algoritmos, sino de asegurarse de que no discriminan ni dañan a grupos vulnerables.
- Ética en la ciencia de datos: Los profesionales de tecnología deben asumir la responsabilidad de diseñar modelos justos.
No hay comentarios:
Publicar un comentario