Su dinero, código postal, amigos y familiares pueden marcar la diferencia en cómo lo trata el sistema criminal.
La policía de Nueva Gales del Sur recientemente descartó un programa ampliamente condenado conocido como Plan de Gestión de Búsqueda de Sospechosos. Utilizó puntuaciones de riesgo algorítmicas para seleccionar "objetivos", algunos de tan solo 10 años, para la vigilancia policial.
Pero siguen vigentes programas similares. Por ejemplo, Corrective Services NSW utiliza una herramienta de evaluación estadística llamada LSI-R para predecir si los reclusos reincidirán.
Los prisioneros de "alto riesgo" reciben "intervenciones de alta intensidad" y se les puede negar la libertad condicional. Las puntuaciones de riesgo se calculan a partir de hechos como "amigos criminales", participación familiar en delitos o drogas, problemas financieros, vivir en un "vecindario con alta criminalidad" y cambios frecuentes de dirección.
Un algoritmo predictivo es un conjunto de reglas que deben seguir las computadoras (y a veces las personas), basadas en patrones en los datos. Se ha escrito mucho sobre cómo nos discriminan los algoritmos, desde motores de búsqueda sesgados hasta bases de datos de salud.
En mi libro recién publicado, Justicia artificial, sostengo que el uso de herramientas que predicen nuestro comportamiento en función de factores como la pobreza o los antecedentes familiares también debería preocuparnos. Si nos castigan, debería ser sólo por lo que hemos hecho mal, no por las cartas que nos han repartido.
Los algoritmos generan puntuaciones de riesgo utilizadas en los sistemas de justicia penal de todo el mundo. En el Reino Unido, el OASys (Sistema de Evaluación de Delincuentes) se utiliza como parte de la información previa a la sentencia que se proporciona a los jueces:determina las decisiones sobre libertad bajo fianza, libertad condicional y sentencia. En Estados Unidos, una herramienta conocida como COMPAS hace algo similar.
Las puntuaciones de riesgo también se utilizan más allá de la justicia penal y no siempre necesitan computadoras para generarlas. Una breve encuesta conocida como Herramienta de riesgo de opioides ayuda a los médicos de Australia y de todo el mundo a decidir si recetan analgésicos para enfermedades agudas y crónicas, al predecir si los pacientes abusarán de sus medicamentos.
Los algoritmos predictivos literalmente salvan vidas:se utilizan para asignar órganos de donantes, clasificar a los pacientes y tomar decisiones urgentes sobre tratamientos médicos. Pero también pueden crear y mantener desigualdades injustificadas.
Imaginemos que desarrollamos un algoritmo, "CrimeBuster", para ayudar a la policía a patrullar los "puntos críticos" de delincuencia. Usamos datos que vinculan el crimen con áreas pobladas por familias de bajos ingresos. Como no podemos medir el "crimen" directamente, analizamos las tasas de arresto.
Sin embargo, el hecho de que las tasas de arrestos sean altas en estas áreas puede indicarnos que la policía dedica más tiempo a patrullarlas. Si no hay justificación para esta práctica de vigilancia policial intensiva, implementar CrimeBuster daría a estos prejuicios el estatus de política.
El problema se agrava cuando utilizamos las estadísticas para hacer predicciones sobre acciones intencionales:las cosas que elegimos hacer.
Esto podría ser una predicción sobre si alguien será un empleado "tóxico", cometerá delitos o abusará de drogas.
Los factores que influyen en estas predicciones rara vez se publicitan. Para el algoritmo de sentencia británico OASys, incluyen si alguien ha sido víctima de violencia doméstica.
El sistema COMPAS estadounidense captura el divorcio de los padres y el abuso infantil. La herramienta de riesgo de opioides pregunta si la familia del paciente tiene antecedentes de abuso de sustancias y si el paciente (si es mujer) tiene antecedentes de "abuso sexual preadolescente".
En cada caso, estos hechos hacen que sea más probable que alguien vaya a prisión, se pierda el tratamiento médico, etc.
Todos queremos tener la oportunidad de tomar decisiones fieles a quiénes somos y satisfacer nuestras necesidades y objetivos. Y queremos que se nos brinden las mismas opciones que otras personas, en lugar de que se nos señale como incapaces de elegir bien.
Cuando castigamos a alguien por hechos en los que no puede influir fácilmente, hacemos precisamente esto:tratamos a esa persona como si simplemente no pudiera evitar tomar malas decisiones.
El problema no es el uso de algoritmos per se. En el siglo XIX, el médico italiano Cesare Lombroso argumentó que podíamos identificar al "criminal nato" por sus características físicas:un cráneo deforme, una mandíbula ancha, extremidades largas u orejas grandes.
No mucho después, el criminólogo británico Charles Goring defendió esta idea y argumentó que ciertas características mentales "defectuosas" hacían inevitable "el destino del encarcelamiento".
Los algoritmos simplemente hacen que sea mucho más difícil ver qué sucede en el mundo de la evaluación del riesgo de delincuencia.
Pero cuando miramos, resulta que lo que está pasando es algo bastante similar a la visión de Lombroso-Goring:tratamos a las personas como si estuvieran destinadas a hacer el mal y las encerramos (o mantenemos encerradas) por si acaso. /P>
Se debería exigir a los organismos públicos que publiquen los hechos que informan las predicciones detrás de tales decisiones. El aprendizaje automático solo debe utilizarse si y en la medida en que se puedan cumplir estos requisitos de publicación. Esto hace que sea más fácil tener conversaciones significativas sobre dónde trazar el límite.
En el contexto de la justicia penal, esa línea es clara. Sólo deberíamos imponer sanciones más severas por el mal comportamiento, no por otras características físicas, mentales o sociales. Hay muchas directrices que adoptan este enfoque, y esta es la línea que las instituciones australianas deben seguir.
Una vez que se hayan aplicado las penas por su delito, los presos no deberían ser tratados de manera diferente ni encerrados por más tiempo debido a sus amigos y familiares, su situación financiera o la forma en que han sido tratados por otros.
Proporcionado por The Conversation
Este artículo se vuelve a publicar desde The Conversation bajo una licencia Creative Commons. Lea el artículo original. 
