Septiembre pasado, la ACLU presentó un escrito de amicus en un caso de California que lleva a un punto crítico sobre el uso de algoritmos e inteligencia artificial en el derecho penal.

Una muestra de ADN tomada de una muestra más grande de ADN humano mixto implicó a Billy Ray Johnson en robos y agresiones sexuales. Johnson negó haber cometido los crímenes, pero recibió una sentencia de cadena perpetua sin libertad condicional. Los fiscales basaron su caso en los resultados de una herramienta de aplicación de la ley que ejecuta un algoritmo sofisticado llamado TrueAllele.

A los abogados de Johnson nunca se les permitió examinar el código fuente de TrueAllele, para ver si de alguna manera tenía algún sesgo de información. Los fiscales argumentaron con éxito que las leyes protegían el algoritmo como secreto comercial.

Para Jessica Gabel Cino, decano asociado de asuntos académicos y profesor asociado de derecho, la decisión levantó una gran bandera roja.

"Ninguna tecnología es infalible, ", dijo." La tecnología está diseñada por humanos y dirigida por humanos, por lo que definitivamente hay espacio para el error humano durante todo el proceso. Es más, los resultados son tan buenos como la entrada ".

Continuó Cino. "Los sistemas se desarrollan con fines patentados, por empresas privadas que buscan obtener ganancias. Pero estamos hablando de acceso a información que afecta la libertad de una persona. Para denegar el acceso a las secuencias de validación, código fuente o datos de propiedad cuando afectan la libertad de una persona? Usar un mago que se esconde detrás de una cortina para obtener una condena diluye la integridad del sistema ".

Vera Eidelman de la ACLU, un miembro de William J. Brennan con el discurso de la ACLU, Intimidad, y proyecto tecnológico, explicado con más detalle en septiembre.

"El sesgo racial también suele infiltrarse en los algoritmos, tanto porque los datos subyacentes reflejan las disparidades raciales existentes como porque los resultados inexactos para grupos minoritarios más pequeños pueden estar ocultos en los resultados generales, "Escribió Eidelman". Y, por supuesto, Existe la posibilidad de que los incentivos financieros perviertan los objetivos de las empresas que crean estos algoritmos. En el contexto de la tipificación del ADN, el enjuiciamiento, respaldado por los recursos sustanciales del estado, es el cliente más probable de una empresa, y es probable que ese cliente esté más satisfecho con un algoritmo que ofrece una coincidencia. Por lo tanto, las empresas pueden crear programas para inclinarse hacia coincidencias sobre la verdad ".

Surgen preocupaciones similares con respecto al uso de IA en las decisiones sobre fianzas y sentencias.

Vic Reynolds (J.D. '86), fiscal de distrito del condado de Cobb, Georgia, ha visto el alcance de la tecnología en la práctica de la abogacía en su carrera. Ha estado en ambos lados del banco como juez, un abogado defensor y, hoy dia, un fiscal.

"Estamos hablando de un área del derecho donde hay muy pocos precedentes, ", Dijo Reynolds." Si nos comprometemos con un sistema en el que se utiliza la inteligencia artificial para ayudar a formular una sentencia penal, de hecho, tenemos la obligación ética de compartir la base de ese sistema con las mismas personas cuyas vidas se ven afectadas ".

Dice que existen ventajas y desventajas en el uso de la inteligencia artificial como herramienta para dictar sentencias.

"En el lado positivo, cada vez que tenemos el elemento humano involucrado, lleva consigo debilidades humanas, ", dijo." Los jueces son humanos, por lo que incluso los buenos jueces pueden tener un mal día, un día en el que hay una pelea con un cónyuge o algo más que lo afecta.

"El uso de un sistema de inteligencia artificial tiene el potencial de eliminar parte de esta fragilidad humana, "Dijo Reynolds.

¿Y los contras?

"Habiendo sido juez, Sé que la esencia de ese puesto es la discreción, ", Dijo Reynolds." Incluso las pautas federales de sentencia han comenzado recientemente a devolver algo de esa discreción a los jueces de sentencia.

"Supongamos que conectamos el historial de una persona a un sistema de inteligencia artificial. Basándonos en condenas por delitos graves anteriores, el sistema recomienda una sentencia de 10 años. Pero con una mirada más cercana podemos ver que las condenas anteriores se basaron en una situación de abuso de drogas y que una mejor decisión a largo plazo podría ser una sentencia que enfatice el tratamiento sustantivo. A mi, aquí es donde entraría en juego la discreción de un juez.

"Si no tiene ese elemento humano involucrado, y pierdes el elemento de la discreción, existe la posibilidad de errores ".

Cino cita un estudio publicado en Avances de la ciencia sobre la credibilidad del programa informático COMPAS (Elaboración de perfiles de gestión de delincuentes penitenciarios para sanciones alternativas), que evalúa si los acusados ​​deben ser puestos en libertad bajo fianza en función de su riesgo de reincidencia. Los autores del estudio encontraron que COMPAS, que se ha utilizado para evaluar a más de un millón de acusados ​​en los EE. UU., "no es más precisa o justa que las predicciones de personas con poca o ninguna experiencia en justicia penal que respondieron a una encuesta en línea".

"El sistema de justicia penal está hambriento de tecnología que haga que la toma de decisiones sea menos subjetiva, "Cino dijo, "pero la adopción temprana sin la validación adecuada crea consecuencias a largo plazo que son difíciles de rectificar".

Cino, Reynolds y muchos otros en el sistema legal estarán observando el caso Johnson en California. Los abogados presentarán argumentos orales a principios de 2018. Cino espera una decisión que respalde la transparencia.

"Si vamos a utilizar inteligencia artificial, " ella dijo, "Con suerte, pasaremos a un modelo de código abierto que nos lleve más allá de este muro chino de secretos comerciales patentados. Ya sea de código abierto, o el acusado accede al algoritmo. Hay una razón por la que tenemos derecho a un juicio justo ".