Se supone que el modelado predictivo es neutral, una forma de ayudar a eliminar los prejuicios personales de la toma de decisiones. Pero los algoritmos están empaquetados con los mismos sesgos que están integrados en los datos del mundo real utilizados para crearlos. El profesor de estadística de Wharton James Johndrow ha desarrollado un método para eliminar esos sesgos.

Su última investigación, en coautoría con su esposa, estadístico Kristian Lum "Un algoritmo para eliminar información confidencial:aplicación a la predicción de reincidencia independiente de la raza, "se centra en eliminar información sobre la raza en los datos que predicen la reincidencia, pero el método puede aplicarse más allá del sistema de justicia penal.

"En justicia penal, hay mucho uso de algoritmos para cosas como quién necesitará pagar una fianza para salir de la cárcel antes del juicio versus quién simplemente será liberado por su propia cuenta, por ejemplo. En el corazón de esto está esta idea de evaluación de riesgos y tratar de ver quién es más probable, por ejemplo, para presentarse a sus citas en la corte, "dice Johndrow.

"Los problemas potenciales con esto son solo que estos algoritmos están entrenados con datos que se encuentran en el mundo real. Los algoritmos y sus predicciones pueden incluir todas estas cosas humanas que están sucediendo, por lo que últimamente se ha prestado mucha más atención a garantizar que estos algoritmos no discriminen a determinados grupos ".