Casi cuarenta mil personas perdieron la vida en accidentes automovilísticos el año pasado solo en los EE. UU. Solo podemos suponer que muchas de esas muertes se deben a nuestras debilidades humanas únicas:conducción distraída, conducir bajo la influencia, o simple inexperiencia. Tiene sentido sacar a los conductores humanos de las carreteras lo más rápido posible, y dejar que las máquinas conduzcan.

Ese es un argumento de todas formas. También hay un argumento convincente para detenerse y considerar los problemas éticos que surge de esta nueva tecnología. Ya se trate de vehículos autónomos o de una aplicación para compartir selfies con protecciones de privacidad cuestionables, la prisa por llevar innovaciones al mercado a menudo deja de lado las consideraciones éticas, pero varios profesores de ECE de Duke están rechazando.

La profesora de ECE de Duke, Missy Cummings, es una ex piloto de combate de la Armada que ahora dirige el Laboratorio de Humanos y Autonomía, o HAL. Su investigación se centra en maximizar la cooperación entre humanos y máquinas para lograr un rendimiento y unos resultados óptimos, y ella es una "tecno-realista" abierta cuando se trata de la idea de que estamos casi listos para que los autos altamente autónomos salgan a las carreteras.

"Los automóviles sin conductor podrían reducir drásticamente las muertes en las carreteras, pero actualmente Los sistemas de visión por computadora de estos autos son extremadamente frágiles, y no está listo para conducir sin supervisión, ", dijo Cummings." Sabemos que las sombras largas, ángulos de sol bajos, e incluso un cuarto de pulgada de nieve puede hacer que estos sistemas fallen, a veces de manera catastrófica, por lo que todavía estamos a 10 años o más de lograr capacidades completas sin conductor ".

Los fabricantes han gastado alrededor de $ 80 mil millones en investigación y desarrollo de vehículos autónomos hasta la fecha. El tamaño de esa inversión viene con una presión de igual magnitud; las inversiones deben dar sus frutos, y hay un claro interés en llevar la tecnología a un mercado ávido. Todavía, las deficiencias de los sistemas audiovisuales actuales están bien documentadas. Son vulnerables a los piratas informáticos. No son buenos en tareas de inferencia, por ejemplo, sabiendo que una pelota que rueda hacia la carretera probablemente será seguida por un niño que la persiga. Estos tipos de errores de conocimientos y habilidades, señaló Cummings, causaría que un conductor humano no apruebe una prueba de licencia de conducir, pero actualmente no existe una prueba equivalente de "visión por computadora" que examine las habilidades de razonamiento de los automóviles sin conductor.

A pesar de las dudosas capacidades de los sistemas autónomos y la falta de procesos para probar y certificar vehículos altamente autónomos, sin embargo, ya han tomado nuestras carreteras, en lo que son esencialmente experimentos a gran escala que involucran al público sin su consentimiento explícito.

Cummings dijo que querer lograr vehículos totalmente autónomos es necesario para realizar las mejoras incrementales que nos llevarán allí. finalmente. Pero empujar la tecnología al mundo antes de que pueda ser regulada de manera efectiva, ella advirtió, es irresponsable y peligroso.

Es un problema que se extiende mucho más allá del sector audiovisual.

La profesora Cynthia Rudin dirige el laboratorio de análisis y predicción de Duke, y es una experta en aprendizaje automático, específicamente, es experta en la creación de algoritmos de aprendizaje automático interpretables, en un mundo cada vez más obsesionado con los modelos de caja negra.

"Un modelo predictivo de caja negra es un modelo que es demasiado complicado de entender para un humano, o una fórmula patentada, lo que significa que está oculto por una empresa, ", dijo Rudin. Los algoritmos de caja negra se utilizan comúnmente en aplicaciones de bajo riesgo como el comercio minorista, donde tu edad, ingreso, ocupación, historial de compras, y otros cientos de datos informan la decisión de mostrarle un anuncio de boletos de avión o vitaminas.

Más problemáticos son los modelos de caja negra utilizados en decisiones de alto riesgo, como evaluar el riesgo crediticio y establecer la libertad condicional. Esas decisiones pueden afectar profundamente la vida de las personas, subrayó Rudin, y es difícil para alguien a quien se le ha negado la libertad condicional desafiar la decisión si es imposible ver cómo se tomó la decisión.

El laboratorio de Rudin se especializa en desarrollar modelos interpretables que son más precisos que los modelos de caja negra que actualmente utiliza el sistema de justicia. Según Rudin, ni siquiera necesitas una calculadora para calcularlos.

"Existe una creencia generalizada de que, debido a que un modelo es una caja negra, es más preciso "dijo Rudin." Y eso, Por lo que yo puedo decir, Está Mal. He trabajado en muchas aplicaciones diferentes, en atención médica, en energía, en riesgo crediticio, en reincidencia criminal, y nunca hemos encontrado una aplicación en la que realmente necesitemos una caja negra. Siempre podemos usar un modelo interpretable para un problema de decisión de alto riesgo ".

El entusiasmo por los modelos de caja negra, dijo Rudin, debe ser atemperado por una cuidadosa consideración de las posibles ramificaciones.

"A menudo, la comunidad académica no capacita a los informáticos en los temas correctos, ", dijo Rudin." No los capacitamos en estadísticas básicas, por ejemplo. No los formamos en ética. Así que desarrollan esta tecnología sin preocuparse por para qué se utiliza. Y eso es un problema ".

Este año, Duke Engineering estableció el Programa de Ética en Tecnología de la Familia Lane, que integrará la educación ética en los planes de estudios de ingeniería y ciencias de la computación. El programa apoya el contenido del curso dirigido por profesores, actividades extracurriculares y un simposio anual centrado en la ética en la tecnología.

Stacy Tantum, the Bell-Rhodes Associate Professor of the Practice of Electrical and Computer Engineering, will lead one of the program's first courses this fall. Tantum will work with Amber Díaz Pearson, a research scholar at Duke's Kenan Institute for Ethics, to integrate ethics-focused modules into ECE 580, Introduction to Machine Learning.

Three elements of ethical algorithm development will be emphasized in the course, said Tantum. First is transparency, or why others should be able to easily evaluate all aspects of algorithm design, from the input training data and algorithmic assumptions, to the selection of algorithmic parameters, to the process by which predicted performance is evaluated. Second is algorithmic bias—the conditions that are likely to result in bias, but which are often overlooked, or deemed unimportant. And third is unintended use-cases of algorithms—the potential pitfalls of re-purposing algorithms for use-cases other than those for which they were designed.

"Our goal is to lead students to incorporate ethical considerations as a natural part of algorithm development, not an afterthought to be considered only after an unintended or unanticipated consequence arises, " said Tantum.