Las tecnologías avanzadas brindan beneficios todos los días. Pero, a veces, las interacciones con la tecnología pueden salir mal y provocar un desastre.

El 10 de marzo los pilotos a bordo del vuelo 302 de Ethiopian Airlines no pudieron corregir una falla en uno de los sistemas automatizados del Boeing 737 Max 8, resultando en un accidente y la muerte de todos los pasajeros y la tripulación. El año anterior, casi al dia, Otro vehículo automatizado, no un avión, sino un automóvil autónomo de Uber, atropelló y mató a Elaine Herzberg en Tempe. Arizona.

Como expertos en cómo interactúan los seres humanos y las tecnologías, sabemos que es imposible eliminar completamente el riesgo en sistemas tecnológicos complejos. Estas tragedias son el resultado de que los reguladores y los expertos de la industria pasan por alto las complejidades y los riesgos de las interacciones entre las tecnologías y los humanos y dependen cada vez más de la autoevaluación voluntaria de las empresas. en lugar de objetivo, pruebas independientes. Trágicamente eso parece haber sucedido con el avión de Boeing y el automóvil de Uber.

Negocio riesgoso

El accidente del vuelo 302 de Ethiopian Airlines, así como el del vuelo 610 de Lion Air en 2018, sucedió a pesar de la supervisión de uno de los reguladores tecnológicamente más capaces del mundo. Los viajes aéreos son muy seguros a la luz de los riesgos potenciales.

Antes de que el 737 Max 8 despegara, tenía que pasar una serie de inspecciones de la Administración Federal de Aviación. Durante el transcurso de ese proceso, Boeing convenció a la FAA de que el sistema automatizado era más seguro de lo que realmente era, y que los pilotos necesitarían muy poco entrenamiento en el nuevo avión.

La FAA autorizó el vuelo del 737 Max 8 y su sistema de control de vuelo, y retuvo esa autorización no solo después del accidente de Lion Air, pero también durante tres días después de la tragedia de Ethiopian Airlines.

De aviones a automóviles

A medida que aumenta la automatización de los aviones, lo mismo ocurre con los automóviles. Varias empresas están probando vehículos autónomos en carreteras de todo el país, y con mucha menos supervisión que la industria de la aviación. Las reglas locales y federales son limitadas, a menudo en nombre de promover la innovación. Las pautas de seguridad federales para vehículos autónomos requieren que pasen solo las mismas pruebas de rendimiento que cualquier otro automóvil, como los estándares mínimos de economía de combustible, configuraciones de cinturones de seguridad y qué tan bien protegerán a los ocupantes en un choque de vuelco.

No hay pruebas de confiabilidad de sus sensores, mucho menos sus algoritmos. Algunos estados exigen que las empresas informen sobre "desconexiones", cuando el llamado "conductor de seguridad" retoma el control del sistema automatizado. Pero la mayoría de las empresas de vehículos autónomos pueden hacer lo que quieran, siempre que haya una persona al volante.

En los meses previos a la colisión de marzo de 2018, Uber estaba bajo presión para ponerse al día con GM Cruise y Waymo. Los coches de Uber tenían un sistema sensible de reconocimiento de objetos, que a veces era engañado por una sombra en el camino y frenaba para evitar un obstáculo que en realidad no estaba allí. Eso resultó en un áspero, paseo de parada y arranque. Para suavizar las cosas Los ingenieros de Uber desactivaron el sistema de frenado de emergencia del automóvil. La compañía parece haber asumido que el único conductor de seguridad siempre podría detener el automóvil a tiempo si realmente existía el peligro de golpear algo.

Eso no es lo que sucedió cuando Elaine Herzberg cruzó la calle. El auto autónomo de Uber que la atropelló y la mató la vio con sus sensores y cámaras, pero no pudo detenerse por sí solo. El conductor de seguridad parece haber sido distraído por su teléfono, en violación de las políticas de Uber. aunque no está claro cómo la compañía informó a sus conductores de seguridad sobre el cambio al sistema automatizado.

Vigilarse a sí mismos

Los reguladores confían en las prácticas de autoevaluación de la seguridad, por el cual las empresas privadas dan fe del cumplimiento de sus propios productos con las normas federales. Las mejores garantías que ellos, y el público en general, tienen sobre la seguridad y confiabilidad de estos vehículos son las garantías de las empresas que pretenden venderlos.

Los informes que brindan las empresas pueden ser escasos en pruebas contundentes, promocionando el número de millas reales y simuladas conducidas, sin detalles de cómo se están desempeñando los autos en diversas condiciones. Y las empresas de automóviles lanzan constantemente nuevos modelos y actualizan su software, obligando a los conductores humanos a conocer las nuevas funciones.

Esto es aún más desconcertante porque hay muchos más automóviles en las carreteras que aviones en el aire:270 millones de automóviles registrados solo en los EE. UU. en comparación con 25, 000 aviones comerciales en todo el mundo. Además, Los coches autónomos deben afrontar no solo las condiciones meteorológicas, sino también las interacciones a corta distancia con otros coches. peatones, ciclistas y e-scooters. Los conductores de seguridad no reciben la misma cantidad de entrenamiento que los pilotos, cualquiera.

Arizona, donde estamos basados, es un lugar popular para pruebas públicas de vehículos autónomos, en parte debido a una supervisión más laxa que en otros estados. En el área de Phoenix, sin embargo, Existe una creciente preocupación pública por la seguridad. Algunos ciudadanos están acosando a los vehículos autónomos en un esfuerzo por disuadirlos de conducir por sus vecindarios. Como dijo un residente de Arizona a The New York Times, la industria de los vehículos autónomos "dijo que necesita ejemplos del mundo real, pero no quiero ser su error del mundo real ".

Conectando con el público, innovando responsablemente

En ausencia de estándares federales de seguridad para vehículos autónomos, states and local governments are left to protect the public – often without the expertise and resources to do so effectively. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Este artículo se vuelve a publicar de The Conversation bajo una licencia Creative Commons. Lea el artículo original.