La inteligencia artificial poderosa debe estar alineada de manera confiable con los valores humanos. ¿Significa esto que la IA eventualmente tendrá que vigilar esos valores? Los filósofos de Cambridge Huw Price y Karina Vold consideran el compromiso entre seguridad y autonomía en la era de la superinteligencia.

Esta ha sido la década de la IA, con una asombrosa hazaña tras otra. Una IA de ajedrez que puede derrotar no solo a todos los ajedrecistas humanos, pero también todas las máquinas de ajedrez programadas por humanos anteriores, después de aprender el juego en solo cuatro horas? Esa es la noticia de ayer ¿que sigue?

Cierto, estos prodigiosos logros están todos en la llamada IA ​​estrecha, donde las máquinas realizan tareas altamente especializadas. Pero muchos expertos creen que esta restricción es muy temporal. A mediados de siglo, es posible que tengamos inteligencia artificial general (AGI), máquinas que son capaces de realizar un desempeño a nivel humano en la gama completa de tareas que nosotros mismos podemos abordar.

Si es así, entonces hay pocas razones para pensar que se detendrá allí. Las máquinas estarán libres de muchas de las limitaciones físicas de la inteligencia humana. Nuestros cerebros funcionan a velocidades lentas de procesamiento bioquímico con el poder de una bombilla, y necesidad de pasar por un canal de parto humano. Es notable lo que logran, dadas estas desventajas. Pero pueden estar tan lejos de los límites físicos del pensamiento como nuestros ojos lo están del Telescopio Espacial Webb.

Una vez que las máquinas son mejores que nosotros en el diseño de máquinas aún más inteligentes, el progreso hacia estos límites podría acelerarse. ¿Qué significaría esto para nosotros? ¿Podríamos garantizar una convivencia segura y valiosa con este tipo de máquinas?

En el lado positivo, La IA ya es útil y rentable para muchas cosas, y se podría esperar que la súper IA sea súper útil, y super rentable. Pero cuanto más poderosa se vuelve la IA, cuanto más le pedimos que haga por nosotros, más importante será especificar sus objetivos con mucho cuidado. El folclore está lleno de historias de personas que piden algo incorrecto, con consecuencias desastrosas - Rey Midas, por ejemplo, quien realmente no quería que su desayuno se volviera dorado cuando se lo llevó a los labios.

Por lo tanto, debemos asegurarnos de que las potentes máquinas de inteligencia artificial sean `` amigables para los humanos '', que tengan objetivos alineados de manera confiable con nuestros propios valores. Una cosa que dificulta esta tarea es que, según los estándares a los que queremos que apunten las máquinas, nosotros mismos lo hacemos bastante mal. Los humanos están lejos de ser amigables con los humanos. Nos hacemos muchas cosas terribles entre nosotros y con muchas otras criaturas sensibles con las que compartimos el planeta. Si las máquinas superinteligentes no lo hacen mucho mejor que nosotros, estaremos en serios problemas. Tendremos una nueva y poderosa inteligencia que amplificará los lados oscuros de nuestra propia naturaleza falible.

Por la seguridad, luego, queremos que las máquinas sean éticamente y cognitivamente sobrehumanas. Queremos que apunten al terreno moral elevado, no por los abrevaderos en los que muchos de nosotros pasamos parte de nuestro tiempo. Afortunadamente, tendrán la inteligencia para el trabajo. Si hay rutas hacia las tierras altas, serán mejores que nosotros para encontrarlos, y guiándonos en la dirección correcta. Podrían ser nuestras guías para un mundo mucho mejor.

Sin embargo, Hay dos grandes problemas con esta visión utópica. Uno es cómo ponemos las máquinas en marcha en el viaje, el otro es lo que significaría llegar a este destino. El problema de 'empezar' es que necesitamos decirle a las máquinas lo que están buscando con suficiente claridad y precisión para que podamos estar seguros de que lo encontrarán, sea lo que sea que 'eso' realmente sea. Este es un desafío abrumador, dado que estamos confundidos y en conflicto acerca de los ideales nosotros mismos, y diferentes comunidades pueden tener diferentes puntos de vista.

El problema del 'destino' es que, en ponernos en manos de estos guías morales y guardianes, podríamos estar sacrificando nuestra propia autonomía, una parte importante de lo que nos hace humanos.

Solo para enfocarnos en un aspecto de estas dificultades, somos criaturas profundamente tribales. Nos resulta muy fácil ignorar el sufrimiento de los extraños, e incluso contribuir a ello, al menos indirectamente. Por nuestro propio bien debemos esperar que la IA funcione mejor. No es solo que nos encontremos a merced de la IA de alguna otra tribu, pero que no podíamos confiar en los nuestros, si le hubiéramos enseñado que no todo el sufrimiento importa. Esto significa que, como criaturas tribales y moralmente falibles, tenemos que apuntar las máquinas en la dirección de algo mejor. ¿Como hacemos eso? Ese es el problema de empezar.

En cuanto al problema del destino, supongamos que lo logramos. Se puede esperar que las máquinas que son mejores que nosotros para apegarse a la alta moralidad desalienten algunos de los lapsos que actualmente damos por sentados. Podríamos perder nuestra libertad de discriminar a favor de nuestras propias tribus, por ejemplo.

La pérdida de la libertad para comportarse mal no siempre es algo malo, por supuesto:negarnos la libertad de tener esclavos, o poner a los niños a trabajar en las fábricas, o fumar en los restaurantes son signos de progreso. Pero, ¿estamos preparados para los señores éticos, el silicio santurrón que restringe nuestras opciones? Pueden ser tan buenos haciéndolo que no notamos las vallas; pero este es el futuro que queremos ¿una vida en un zoológico moral bien curado?

Estos problemas pueden parecer inverosímiles, pero ya están a la vuelta de la esquina. Imagine que queremos una IA para manejar las decisiones de asignación de recursos en nuestro sistema de salud, por ejemplo. Podría hacer mucho más justa y eficientemente de lo que los humanos pueden manejar, con beneficios para pacientes y contribuyentes. Pero tendríamos que especificar sus objetivos correctamente (por ejemplo, para evitar prácticas discriminatorias), y estaríamos privando a algunos humanos (por ejemplo, médicos experimentados) de parte de la discreción que disfrutan actualmente. Así que ya nos enfrentamos a los problemas de inicio y destino. Y solo se pondrán más difíciles.

Esta no es la primera vez que una nueva y poderosa tecnología ha tenido implicaciones morales. Hablando sobre los peligros de las armas termonucleares en 1954, Bertrand Russell argumentó que para evitar acabar con nosotros mismos "tenemos que aprender a pensar de una manera nueva". Instó a su oyente a dejar de lado las lealtades tribales y "considerarse solo como miembro de una especie biológica ... cuya desaparición ninguno de nosotros puede desear".

Hemos sobrevivido al riesgo nuclear hasta ahora, pero ahora tenemos una nueva y poderosa tecnología con la que lidiar:ella misma, literalmente, una nueva forma de pensar. Por nuestra propia seguridad, tenemos que señalar a estos nuevos pensadores en la dirección correcta, y conseguir que actúen bien para nosotros. Todavía no está claro si esto es posible, pero si es así requerirá el mismo espíritu cooperativo, la misma voluntad de dejar de lado el tribalismo, que Russell tenía en mente.

Pero ahí es donde se detiene el paralelo. Evitar la guerra nuclear significa seguir como de costumbre. Conseguir el futuro a largo plazo de la vida con la inteligencia artificial significa un mundo muy diferente. A menudo se piensa que tanto la inteligencia general como el razonamiento moral son capacidades exclusivamente humanas. Pero la seguridad parece requerir que pensemos en ellos como un paquete:si vamos a dar inteligencia general a las máquinas, tendremos que darles autoridad moral, también. Eso significa un fin radical al excepcionalismo humano. Razón de más para pensar en el destino ahora, y tener cuidado con lo que deseamos.