Los sistemas de aprendizaje automático se abren paso cada vez más en nuestra vida cotidiana, desafiando nuestros valores morales y sociales y las reglas que los rigen. En estos días, los asistentes virtuales amenazan la privacidad del hogar; los recomendadores de noticias dan forma a la forma en que entendemos el mundo; los sistemas de predicción de riesgos aconsejan a los trabajadores sociales sobre qué niños proteger del abuso; mientras que las herramientas de contratación basadas en datos también clasifican sus posibilidades de conseguir un trabajo. Sin embargo, la ética del aprendizaje automático sigue siendo borrosa para muchos.

Buscando artículos sobre el tema para los jóvenes ingenieros que asisten al curso de Ética y Tecnologías de la Información y las Comunicaciones en UCLouvain, Bélgica, me llamó especialmente la atención el caso de Joshua Barbeau, un hombre de 33 años que utilizó un sitio web llamado Proyecto Diciembre para crear un robot conversacional, un chatbot, que simule una conversación con su prometida fallecida, Jessica.

Robots conversacionales que imitan a personas muertas

Conocido como deadbot, este tipo de chatbot permitía a Barbeau intercambiar mensajes de texto con una "Jessica" artificial. A pesar de la naturaleza éticamente controvertida del caso, rara vez encontré materiales que fueran más allá del mero aspecto fáctico y analicé el caso a través de una lente normativa explícita:¿por qué sería correcto o incorrecto, éticamente deseable o reprobable, desarrollar un robot muerto?

Antes de lidiar con estas preguntas, pongamos las cosas en contexto:Project December fue creado por el desarrollador de juegos Jason Rohrer para permitir que las personas personalicen los chatbots con la personalidad con la que querían interactuar, siempre que pagaran por ello. El proyecto se construyó basándose en una API de GPT-3, un modelo de lenguaje generador de texto de la empresa de investigación de inteligencia artificial OpenAI. El caso de Barbeau abrió una brecha entre Rohrer y OpenAI porque las pautas de la compañía prohíben explícitamente el uso de GPT-3 con fines sexuales, amorosos, de autolesión o de intimidación.

Calificando la posición de OpenAI como hipermoralista y argumentando que personas como Barbeau eran "adultos que consienten", Rohrer cerró la versión GPT-3 del Proyecto Diciembre.

Si bien todos podemos tener intuiciones sobre si es correcto o incorrecto desarrollar un robot muerto de aprendizaje automático, explicar sus implicaciones no es una tarea fácil. Por eso es importante abordar las cuestiones éticas planteadas por el caso, paso a paso.

¿Es suficiente el consentimiento de Barbeau para desarrollar el robot muerto de Jessica?

Dado que Jessica era una persona real (aunque muerta), el consentimiento de Barbeau para la creación de un robot muerto que la imite parece insuficiente. Incluso cuando mueren, las personas no son meras cosas con las que los demás pueden hacer lo que les plazca. Por eso nuestras sociedades consideran incorrecto profanar o irrespetar la memoria de los muertos. En otras palabras, tenemos ciertas obligaciones morales con respecto a los muertos, en la medida en que la muerte no implica necesariamente que las personas dejen de existir de una manera moralmente relevante.

Asimismo, está abierto el debate sobre si debemos proteger los derechos fundamentales de los muertos (por ejemplo, la privacidad y los datos personales). Desarrollar un deadbot que replique la personalidad de alguien requiere grandes cantidades de información personal, como datos de redes sociales (ver lo que proponen Microsoft o Eternime), que han demostrado revelar rasgos altamente sensibles.

Si estamos de acuerdo en que no es ético utilizar los datos de las personas sin su consentimiento mientras están vivas, ¿por qué debería ser ético hacerlo después de su muerte? En ese sentido, al desarrollar un deadbot, parece razonable solicitar el consentimiento de aquel cuya personalidad se refleja, en este caso, Jessica.

Cuando el imitado da luz verde

Por lo tanto, la segunda pregunta es:¿sería suficiente el consentimiento de Jessica para considerar ética la creación de su deadbot? ¿Y si estaba degradando su memoria?

Los límites del consentimiento son, de hecho, un tema controvertido. Tomemos como ejemplo paradigmático al "Caníbal de Rotenburg", que fue condenado a cadena perpetua a pesar de que su víctima había accedido a ser devorada. Al respecto, se ha argumentado que no es ético consentir cosas que nos pueden perjudicar, ya sea físicamente (vender los propios órganos vitales) o abstractamente (enajenar los propios derechos), mientras exista una buena sociedad. debe alentar a todos sus miembros a vivir mejor y más libre (no necesariamente en un sentido paternalista, en los términos impuestos por otros, sino de manera democrática, en los términos del pueblo).

En qué términos específicos algo podría ser perjudicial para los muertos es un tema particularmente complejo que no analizaré en su totalidad. Vale la pena señalar, sin embargo, que si bien los muertos no pueden ser dañados u ofendidos de la misma manera que los vivos, esto no significa que sean invulnerables a las malas acciones, ni que estas sean éticas. Los muertos pueden sufrir daños a su honor, reputación o dignidad (por ejemplo, campañas de desprestigio póstumo), y la falta de respeto hacia los muertos también perjudica a sus allegados. Además, comportarse mal con los muertos nos lleva a una sociedad más injusta y menos respetuosa con la dignidad de las personas en general.

Finalmente, dada la maleabilidad e imprevisibilidad de los sistemas de aprendizaje automático, existe el riesgo de que el consentimiento proporcionado por la persona imitada (en vida) no signifique mucho más que un cheque en blanco en sus caminos potenciales.

Teniendo todo esto en cuenta, parece razonable concluir que si el desarrollo o uso del deadbot no se corresponde con lo acordado por la persona imitada, su consentimiento debe considerarse inválido. Además, si lesiona clara e intencionalmente su dignidad, incluso su consentimiento no debería ser suficiente para considerarlo ético.

¿Quién asume la responsabilidad?

Una tercera cuestión es si los sistemas de inteligencia artificial deberían aspirar a imitar cualquier tipo del comportamiento humano (independientemente de si esto es posible).

Esta ha sido una preocupación de larga data en el campo de la IA y está estrechamente relacionada con la disputa entre Rohrer y OpenAI. ¿Deberíamos desarrollar sistemas artificiales capaces de, por ejemplo, cuidar a otros o tomar decisiones políticas? Parece que hay algo en estas habilidades que diferencia a los humanos de otros animales y de las máquinas. Por lo tanto, es importante tener en cuenta que instrumentalizar la IA con fines tecno-solucionistas, como reemplazar a los seres queridos, puede conducir a una devaluación de lo que nos caracteriza como seres humanos.

La cuarta pregunta ética es quién es responsable de los resultados de un robot muerto, especialmente en el caso de los efectos nocivos.

Imagine que el robot muerto de Jessica aprendió de manera autónoma a actuar de una manera que degradó su memoria o dañó irreversiblemente la salud mental de Barbeau. ¿Quién asumiría la responsabilidad? Los expertos en IA responden a esta pregunta resbaladiza a través de dos enfoques principales:primero, la responsabilidad recae sobre los involucrados en el diseño y desarrollo del sistema, siempre que lo hagan de acuerdo con sus intereses y visiones del mundo particulares; segundo, los sistemas de aprendizaje automático dependen del contexto, por lo que las responsabilidades morales de sus resultados deben distribuirse entre todos los agentes que interactúan con ellos.

Me coloco más cerca de la primera posición. En este caso, como hay una co-creación explícita del deadbot que involucra a OpenAI, Jason Rohrer y Joshua Barbeau, considero lógico analizar el nivel de responsabilidad de cada parte.

En primer lugar, sería difícil responsabilizar a OpenAI después de que prohibieran explícitamente el uso de su sistema con fines sexuales, amorosos, de autolesión o de intimidación.

Parece razonable atribuir un nivel significativo de responsabilidad moral a Rohrer porque él:(a) diseñó explícitamente el sistema que hizo posible la creación del deadbot; (b) lo hizo sin anticipar medidas para evitar posibles resultados adversos; (c) era consciente de que no cumplía con las directrices de OpenAI; y (d) se benefició de ello.

Y debido a que Barbeau personalizó el robot muerto basándose en características particulares de Jessica, parece legítimo responsabilizarlo en caso de que degrade su memoria.

Ético, bajo ciertas condiciones

Entonces, volviendo a nuestra primera pregunta general de si es ético desarrollar un robot muerto de aprendizaje automático, podríamos dar una respuesta afirmativa con la condición de que:

• tanto la persona imitada como la que la personaliza e interactúa con ella han dado su libre consentimiento para una descripción lo más detallada posible del diseño, desarrollo y usos del sistema;
• Están prohibidos los desarrollos y usos que no se ajusten a lo consentido por la persona imitada o que atenten contra su dignidad;
• las personas involucradas en su desarrollo y quienes se benefician de él asumen la responsabilidad de sus posibles resultados negativos. Tanto retroactivamente, para dar cuenta de los eventos que han ocurrido, como prospectivamente, para prevenir activamente que sucedan en el futuro.

Este caso ejemplifica por qué es importante la ética del aprendizaje automático. También ilustra por qué es esencial abrir un debate público que pueda informar mejor a los ciudadanos y ayudarnos a desarrollar medidas políticas para hacer que los sistemas de IA sean más abiertos, socialmente justos y compatibles con los derechos fundamentales.