Con un cónyuge estudiando la evolución de la inteligencia artificial y natural y el otro investigando el idioma, cultura e historia de Alemania, imagina las discusiones en nuestra mesa de la cena. A menudo experimentamos el choque estereotipado en puntos de vista entre lo cuantificable, enfoque basado en la medición de las ciencias naturales y el enfoque más cualitativo de las humanidades, donde lo que más importa es cómo la gente siente algo, o cómo lo experimentan o interpretan.

Decidimos tomarnos un descanso de ese patrón, para ver cuánto podría ayudar cada enfoque al otro. Específicamente, Queríamos ver si los aspectos de la inteligencia artificial podían generar nuevas formas de interpretar una novela gráfica de no ficción sobre el Holocausto. Terminamos descubriendo que algunas tecnologías de inteligencia artificial aún no son lo suficientemente avanzadas y sólidas para brindar información útil, pero los métodos más simples dieron como resultado mediciones cuantificables que mostraron una nueva oportunidad para la interpretación.

Elegir un texto

Hay muchas investigaciones disponibles que analizan grandes volúmenes de texto, así que elegimos algo más complejo para nuestro análisis de IA:"The Boxer, de Reinhard Kleist, "una novela gráfica basada en la historia real de cómo Hertzko" Harry "Haft sobrevivió a los campos de exterminio nazis. Queríamos identificar las emociones en las expresiones faciales del personaje principal que se muestran en las ilustraciones del libro, para saber si eso nos daría una nueva lente para entender la historia.

En esta caricatura en blanco y negro, Haft cuenta su horrible historia, en el que él y otros reclusos del campo de concentración fueron obligados a boxear hasta la muerte. La historia está escrita desde la perspectiva de Haft; intercalados a lo largo de la narrativa hay paneles de flashbacks que representan los recuerdos de Haft de importantes eventos personales.

El enfoque de humanidades sería analizar y contextualizar elementos de la historia, o el cuento en su conjunto. La novela gráfica de Kleist es una reinterpretación de una novela biográfica de 2009 del hijo de Haft, Allan, basado en lo que Allan sabía sobre las experiencias de su padre. El análisis de este complejo conjunto de interpretaciones y entendimientos de los autores podría servir solo para agregar otra capa subjetiva sobre las existentes.

Desde la perspectiva de la filosofía de la ciencia, ese nivel de análisis solo complicaría las cosas. Los eruditos pueden tener diferentes interpretaciones, pero aunque todos estuvieran de acuerdo, todavía no sabrían si su intuición era objetivamente verdadera o si todo el mundo sufría de la misma ilusión. Resolver el dilema requeriría un experimento destinado a generar una medida que otros pudieran reproducir de forma independiente.

¿Interpretación reproducible de imágenes?

En lugar de interpretar las imágenes nosotros mismos, someterlos a nuestros propios prejuicios y preconceptos, Esperábamos que la IA pudiera aportar una visión más objetiva. Comenzamos escaneando todos los paneles del libro. Luego ejecutamos la IA de visión de Google y también el reconocimiento facial y la anotación de personajes emocionales de Microsoft AZURE.

Los algoritmos que usamos para analizar "The Boxer" fueron entrenados previamente por Google o Microsoft en cientos de miles de imágenes ya etiquetadas con descripciones de lo que representan. En esta fase de formación, se pidió a los sistemas de inteligencia artificial que identificaran lo que mostraban las imágenes, y esas respuestas se compararon con las descripciones existentes para ver si el sistema que se estaba capacitando era correcto o incorrecto. El sistema de entrenamiento fortaleció los elementos de las redes neuronales profundas subyacentes que produjeron respuestas correctas, y debilitó las partes que contribuyeron a respuestas incorrectas. Tanto el método como los materiales de capacitación, las imágenes y las anotaciones, son cruciales para el rendimiento del sistema.

Luego, soltamos la IA en las imágenes del libro. Al igual que en "Family Feud, "donde los productores del programa hacen una pregunta a 100 extraños y cuentan cuántos eligen cada respuesta potencial, nuestro método le pide a una IA que determine qué emoción está mostrando una cara. Este enfoque agrega un elemento clave que a menudo falta cuando se interpreta subjetivamente el contenido:la reproducibilidad. Cualquier investigador que quiera verificar puede ejecutar el algoritmo nuevamente y obtener los mismos resultados que obtuvimos.

Desafortunadamente, descubrimos que estas herramientas de inteligencia artificial están optimizadas para fotografías digitales, no escaneos de dibujos en blanco y negro. Eso significó que no obtuvimos muchos datos confiables sobre las emociones en las imágenes. También nos molestó descubrir que ninguno de los algoritmos identificaba ninguna de las imágenes como relacionadas con el Holocausto o los campos de concentración, aunque los espectadores humanos identificarían fácilmente esos temas. Ojalá, eso se debe a que las IA tenían problemas con las imágenes en blanco y negro, y no por negligencia o parcialidad en sus conjuntos de entrenamiento o anotaciones.

El sesgo es un fenómeno bien conocido en el aprendizaje automático, que puede tener resultados realmente ofensivos. Un análisis de estas imágenes basado únicamente en los datos que obtuvimos no habría discutido ni reconocido el Holocausto, una omisión que está en contra de la ley en Alemania, entre otros países. Estas fallas resaltan la importancia de evaluar críticamente las nuevas tecnologías antes de usarlas de manera más amplia.

Encontrar otros resultados reproducibles

Decidido a encontrar una forma alternativa de enfoques cuantitativos para ayudar a las humanidades, Terminamos analizando el brillo de las imágenes, comparando escenas de flashback con otros momentos de la vida de Haft. Con ese fin, cuantificamos el brillo de las imágenes escaneadas utilizando un software de análisis de imágenes.

Descubrimos que a lo largo del libro, Fases emocionalmente felices y ligeras como su fuga de prisión o la vida de posguerra de Haft en los EE. UU. se muestran con imágenes brillantes. Fases traumatizantes y tristes, como sus experiencias en el campo de concentración, se muestran como imágenes oscuras. Esto se alinea con las identificaciones de la psicología del color del blanco como un tono puro y feliz, y el negro como símbolo de la tristeza y el dolor.

Habiendo establecido una comprensión general de cómo se usa el brillo en las imágenes del libro, miramos más de cerca las escenas de flashback. Todos ellos representaron eventos emocionalmente intensos, y algunos de ellos eran oscuros, como recuerdos de incinerar a otros reclusos del campo de concentración y dejar al amor de su vida.

Estabamos sorprendidos, sin embargo, para encontrar que los flashbacks que muestran a Haft a punto de golpear a sus oponentes hasta la muerte eran brillantes y claros, lo que sugiere que está teniendo una emoción positiva sobre el próximo encuentro fatal. Eso es exactamente lo contrario de lo que probablemente sienten los lectores como nosotros al seguir la historia. tal vez viendo al oponente de Haft como débil y dándose cuenta de que está a punto de ser asesinado. Cuando el lector siente lástima y empatía, ¿Por qué Haft se siente positivo?

Esta contradicción encontrado midiendo el brillo de las imágenes, puede revelar una visión más profunda de cómo los campos de exterminio nazis afectaron emocionalmente a Haft. Para nosotros, ahora, Es inimaginable cómo sería positiva la perspectiva de golpear a otra persona hasta la muerte en un combate de boxeo. Pero tal vez Haft estaba en una situación tan desesperada que vio esperanza de sobrevivir cuando se enfrentó a un oponente que estaba aún más hambriento que él.

El uso de herramientas de inteligencia artificial para analizar esta pieza de literatura arrojó nueva luz sobre los elementos clave de la emoción y la memoria en el libro, pero no reemplazó las habilidades de un experto o erudito en la interpretación de textos o imágenes. Como resultado de nuestro experimento, creemos que la IA y otros métodos computacionales presentan una oportunidad interesante con el potencial de ser más cuantificables, investigación reproducible y tal vez objetiva en las humanidades.

Será un desafío encontrar formas de usar la inteligencia artificial de manera adecuada en las humanidades, y más aún porque los sistemas de inteligencia artificial actuales aún no son lo suficientemente sofisticados para funcionar de manera confiable en todos los contextos. Los académicos también deben estar atentos a posibles sesgos en estas herramientas. Si el objetivo final de la investigación de la IA es desarrollar máquinas que compitan con la cognición humana, Los sistemas de inteligencia artificial pueden necesitar no solo comportarse como personas, pero entender e interpretar sentimientos como personas, también.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.