Kurt Luther, Profesor asistente de Ciencias de la Computación de Virginia Tech, ha desarrollado una plataforma de software libre que utiliza crowdsourcing para aumentar significativamente la capacidad de los algoritmos para identificar rostros en fotografías.

A través de la plataforma de software, llamado Photo Sleuth, Luther busca descubrir los misterios de los casi 4 millones de fotografías de imágenes de la época de la Guerra Civil que pueden existir en el registro histórico.

Luther presentará su investigación sobre la plataforma Photo Sleuth el 19 de marzo en la conferencia Intelligent User Interfaces de la Association for Computing Machinery en Los Ángeles. California. También hará una demostración de Photo Sleuth en la gran inauguración del Museo de la Guerra Civil Estadounidense ampliado, en Richmond, Virginia, el 4 de mayo 2019.

Lutero un aficionado a la historia, se inspiró para desarrollar el software para Civil War Photo Sleuth en 2013 mientras visitaba la exhibición del Heinz History Center llamada "Pennsylvania's Civil War" en Pittsburgh, Pensilvania. Allí se topó con un retrato de la época de la Guerra Civil de Oliver Croxton, su tatara-tatara-tío que sirvió en la Compañía E de la 134a Pensilvania, vestido con un uniforme de cabo.

"Ver a mi pariente lejano mirándome fue como viajar en el tiempo, ", dijo Luther." Las fotos históricas pueden decirnos mucho no solo sobre nuestra propia historia familiar, sino que también informan el registro histórico de la época de manera más amplia que simplemente leer sobre el evento en un libro de historia ".

El proyecto Civil War Photo Sleuth, financiado principalmente por la National Science Foundation, se lanzó oficialmente como una plataforma web en los Archivos Nacionales de Washington, CORRIENTE CONTINUA., el 1 de agosto 2018, y permite a los usuarios subir fotos, etiquetarlos con señales visuales, y conectarlos a perfiles de soldados de la Guerra Civil con registros detallados de la historia militar. La base de datos de referencia inicial de Photo Sleuth contenía más de 15, 000 retratos de soldados de la Guerra Civil identificados de fuentes de dominio público como el Instituto de Historia Militar de EE. UU. Y otras colecciones privadas.

Antes del lanzamiento oficial del proyecto en agosto, la plataforma de software ganó los $ 25, 000 Microsoft Cloud AI Research Challenge y el premio a la mejor demostración en la conferencia Human Computation and Crowdsourcing 2018 en Zúrich, Suiza, para Lutero y su equipo, que incluye colaboradores académicos e históricos, el Centro de Virginia para Estudios de la Guerra Civil, y la revista Military Images.

Según Lutero, La clave del éxito posterior al lanzamiento del sitio ha sido la capacidad de crear una sólida comunidad de usuarios. Más de 600 usuarios contribuyeron con más de 2, 000 fotos de la Guerra Civil en el sitio web durante el primer mes después del lanzamiento, y aproximadamente la mitad de esas fotos no estaban identificadas. Más de 100 de estas fotos desconocidas estaban vinculadas a soldados específicos, y un análisis de expertos encontró que más del 85 por ciento de estas identificaciones propuestas eran probablemente o definitivamente correctas. Ahora, la base de datos ha crecido a más de 4, 000 usuarios registrados y más de 8, 000 fotografías.

"Típicamente, La investigación colaborativa como esta es un desafío para los principiantes si los usuarios no tienen un conocimiento específico del área temática, ", dijo Luther." El proceso paso a paso de etiquetar pistas visuales y aplicar filtros de búsqueda vinculados a los registros del servicio militar hace que este trabajo de detective sea más accesible, incluso para aquellos que no tengan un conocimiento más profundo de la historia militar de la Guerra Civil ".

Las tareas de identificación de personas pueden ser un desafío en grupos de candidatos más grandes porque existe un mayor riesgo de falsos positivos. El enfoque novedoso detrás de Civil War Photo Sleuth se basa en la analogía de encontrar una aguja en un pajar. La canalización de datos tiene tres componentes relacionados con el pajar:construir el pajar, estrechando el pajar, y encontrar la aguja en el pajar. Cuando se combina, permiten a los usuarios identificar soldados desconocidos mientras reducen el riesgo de falsos positivos.

La construcción del pajar se realiza incentivando a los usuarios a subir imágenes escaneadas de los anverso y reverso de las fotos de la Guerra Civil. Cada vez que un usuario sube una foto para identificarlo, la foto se agrega al archivo digital del sitio o "pajar, "haciéndolo disponible para búsquedas futuras.

Después de la carga, el usuario etiqueta los metadatos relacionados con la fotografía, como el formato de la foto o las inscripciones, así como pistas visuales, como el color del pelaje, galones, Correas de hombro, insignia de cuello, y sombrero insignia. Estas etiquetas están vinculadas a filtros de búsqueda para priorizar las coincidencias más probables. Por ejemplo, un soldado etiquetado con la insignia del sombrero de "cuerno de caza" sugeriría posibles coincidencias que sirvieron en la infantería, mientras se esconde resulta de la caballería o la artillería. Próximo, el sitio utiliza tecnología de reconocimiento facial de última generación para eliminar rostros de aspecto muy diferente y clasificar los restantes por similitud. Tanto los pasos de etiquetado como de reconocimiento facial reducen el pajar.

Finalmente, los usuarios encuentran la aguja en el pajar explorando las coincidencias de mayor probabilidad con más detalle. Una herramienta de comparación con controles de panorámica y zoom ayuda a los usuarios a inspeccionar cuidadosamente una posible coincidencia y, si deciden que es un partido, vincular la foto previamente desconocida con su nueva identidad y detalles biográficos.

Los registros militares utilizados por los filtros provienen de innumerables fuentes públicas, incluida la base de datos de soldados y marineros del Servicio de Parques Nacionales.

Remontar fotos históricas de la Guerra Civil a través de software de reconocimiento facial como Photo Sleuth tiene amplias aplicaciones más allá de la identificación de fotos históricas, también. El software tiene el potencial de generar nuevas formas de pensar sobre la construcción de sistemas de identificación de personas que van más allá del reconocimiento facial y aprovechan las fortalezas complementarias de la inteligencia humana y artificial.