Esperar, ¿Qué? ¿Crear una IA puede ser mucho peor para el planeta que un automóvil? Piense en la huella de carbono. Eso es lo que hizo un grupo de la Universidad de Massachusetts Amherst. Se propusieron evaluar el consumo de energía necesario para entrenar cuatro grandes redes neuronales.

Su artículo está atrayendo actualmente la atención entre los sitios de observación de tecnología. Se titula "Consideraciones sobre energía y políticas para el aprendizaje profundo en PNL, "por Emma Strubell, Ananya Ganesh y Andrew McCallum.

Esta, dijo Karen Hao, reportero de inteligencia artificial para Revisión de tecnología del MIT , fue una evaluación del ciclo de vida para entrenar varios modelos grandes de IA comunes.

"Los avances recientes en el hardware y la metodología para el entrenamiento de redes neuronales han marcado el comienzo de una nueva generación de grandes redes entrenadas con datos abundantes, "dijeron los investigadores.

¿Cuál es tu conjetura? ¿Que entrenar un modelo de IA resultaría en una huella "pesada"? "¿Algo pesado?" ¿Qué tal "terrible"? Esta última fue la palabra elegida por Revisión de tecnología del MIT el 6 de julio Jueves, informar sobre los hallazgos.

El aprendizaje profundo implica procesar grandes cantidades de datos. (El documento examinó específicamente el proceso de entrenamiento del modelo para el procesamiento del lenguaje natural, el subcampo de la IA que se centra en enseñar a las máquinas a manejar el lenguaje humano, dijo Hao.) Donna Lu en Científico nuevo citó Strubell, quien dijo, "Para aprender algo tan complejo como el lenguaje, los modelos tienen que ser grandes ". ¿Qué modelos de fijación de precios obtienen ganancias en precisión? provocando un consumo energético sustancial.

Hao informó sus hallazgos, que "el proceso puede emitir más de 626, 000 libras de dióxido de carbono equivalente, casi cinco veces las emisiones de por vida de un automóvil estadounidense promedio (y eso incluye la fabricación del automóvil en sí) ".

Estos modelos son costosos de entrenar y desarrollar, costosos en el sentido financiero debido al costo del hardware y la electricidad o el tiempo de computación en la nube. y costoso en el sentido medioambiental. El costo ambiental se debe a la huella de carbono. El documento buscaba llamar la atención de los investigadores de PNL sobre este tema "cuantificando los costos financieros y ambientales aproximados de entrenar una variedad de modelos de redes neuronales recientemente exitosos para PNL".

Cómo lo probaron:para medir el impacto ambiental, entrenaron a cuatro IA durante un día cada una, y muestreó el consumo de energía en todo momento. Calcularon la potencia total requerida para entrenar cada IA ​​multiplicando esto por el tiempo total de entrenamiento informado por los desarrolladores de cada modelo. Se calculó una huella de carbono en función de las emisiones de carbono promedio utilizadas en la producción de energía en los EE. UU.

¿Qué recomendaron los autores? Fueron en la dirección de las recomendaciones para reducir costos y "mejorar la equidad" en la investigación de PNL. ¿Capital? Los autores plantean el problema.

"Los investigadores académicos necesitan un acceso equitativo a los recursos de computación. Los avances recientes en la computación disponible tienen un alto precio que no se puede alcanzar para todos los que desean acceder. La mayoría de los modelos estudiados en este documento se desarrollaron fuera de la academia; mejoras recientes en el estado de la la precisión artística es posible gracias al acceso de la industria a la computación a gran escala ".

Los autores señalaron que "Limitar este estilo de investigación a los laboratorios de la industria perjudica a la comunidad de investigación de PNL de muchas maneras". Se reprime la creatividad. Las buenas ideas no son suficientes si el equipo de investigación no tiene acceso a la computación a gran escala.

"Segundo, prohíbe ciertos tipos de investigación sobre la base del acceso a recursos financieros. Esto promueve aún más profundamente el ya problemático ciclo de financiación de la investigación de `` ricos se hacen más ricos '', donde los grupos que ya tienen éxito y, por lo tanto, están bien financiados tienden a recibir más fondos debido a sus logros existentes ".

Los autores dijeron:"Los investigadores deben priorizar el hardware y los algoritmos computacionalmente eficientes". En esta vena, los autores recomendaron un esfuerzo por parte de la industria y el mundo académico para promover la investigación de algoritmos más eficientes desde el punto de vista computacional, y hardware que requiere menos energía.

¿Que sigue? La investigación se presentará en la Reunión Anual de la Asociación de Lingüística Informática en Florencia, Italia en julio.

© 2019 Science X Network