En el futuro, los chatbots serán aún más conversadores y menos tontos. Sí, Llegará el día en que podrás reflexionar fácilmente sobre lo lejos que han llegado las habilidades lingüísticas de la IA. Y sobre esa reflexión, no ignore las contribuciones de Nvidia en su trabajo con BERT.

OK, Nos abstendremos de llamar tontas a las habilidades lingüísticas de la IA. Nvidia lo expresó con más tacto en su anuncio el 13 de agosto. Los "servicios limitados de inteligencia artificial conversacional" han existido durante varios años, pero ha sido extremadamente difícil para los chatbots. Asistentes personales inteligentes y motores de búsqueda para operar con comprensión a nivel humano debido a la incapacidad de implementar modelos de IA extremadamente grandes en tiempo real. dijo la empresa.

Eso ha cambiado. Nvidia dijo que las optimizaciones clave agregadas a su plataforma de inteligencia artificial ayudaron a lograr récords de velocidad en el entrenamiento y la inferencia de inteligencia artificial. HotHardware ir al grano al evaluar el impacto de este trabajo. "Nvdia batió récords en el entrenamiento de IA conversacional que podría" impulsar "a los asistentes convencionales como Alexa y Siri.

Volvamos a BERT, que ya se ha ganado un lugar legítimo en el procesamiento del lenguaje natural. Un anuncio de noviembre de 2018 de Google apareció en su blog de inteligencia artificial de Google:

"Uno de los mayores desafíos en el procesamiento del lenguaje natural (PNL) es la escasez de datos de entrenamiento ... la mayoría de los conjuntos de datos específicos de tareas contienen solo unos pocos miles o algunos cientos de miles de ejemplos de entrenamiento etiquetados por humanos ... Para ayudar a cerrar esta brecha en datos, Los investigadores han desarrollado una variedad de técnicas para entrenar modelos de representación de lenguaje de propósito general utilizando la enorme cantidad de texto sin anotar en la web (conocido como entrenamiento previo). El modelo previamente entrenado se puede ajustar en tareas de PNL de datos pequeños, como la respuesta a preguntas y el análisis de sentimientos, resultando en mejoras sustanciales de precisión en comparación con el entrenamiento en estos conjuntos de datos desde cero.

"Esta semana, abrimos una nueva técnica para la capacitación previa en PNL llamada Representaciones de codificador bidireccional de Transformers, o BERT ".

Bien, eso fue "esta semana" en 2018 y ahora es esta semana en 2019. El blog de desarrolladores de Nvidia anunció el martes que Nvidia registró el tiempo de entrenamiento BERT más rápido del mundo. NVIDIA DGX SuperPOD entrenó BERT-Large en solo 53 minutos.

Como dijo Darrell Etherington en TechCrunch , esto significa que "la marca de la hora" en el entrenamiento BERT se rompió (53 minutos). Etherington dijo:"La plataforma de inteligencia artificial de Nvidia pudo entrenar el modelo en menos de una hora, un logro récord en solo 53 minutos ".

Shar Narasimhan de Nvidia escribió en su blog que una ventaja clave de BERT era que no necesita ser entrenado previamente con datos etiquetados, para que pueda aprender a usar cualquier texto sin formato. Esta ventaja abre la puerta a conjuntos de datos masivos. Números de BERT:Narasimhan dijo que generalmente estaba "pre-entrenado en una concatenación de BooksCorpus (800 millones de palabras) y la Wikipedia en inglés (2,5 mil millones de palabras), para formar un conjunto de datos total de 3.300 millones de palabras ".

El comunicado de prensa de Nvidia del 13 de agosto dijo que los primeros en adoptar los avances de rendimiento de la compañía incluyeron a Microsoft y nuevas empresas que aprovechan su plataforma para desarrollar servicios basados ​​en idiomas para los clientes. Microsoft Bing está utilizando su plataforma Azure AI y la tecnología Nvidia para ejecutar BERT.

Rangan Majumde, gerente de programa de grupo, Microsoft Bing, dijo que Bing optimizó aún más la inferencia de BERT. Dijo que lograron "dos veces la reducción de latencia y cinco veces la mejora del rendimiento durante la inferencia utilizando las GPU NVIDIA de Azure en comparación con una plataforma basada en CPU".

David Cardinal en ExtremeTech tuvo más detalles sobre lo que Nvidia trajo a la mesa para promover BERT:"Nvidia ha demostrado que ahora puede entrenar BERT (el modelo de lenguaje de referencia de Google) en menos de una hora en un DGX SuperPOD que consta de 1, 472 GPU Tesla V100-SXM3-32GB, 92 servidores DGX-2H, y 10 Mellanox Infiniband por nodo ".

También parte de los derechos de fanfarronear de Nvidia en el frente de la IA es un modelo de lenguaje basado en Transformers, el bloque de construcción de tecnología utilizado para BERT. Nvidia dijo:"Con un enfoque en la necesidad cada vez mayor de los desarrolladores de modelos más grandes, NVIDIA Research construyó y entrenó el modelo de lenguaje más grande del mundo basado en Transformers, el bloque de construcción de tecnología utilizado para BERT y un número creciente de otros modelos de inteligencia artificial en lenguaje natural. Modelo personalizado de NVIDIA, con 8,3 mil millones de parámetros, es 24 veces el tamaño de BERT-Large ".

Según Nvidia, Ellos "construyeron el modelo de lenguaje basado en transformadores más grande del mundo sobre el hardware de aprendizaje profundo existente, software, y modelos. Al hacerlo, superamos con éxito las limitaciones planteadas por el entrenamiento tradicional de una sola GPU mediante la implementación de un enfoque paralelo de modelo simple y eficiente con solo unas pocas modificaciones específicas a las implementaciones de transformadores PyTorch existentes ".

© 2019 Science X Network