No es la noticia más reconfortante en el mundo de la tecnología:el laboratorio de inteligencia artificial (OpenAI) cofundado por Elon Musk dijo que su software podría adaptarse con demasiada facilidad para generar noticias falsas. "Dos graduados lo recrearon de todos modos". Eso fue Cableado La cobertura del 26 de agosto de una historia sobre dos recién graduados de maestría en ciencias de la computación que lanzaron lo que dijeron era "una recreación del software retenido de OpenAI" para que cualquiera pueda descargar y usar.

¿Retenido? ¿Por qué? Se había retenido por preocupaciones sobre el impacto social.

En febrero, OpenAI anunció su modelo, GPT-2, y dijo que estaba capacitado para predecir la siguiente palabra en 40 GB de texto de Internet.

Explicaron su estrategia de publicación:"Debido a las preocupaciones sobre el uso de modelos de lenguaje grandes para generar mensajes engañosos, tendencioso, o lenguaje abusivo a gran escala, solo estamos lanzando una versión mucho más pequeña de GPT-2 junto con el código de muestra. No publicaremos el conjunto de datos, código de entrenamiento, o pesos del modelo GPT-2 ". En mayo, dijo Tecnología MIT Revisar , "unos meses después del debut inicial de GPT-2, OpenAI revisó su postura sobre la retención del código completo a lo que llama un "lanzamiento por etapas".

Charanjeet Singh en Fossbytes dijo que el software analiza patrones de lenguaje y podría usarse para tareas como chatbots y dar respuestas sin precedentes, pero "la preocupación más alarmante entre los expertos ha sido la creación de texto sintético".

Bien, los dos graduados en las noticias lanzaron una recreación del software OpenAI en Internet, pero los dos investigadores, Aaron Gokaslan ad Vanya Cohen, Nunca quise drenar océanos o hacer caer el cielo.

Tom Simonite, quien escribió el artículo tan citado en Cableado , dijeron los dos investigadores, 23 y 24 años, no pretendían causar estragos, pero dijeron que su lanzamiento tenía la intención de demostrar que no es necesario ser un laboratorio de élite rico en dólares y doctores para crear este tipo de software:usaron un estimado de $ 50, 000 de computación en la nube gratuita de Google.

Sissi Cao, Observador :Similar al proceso de OpenAI, Gokaslan y Cohen entrenaron su software de lenguaje usando páginas web de texto "escrito por humanos (recolectando enlaces compartidos en Reddit) y computación en la nube de Google.

Qué es más, Las acciones de los investigadores que son potencialmente peligrosas podrían debatirse.

Simonite señaló este punto:"El software de aprendizaje automático capta los patrones estadísticos del lenguaje, no una verdadera comprensión del mundo. El texto del software original y del aspirante a menudo da saltos sin sentido. Ninguno puede ser dirigido a incluir hechos o puntos de vista particulares ".

La salida de muestra fue proporcionada por Gokaslan y Cohen en Medio y, con seguridad, es un rasguño de cabeza cuando uno intenta encontrar cualquier flujo lógico de una oración a otra.

Ese artículo se tituló "OpenGPT-2:replicamos GPT-2 porque usted también puede". Dijeron que creían que lanzar su modelo era un primer paso razonable para contrarrestar el posible abuso futuro de este tipo de modelos. Dijo que modificaron su base de código para que coincida con el objetivo de entrenamiento de modelado de lenguaje de GPT-2. "Dado que su modelo se entrenó en un corpus igualmente grande, gran parte del código y los hiperparámetros demostraron ser fácilmente reutilizables ".

Dado que Open-AI no había lanzado su modelo más grande en este momento [la fecha de su publicación fue el 22 de agosto], Dijo que los dos investigadores buscaron replicar su modelo 1.5B para permitir que otros construyan sobre su modelo previamente entrenado y lo mejoren aún más.

Avance rápido hasta el 29 de agosto. ¿Dónde deja todo esto al GPT-2 de OpenAI? Karen Hao en Revisión de tecnología del MIT dijo que el equipo de políticas ha publicado un documento, enviado el 24 de agosto, que ahora está en arXiv, y "Junto a él, el laboratorio ha lanzado una versión del modelo, conocido como GPT-2, eso es la mitad del tamaño del completo, que aún no se ha publicado ".

El artículo de Hao fue particularmente útil para comprender este drama de texto falso, ya que informó sobre cómo se estaba recibiendo el enfoque de lanzamiento por etapas fuera de OpenAI.

Un ingeniero de aprendizaje profundo de Nvidia dijo que no creía que un lanzamiento por etapas fuera particularmente útil en este caso porque el trabajo era fácilmente replicable. "Pero podría ser útil en la forma en que sienta un precedente para proyectos futuros. La gente verá el lanzamiento por etapas como una opción alternativa".

También citó a Oren Etzioni, el CEO del Instituto Allen de Inteligencia Artificial. "Aplaudo su intención de diseñar una proceso de lanzamiento gradual para la tecnología de inteligencia artificial, pero cuestionamos si toda la fanfarria estaba justificada ".

© 2019 Science X Network