¿Pueden los chatbots proporcionar información precisa sobre los peligros del cambio climático? Bueno, eso depende de una variedad de factores, incluido el tema específico, la ubicación que se considera y cuánto se le paga al chatbot, según un grupo de investigadores de Virginia Tech.
"Creo que lo que encontramos es que está bien usar inteligencia artificial, sólo hay que tener cuidado y no se puede tomar palabra por palabra", dijo Gina Girgente, quien se graduó con una licenciatura en geografía la primavera pasada. "Definitivamente no es un método infalible."
Girgente formó parte de un equipo de investigación interdisciplinario que planteó preguntas sobre tres peligros relacionados con el cambio climático (tormentas tropicales, inundaciones y sequías) en 191 países a las versiones gratuitas y pagas de ChatGPT. Desarrollado por OpenAI Inc., ChatGPT es un modelo de lenguaje grande diseñado para comprender preguntas y generar respuestas de texto basadas en las solicitudes de los usuarios.
Luego, el grupo comparó las respuestas de los chatbots con los índices de riesgo de peligros que generaron utilizando datos del Panel Intergubernamental sobre Cambio Climático, un organismo de las Naciones Unidas encargado de evaluar la ciencia relacionada con el cambio climático.
"En general, encontramos más acuerdo que desacuerdo", dijo Carmen Atkins, autora principal y doctorada de segundo año. Estudiante del Departamento de Geociencias. "Los resultados generados por la IA fueron precisos más de la mitad de las veces, pero hubo más precisión con las tormentas tropicales y menos con las sequías".
En un artículo publicado en Comunicaciones Tierra y Medio Ambiente , el grupo informó que las respuestas de ChatGPT4 estaban alineadas con los índices con los siguientes grados de precisión:
También descubrieron que la precisión del chatbot aumentaba cuando se les preguntaba sobre países más desarrollados y que la versión paga de la plataforma, actualmente ChatGPT-4, era más precisa que la versión gratuita, que en ese momento era ChatGPT-3.5.
Encontraron menos coherencia en las respuestas sobre el mismo tema cuando se les preguntó sobre ciertas regiones, especialmente muchos países de África y Medio Oriente, que se consideran países de bajos ingresos o en desarrollo. Y descubrieron que la versión paga de la plataforma, actualmente ChatGPT-4, era más precisa que la versión gratuita, que en ese momento era ChatGPT-3.5.
"Somos los primeros en analizar esto de manera sistemática, hasta donde sabemos, y más allá de eso, es realmente un llamado a la acción para que más personas investiguen este problema", dijo Atkins.
Según la publicación, los investigadores seleccionaron el servicio ChatGPT debido a su popularidad, particularmente entre usuarios de entre 18 y 34 años, y su tasa de uso en los países en desarrollo.
Atkins y Girgente, quienes serán estudiantes de posgrado en la Universidad de Denver en el otoño, dijeron que la idea del proyecto surgió de su tiempo en la clase de Junghwan Kim, profesor asistente en el Departamento de Geografía. Allí, Kim compartió algunas de sus propias investigaciones sobre los sesgos geográficos en ChatGPT cuando se le preguntó sobre temas de justicia ambiental.
"Esto abrió toda esta idea de las diferentes cosas que podríamos ver con ChatGPT", dijo Atkins. "Y para mí, personalmente, el cambio climático y específicamente la alfabetización sobre el cambio climático, que es fundamental para combatir la desinformación, me hicieron querer ver si ChatGPT podría ser útil o perjudicial para ese problema".
Kim también es coautor de este nuevo estudio, al igual que Manoochehr Shirzaei, profesor asociado de geofísica y teledetección.
Kim dijo que sentía que sería especialmente importante compartir los resultados con los estudiantes que podrían confiar demasiado en los chatbots y que también habían impactado su propio uso del software.
Si bien el grupo cree que sus hallazgos demuestran la clara necesidad de un enfoque cauteloso en el uso de la inteligencia artificial generativa, también creen que este estudio es sólo el comienzo de la investigación necesaria, que deberá repetirse a medida que los diferentes software sigan evolucionando. P>
"Esto es sólo la punta del iceberg y, más que nada, simplemente queremos llamar la atención sobre estas cuestiones", dijo Atkins. "La IA generativa es parte de nuestro mundo ahora, pero necesitamos usarla de la manera más educada posible".
Más información: Carmen Atkins et al, Las herramientas de IA generativa pueden mejorar la alfabetización climática, pero deben comprobarse para detectar sesgos e imprecisiones, Comunicaciones Tierra y Medio Ambiente (2024). DOI:10.1038/s43247-024-01392-w
Información de la revista: Comunicaciones Tierra y Medio Ambiente
Proporcionado por Virginia Tech
