A medida que el papel de la IA en la sociedad continúa expandiéndose, J B Brown de la Facultad de Medicina de Graduados informa sobre un nuevo método de evaluación para el tipo de IA que predice respuestas sí / positivas / verdaderas o no / negativas / falsas.

Papel de Brown, publicado en Informática molecular , deconstruye la utilización de la IA y analiza la naturaleza de las estadísticas utilizadas para informar sobre la capacidad de un programa de IA. La nueva técnica también genera una probabilidad del nivel de desempeño dados los datos de evaluación, respondiendo preguntas como:¿Cuál es la probabilidad de lograr una precisión superior al 90%?

Los informes de nuevas aplicaciones de IA aparecen en las noticias casi a diario, incluso en la sociedad y la ciencia, Finanzas, productos farmacéuticos, medicamento, y seguridad.

"Si bien las estadísticas informadas parecen impresionantes, Los equipos de investigación y los que evalúan los resultados se encuentran con dos problemas, "explica Brown". Primero, para entender si la IA logró sus resultados por casualidad, y segundo, para interpretar la aplicabilidad de las estadísticas de rendimiento informadas ".

Por ejemplo, si un programa de inteligencia artificial está diseñado para predecir si alguien ganará la lotería o no, siempre puede predecir una pérdida. El programa puede lograr '99% de precisión', pero la interpretación es clave para determinar la exactitud de la conclusión de que el programa es exacto.

Pero aquí radica el problema:en el desarrollo típico de la IA, solo se puede confiar en la evaluación si hay un número igual de resultados positivos y negativos. Si los datos están sesgados hacia cualquiera de los valores, el actual sistema de evaluación exagerará la capacidad del sistema.

Entonces, para abordar este problema, Brown desarrolló una nueva técnica que evalúa el rendimiento basándose únicamente en los datos de entrada.

"La novedad de esta técnica es que no depende de ningún tipo de tecnología de IA, como el aprendizaje profundo, "Brown describe." Puede ayudar a desarrollar nuevas métricas de evaluación al observar cómo una métrica interactúa con el equilibrio en los datos pronosticados. Entonces podemos saber si las métricas resultantes podrían estar sesgadas ".

Brown espera que este análisis no solo genere conciencia sobre cómo pensamos sobre la IA en el futuro, pero también que contribuye al desarrollo de plataformas de IA más robustas.

Además de la métrica de precisión, Brown probó otras seis métricas tanto en escenarios teóricos como aplicados, encontrando que ninguna métrica era universalmente superior. Él dice que la clave para construir plataformas de inteligencia artificial útiles es adoptar una visión multimétrica de la evaluación.

"La IA puede ayudarnos a comprender muchos fenómenos del mundo, pero para que nos proporcione una dirección adecuada, debemos saber cómo hacer las preguntas correctas. Debemos tener cuidado de no centrarnos demasiado en un solo número como medida de la fiabilidad de una IA ".

El programa de Brown está disponible gratuitamente para el público en general, investigadores, y desarrolladores.