Statcheck:Cuando los bots 'corrigen' los académicos Jason Stang / Getty Images ¿Conoce a ese compañero de trabajo que siempre se acerca a su escritorio y le dice en voz alta que encontró un error en el informe que está entregando? Por un lado, es bueno - no hay necesidad de que el jefe vea que todavía confundes "su / allí". Por otro lado ... que dolor.
En los últimos meses, Los científicos han estado sintiendo las mismas emociones encontradas que statcheck, una nueva aplicación que escanea estudios psicológicos en busca de errores, ha sido desvelado. Y al igual que el compañero de trabajo "útil", es el modo de desvelar lo que ha afectado a algunos nervios.
Comencemos con lo que hace exactamente statcheck. Sam Schwarzkopf, un neurocientífico del University College London que escribe el blog de ciencia NeuroNeurotic, lo compara con un corrector ortográfico de estadísticas. "La mayoría de los errores marcados por statcheck son probablemente intrascendentes, ", explica por correo electrónico." Es un poco doloroso ver el error, pero en realidad no hace mucho daño ". Un error tipográfico, por ejemplo. Genial para atrapar pero no espantoso.
Sin embargo, cuando statcheck marca errores como "potencialmente modificando las conclusiones, "es similar a encontrar un error tipográfico que" cambiaría el significado de la oración, ", Dice Schwarzkopf. Pero eso no significa que estos errores estadísticos estén definitivamente cambiando los resultados, cualquiera.
"Apuesto a que la mayoría de estos errores probablemente sean errores tipográficos y no cambien las conclusiones, ", Dice Schwarzkopf." En muchos casos, se puede decir a partir de los resultados, ya sea los números o las gráficas, que las conclusiones son correctas y que la prueba estadística simplemente está mal informada ".
Por supuesto, Habrá casos en los que haya un error real, lo que significaría que hubo un error con un cálculo real, o que los números son fraudulentos. De cualquier manera, implicaría un manual real, cheque a la antigua.
Entonces suena genial ¿Derecha? Una forma para que los académicos verifiquen su investigación antes de enviarla y ayuden a trabajar hacia resultados más precisos. Pero el gran lanzamiento de statcheck fue un poco más dramático:50, Se analizaron 000 artículos en PubPeer (una plataforma en línea que permite a los investigadores compartir y discutir artículos publicados) utilizando statcheck, y, por lo tanto, se marcaron con informes generados automáticamente, incluso si el informe solo decía que no había errores.
No todo el mundo estaba emocionado de que se analizara y comentara su trabajo no solicitado, especialmente en un foro donde un comentario en un artículo generalmente significa que se encontró un error. Una bandera que indique que el papel ha sido escaneado por statcheck podría dar lugar a una mala interpretación, en otras palabras.
Y es importante recordar que statcheck no es de ninguna manera una pieza perfecta de inteligencia artificial. "Dado que statcheck es un algoritmo automatizado, nunca será tan preciso como una verificación manual, "dice Michéle Nuijten por correo electrónico. Nuijten es estudiante de doctorado en la Universidad de Tilburg en los Países Bajos y ayudó a crear statcheck". Debido a los errores que comete statcheck, siempre tiene que verificar manualmente cualquier inconsistencia marcada statcheck, antes de sacar conclusiones sólidas ".
Tanto Nuijten como Chris Hartgerink (el investigador que escaneó e informó sobre los artículos de PubPeer), Tenían claro que statcheck tenía errores y fallos. El manual de statcheck también incluye listas detalladas de lo que statcheck no puede hacer.
Lo que vuelve a lo que también señala Schwarzkopf:encontrar errores en las estadísticas es un gran aviso, pero no necesariamente cuenta la historia de los datos. El documento informa que uno de cada ocho documentos contenía un error que mayo han afectado la conclusión estadística, lo que podría llevarnos a todos al pánico de que la ciencia esté equivocada, arriba es abajo, y no se debe confiar en nadie. Pero statcheck no nos dice cuántos errores Realmente afectó las conclusiones de los estudios. Solo señala posibles inconsistencias graves.
Schwarzkopf advierte que no debemos entrar en pánico porque todos estos errores significan conclusiones falsas. "La abrumadora mayoría, incluso de estos uno de cada ocho errores, probablemente sean intrascendentes porque se deben a errores tipográficos más que a errores de cálculo reales de los resultados, ", dice." Definitivamente es bueno detectar tales errores, pero no invalidan las interpretaciones de los hallazgos. La única forma de distinguir si un error se debe a un error tipográfico o un verdadero error de cálculo es mirar los datos en sí y reproducir las estadísticas ".
En otras palabras, debemos asegurarnos de que los autores y las publicaciones estén verificando (y luego volviendo a verificar) las estadísticas antes de la publicación y, lo que es más importante, también están replicando los resultados.
Y aunque algunos científicos no estaban encantados de que su trabajo se analizara o marcara en PubPeer, Es justo decir que a los investigadores les resultará un alivio utilizar la tecnología de verificación de estado para verificar su propio trabajo. que ahora pueden hacer fácilmente en http://statcheck.io.
AHORA ESO INTERESANTEEs importante tener en cuenta que statcheck solo está diseñado para trabajar con documentos psicológicos. Nuijten y sus colegas están trabajando actualmente en la financiación para expandir statcheck a otros campos, como las ciencias biomédicas y la economía.
