Una paleontóloga regresa a su laboratorio de una excavación de verano y establece un estudio que compara la longitud de los dientes en dos especies de dinosaurios. Ella y su equipo trabajan meticulosamente para evitar sesgar sus resultados. Permanecen ciegos a la especie mientras miden, los tamaños de muestra son grandes, y la recopilación y el análisis de datos son rigurosos.

El científico se sorprende al no encontrar diferencias significativas en la longitud de los dientes caninos entre las dos especies. Se da cuenta de que estos resultados inesperados son importantes y envía un artículo a las revistas correspondientes. Pero revista tras revista rechaza el artículo, ya que los resultados no son significativamente diferentes. Finalmente, el científico se rinde, y el papel con sus llamados resultados negativos se coloca en un cajón y se entierra bajo años de otros trabajos.

Este escenario y muchos otros similares se han desarrollado en todas las disciplinas científicas, lo que lleva a lo que se ha denominado "el problema del cajón de archivos". Las revistas de investigación y las agencias de financiación suelen inclinarse hacia la investigación que muestra resultados "positivos" o significativamente diferentes. Este desafortunado sesgo contribuye a muchos otros problemas en el proceso científico, como el sesgo de confirmación, en el que los datos se interpretan incorrectamente para respaldar un resultado deseado.

Un nuevo método:Equivalencia

Desafortunadamente, Los problemas de sesgo de publicación han prevalecido en la ciencia durante mucho tiempo. Debido a la estructura del método científico, Los científicos a menudo se centran solo en las diferencias entre grupos, como los dientes de dinosaurio de dos especies diferentes, o una comparación de salud pública de dos vecindarios diferentes. Esto deja completamente ocultos los estudios que se centran en las similitudes.

Sin embargo, Los ensayos farmacéuticos han encontrado una solución a este problema. En estos ensayos, Los investigadores a veces usan una prueba conocida como TOST, dos pruebas unilaterales, para buscar equivalencia entre tratamientos.

Por ejemplo, digamos que una empresa desarrolla un medicamento genérico que es más barato de producir que el medicamento de marca. Los investigadores deben demostrar que el nuevo fármaco funciona de manera estadísticamente equivalente a la marca antes de venderlo en el mercado. Ahí es donde entra la prueba de equivalencia. Si la prueba muestra equivalencia entre los efectos de las dos drogas, entonces la FDA puede aprobar el lanzamiento del nuevo fármaco al mercado.

Si bien las pruebas de equivalencia tradicionales son muy útiles para las pruebas farmacéuticas planificadas y controladas, no es lo suficientemente versátil para otros tipos de estudios. El TOST original no se puede usar para probar la equivalencia en experimentos donde los mismos individuos están en múltiples grupos de tratamiento, tampoco funciona si los dos grupos de prueba tienen diferentes tamaños de muestra.

Adicionalmente, El TOST utilizado en las pruebas farmacéuticas no suele abordar múltiples variables simultáneamente. Por ejemplo, un TOST tradicional podría analizar similitudes en la biodiversidad en varias ubicaciones de ríos antes y después de un cambio de temperatura. Sin embargo, nuestro nuevo TOST permitiría probar similitudes en múltiples variables, como la biodiversidad, pH del agua, profundidad del agua y claridad del agua - en todos los sitios del río simultáneamente.

Las limitaciones del TOST tradicional y la omnipresencia del "problema del cajón de archivos" llevaron a nuestro equipo a desarrollar una prueba de equivalencia multivariante, capaz de abordar similitudes en sistemas con medidas repetidas y tamaños de muestra desiguales.

Nuestra nueva prueba de equivalencia, publicado en octubre, da la vuelta al marco tradicional de hipótesis nula. Ahora, en lugar de asumir similitudes, un investigador comienza con la suposición de que los dos grupos son diferentes. La carga de la prueba ahora recae en evaluar el grado de similitud, en lugar del grado de diferencia.

Nuestra prueba también permite a los investigadores establecer su propio margen aceptable para declarar similitudes. Por ejemplo, si el margen se establece en 0,2, entonces los resultados le dirán si las medias de los dos grupos fueron similares dentro de más o menos 2 por ciento.

Un paso en la dirección correcta

Nuestra modificación significa que las pruebas de equivalencia ahora se pueden aplicar en una amplia gama de disciplinas. Por ejemplo, Utilizamos esta prueba para demostrar una estructura acústica equivalente en los cantos de los pájaros azules del este machos y hembras. Las pruebas de equivalencia también se han utilizado ya en algunas áreas de la ingeniería y la psicología.

El método podría aplicarse de manera aún más amplia. Imagine un grupo de investigadores que quiere examinar dos métodos de enseñanza diferentes. En un aula no hay tecnología, y en otro, todas las tareas de los estudiantes se realizan en línea. Las pruebas de equivalencia pueden ayudar a un distrito escolar a decidir si deben invertir más en tecnología o si los dos métodos de enseñanza son equivalentes.

El desarrollo de una prueba de equivalencia de amplia aplicación representa lo que creemos será un gran paso adelante en la larga lucha de los científicos por presentar resultados reales e imparciales. Esta prueba proporciona otra vía de exploración y permite a los investigadores examinar y publicar los resultados de estudios sobre similitudes que no se han publicado o financiado en el pasado.

La prevalencia del sesgo de publicación, incluido el problema del cajón de archivos, sesgo de confirmación y falsos positivos accidentales, es un gran obstáculo para el progreso científico. En algunos campos de investigación, hasta la mitad de los resultados faltan en la literatura publicada.

Las pruebas de equivalencia proporcionan otra herramienta en la caja de herramientas para que los científicos presenten resultados "positivos". Si la comunidad científica se apodera de esta prueba y la utiliza en todo su potencial, creemos que puede ayudar a mitigar una de las principales limitaciones en la forma en que se practica la ciencia actualmente.

Este artículo se ha vuelto a publicar de The Conversation con una licencia de Creative Commons. Lea el artículo original.