Caveat emptor. No esté tan seguro de poder confiar en todos los llamados estudios científicos que aparecen en las noticias, incluso si el escritor usa anteojos. shironosov / iStock / Thinkstock Comer chocolate, ¡perder peso! En marzo de 2015, los resultados de un nuevo estudio realizado por investigadores en Alemania causaron sensación con la afirmación de que el chocolate podría ser parte de un régimen de adelgazamiento. El estudio, dirigido por un tal Johannes Bohannon, director de investigación del Instituto de Dieta y Salud, una organización sin fines de lucro, demostró que agregar chocolate a una dieta baja en carbohidratos en realidad aumentaba la pérdida de peso.
El único problema fue que el estudio era completamente falso. Johannes Bohannon era en realidad un periodista científico llamado John Bohannon. Bohannon elaboró el estudio para demostrar la poca verificación de hechos que realizan los medios de comunicación cuando se trata de informar sobre ciencia [fuente:Hiltzik].
Si bien el "estudio" causó sensación en los medios sensacionalistas, pocos o ningún medio de comunicación de buena reputación lo cubrió. Tal vez sea porque reconocieron los signos reveladores de un estudio falso. Averigüemos cuáles son.
No lo hagas bebé. No deje caer esa taza. No lo hagas, totalmente lo vas a hacer, ¿no es así? Alianza / iStock / Thinkstock Todo el mundo realiza estudios. Cuando veas a los bebés dejar caer sus vasitos para bebés de sus sillas altas una y otra vez, están participando en uno de los experimentos más importantes de sus vidas. ¿El objeto de su investigación? Gravedad.
No importa cuántas veces dejamos caer las tazas, siempre caen al suelo. El hecho de que este experimento pueda repetirse sin cesar y por cualquier persona con el mismo resultado es uno de los principios básicos de cualquier estudio. No importa cuán convincentes sean los resultados de un estudio, si no puede ser repetido por investigadores pares, eso significa que no se puede validar.
Para señalar este problema, el Centro de Ciencia Abierta coordinó a 270 investigadores en un proyecto masivo para reproducir los resultados de 100 estudios publicados en el campo de la psicología. En 2015, después de años de trabajo, el Centro informó que más de la mitad de los estudios no se pudieron repetir porque la evidencia reunida para ellos no era tan sólida como se afirmó originalmente.
Uno de los estudios que probaron, por ejemplo, fue diseñado para determinar si los hombres tienen más dificultades para distinguir las señales sexuales de la amistad. Siguiendo la estructura del estudio original, el Centro de Ciencias Abiertas mostró a los sujetos de prueba una serie de fotos de mujeres que exhibían diferentes expresiones faciales.
Si bien el estudio original encontró que, Por supuesto, los hombres eran tontos al clavar las señales, la prueba de seguimiento del estudio no pudo replicar esos resultados. No está claro si esto se debió a diferencias culturales entre el primer y el segundo estudio (un estudio se realizó en el Reino Unido, el otro en EE. UU.) o el tiempo transcurrido entre estudios [fuente:Firger]. De cualquier manera, un hallazgo que no se puede reproducir no es uno para todas las edades.
Jim se tomó todo esto de la investigación observacional de forma demasiado literal. Daltonismo / Getty Images Personas muy serias con batas blancas de laboratorio inclinadas pensativamente sobre tubos de ensayo:esa es la imagen que a menudo nos viene a la mente cuando pensamos en un estudio científico. Pero ese es solo un tipo de estudio:un experimento de laboratorio.
Otro tipo de estudio se llama "observacional". Ahí es cuando los investigadores encuentran un grupo de sujetos de prueba, hazles muchas preguntas, registre las respuestas y luego "extraiga datos" de los resultados para ver qué encuentran.
Había una vez, Los estudios observacionales sugirieron que tener una personalidad "Tipo A" lo pone en mayor riesgo de sufrir un ataque cardíaco. Pero los ensayos clínicos aleatorios de seguimiento no pudieron repetir estos resultados, y ahora se sabe que el hallazgo original era completamente falso. ¿Cómo pasó esto?
Los estudios observacionales pueden, por supuesto, ser enormemente útil y esclarecedor. Pero existe la posibilidad de obtener resultados engañosos. Un problema es que puede obtener resultados estadísticamente significativos por casualidad alrededor del 5 por ciento de las veces. Entonces, si hace suficientes preguntas (y a veces estos estudios pueden incluir miles de preguntas), los datos pueden parecer que representan algo importante. Pero en una revisión posterior, o intenta repetir el estudio, es posible que los resultados no sean los mismos [fuente:Miller y Young].
No les digamos que el estudio de la virginidad era falso todavía. Fusible / Thinkstock Últimas noticias:un nuevo estudio revela que la forma en que perdiste tu virginidad tendrá un impacto importante en cómo experimentas el sexo para siempre.
Los resultados sorprendentes de estudios de investigación extraños son una característica habitual del ciclo de noticias en estos días. Pero si puede conseguir el estudio de investigación real, el diseño del proyecto puede sorprenderte incluso más que los resultados.
Lo que pasa con ese estudio de virginidad de 2013 es que sus sujetos eran extremadamente homogéneos. De hecho, resulta, generalmente lo son cuando se trata de estudios en psicología y ciencias sociales.
Dado que muchos de estos estudios son realizados por académicos, la población de muestra típica para tal investigación es - sorpresa, sorpresa - estudiantes universitarios. Eso los hace RAROS, un acrónimo de Western, Educado y de Industrializado, Países ricos y democráticos. En otras palabras, no es exactamente representativo de la sociedad global en su conjunto.
Para empeorar las cosas, en el estudio de la virginidad, los investigadores excluyeron a las personas que habían experimentado primeros encuentros violentos, así como a cualquier otra persona que no tuviera relaciones sexuales heterosexuales [fuente:Brookshire].
Entonces, la próxima vez que escuche las noticias de última hora de otro hallazgo asombroso sobre el comportamiento y la experiencia humanos, tómelo con un grano de sal mientras se pregunta exactamente quién estaba siendo estudiado.
No, Estarás totalmente bien ¡ratón! ¡Simplemente tome este medicamento y duerma una pequeña siesta! WUNCHANA_SEUBWAI / iStock / Thinkstock Supongamos que está realizando una prueba sobre un nuevo medicamento para ayudar a prevenir un accidente cerebrovascular. Tienes 20 ratones:10 recibiendo el fármaco y los 10 restantes en tu grupo de control. Es un pequeño grupo de estudio realmente pequeño, pero tu presupuesto es pequeño y, bien, todo el mundo lo hace de esta manera estos días.
Siete de sus ratones de prueba lo están haciendo muy bien, pero, lamentablemente, tres de ellos mueren de accidentes cerebrovasculares masivos. ¿A qué te dedicas? Sencillo. Simplemente déjelos fuera de los resultados. Sí, Así es, cuando mejora sus tablas y gráficos, simplemente no menciones a los roedores fallecidos. Todos lo están haciendo de esta manera estos días.
Eso realmente sucedió. Realmente, resulta que eso sucede todo el tiempo en la investigación con animales. Afortunadamente, en este caso particular, el científico al que se le pidió que revisara el estudio no lo dejó pasar. Los tres ratones muertos señaló, fueron elementos de vital importancia del estudio. En efecto, demostraron que la nueva droga podría ser más dañina que útil.
Ese científico Ulrich Dirnagl, y un colega llamado Malcolm MacLeod han estado dando la alarma sobre los estándares laxos que se encuentran en muchos estudios de investigación con animales [fuente:Couzin-Frankel]. Esperemos que su mensaje llegue.
Ella acaba de descubrir que el International Journal of Overly Large Fignernails no es realmente legítimo, y que esperan que pague por publicarlo. Bart Sadowski / Getty Images Ahí tienes, un médico joven que está despegando su carrera cuando recibe un correo electrónico de "The Journal of Clinical Case Reports" pidiéndole que envíe algunos artículos. Como sucede, tienes algunos casos interesantes que informar, así que los escribes y los envías. Para tu deleite son aceptados. Una buena adición a tu currículum.
Luego viene la factura:el diario dice que les debes $ 2, 900! Conmocionado, responde para decir que nunca ha oído hablar de que se le cobre por publicar y que no tiene intención de pagar. Publican tus artículos de todos modos, ofreciendo reducir su factura a $ 2, 600. Después de un año de disputas, la revista finalmente acepta "perdonar" su supuesta deuda.
Bienvenido al nuevo y valiente mundo de las publicaciones depredadoras, una consecuencia inesperada del movimiento de acceso abierto para hacer que los hallazgos científicos estén más disponibles. Jeffrey Beall, un bibliotecario de investigación, ha estado llevando un registro de las publicaciones que considera depredadoras. Cree que podría haber hasta 4, 000 de ellos, eso sería el 25 por ciento de todas las revistas de acceso abierto.
Baste decir que los editores depredadores están más preocupados por su margen de beneficio que por el rigor científico. Si los investigadores pueden pagar, pueden ser publicados independientemente de la calidad de su trabajo. Como resultado, se ha multiplicado el número de estudios cuestionables publicados. A menos que sea un experto en un campo determinado, puede ser difícil saber qué ciencia es confiable y cuál es basura [fuente:Kolata].
Famosamente, para salir adelante en la academia, los eruditos deben publicar o perecer. No es de extrañar que las publicaciones depredadoras florezcan en tal atmósfera. Comprador (y lector) ¡cuidado!
Cuidado con el poderoso lobby de chicle. ¿Quién sabe qué tipo de influencia tienen sobre los investigadores de las encías? belchonock / iStock / Thinkstock Un día decides probar una nueva marca de chicle, pero poco tiempo después de metérselo en la boca le salen urticaria. En la sala de emergencias, el médico le informa que los análisis de sangre revelan una alergia a algún ingrediente del nuevo chicle. Pero digamos que eres extrañamente terco y digamos que realmente te gustó ese chicle, también. Oh, y decide visitar a nueve médicos más.
Ocho de los nueve están de acuerdo con el primero. Pero un médico solitario dice que no no es el chicle, es solo una coincidencia. De hecho, cree que podrías ser alérgico a masticar, o caminando, o caminar y masticar al mismo tiempo. Te gusta su respuesta, y te gusta su elegante oficina, pero empiezas a preguntarte cómo lo pagó.
Al intentar averiguar si un estudio es falso, algo de sentido común es útil. Si el 99,9 por ciento de los expertos en un campo determinado dicen una cosa y algunos otros no están de acuerdo, eche un vistazo a de dónde proviene la financiación de los escépticos. En otras palabras, Sigue el dinero.
Willie Soon es uno de los pocos investigadores que niegan que la actividad humana tenga algo que ver con el cambio climático. El hecho de que trabaje en el Centro Harvard-Smithsonian de Astrofísica otorga cierto prestigio a sus opiniones. Sin embargo, el Centro de Astrofísica tiene una relación de alcance con Harvard, y los investigadores no tienen salario y no reciben fondos de la universidad.
De hecho, resulta que la mayor parte de la financiación de Soon ha venido de fuentes como Exxon Mobil y el American Petroleum Institute, entre otros en el sector energético. En otras palabras, Las personas que pagan por la investigación de Soon son las mismas personas que más han invertido en refutar la responsabilidad humana por el cambio climático. Si bien Soon insiste en que la fuente de su financiación no influye en su investigación, la óptica no está a su favor [fuente:Goldberg].
"Yo mismo lo revisaré a USTED más tarde". mediaphotos / Getty Images Revisión por pares:es la base de una publicación científica acreditada. La idea es que si un estudio ha sido cuidadosamente examinado y aprobado por otro investigador en el mismo campo, entonces es lo suficientemente válido como para publicarlo en una revista respetada. Pero esa idea solo es válida si el sistema de revisión por pares en sí es confiable.
Hynung-In Moon, investigador de plantas medicinales en una universidad de Corea del Sur, estaba teniendo buena suerte con las reseñas de los estudios que publicaba en "The Journal of Enzyme Inhibition and Medicinal Chemistry". Aparte de algunas sugerencias sobre cómo mejorar sus trabajos, fueron aprobados rápidamente. Muy rápidamente. De hecho, las revisiones por pares a veces regresaban al editor de la revista dentro de las 24 horas posteriores a su envío.
Creciendo sospechoso el editor le preguntó a Moon qué estaba pasando. El investigador confesó:los rápidos, las críticas aprobadas provenían nada menos que de él mismo. Siguiendo la práctica común, la revista le había pedido a Moon que sugiriera algunos revisores potenciales. Cuando lo hizo les dio una combinación de nombres reales y ficticios con información de contacto falsa, incluidas las direcciones de correo electrónico que llegaron a la bandeja de entrada de Moon [fuente:Ferguson et al].
Resulta que algunos de los sistemas configurados para la revisión tienen lagunas como esta, y el caso de la autoevaluación de Moon no es una anomalía aislada. Esto nos deja con la posibilidad de que algunos de los estudios revisados por pares de los que escuchamos sean en realidad sin pares.
"Lo que sea. Ese estudio de cáncer de pulmón probablemente tuvo poca potencia estadística". iStock / Thinkstock El campo de la neurociencia se encuentra en una fase emocionante con una nueva y poderosa tecnología capaz de analizar el cerebro con una exactitud cada vez mayor. Usando escaneos, por ejemplo, Varios estudios diferentes analizaron la relación entre la salud mental y el volumen cerebral anormal. Muchos, de hecho la mayoría de ellos, encontró una correlación.
Pero la velocidad abrumadora a la que estos estudios se seguían confirmando entre sí despertó la curiosidad del investigador John Ioannidis. Después de analizar los datos, encontró que, tomados en conjunto, todos estos estudios tenían un poder estadístico promedio de 8. Eso suena bajo, y es. Pero, ¿qué significa?
El poder estadístico de un estudio se refiere al tamaño de las muestras utilizadas y al tamaño de los resultados. Para simplificar masivamente, si estudias 10, 000 fumadores y 10, 000 no fumadores y encuentran que el 50 por ciento de los fumadores desarrollaron cáncer de pulmón, mientras que solo el 5 por ciento de los no fumadores lo hizo, entonces su estudio tiene un poder muy alto. Tenías una muestra de población enorme, y los resultados también fueron enormes.
Pero si estudia a 10 fumadores y 10 no fumadores y encuentra que dos de los fumadores desarrollaron cáncer de pulmón y uno de los no fumadores también, entonces tienes un estudio con muy poca potencia. El tamaño de la muestra es tan pequeño que la diferencia entre los dos grupos no tiene sentido [fuente:Yong].
Para ser justo, la mayoría de los estudios acusados de tener poco poder no son tan ridículamente bajos como ese ejemplo ficticio. Pero en los últimos años investigadores preocupados han estado denunciando la prevalencia de estudios con poca potencia. ¿Su mensaje? ¡Es hora de encender!
Tal vez espere un poco antes de salir corriendo para probar la última cura supuestamente bloqueadora del cáncer promocionada por un nuevo estudio. Thinkstock Images / Stockbytes Cada dos días nos enteramos de un nuevo estudio que encontró vitamina X, Y o Z previene el cáncer o el Alzheimer o los trastornos autoinmunes, y nos apresuramos a comprar grandes cantidades. Antes de incorporar otro suplemento de moda, sería prudente sentarse y esperar un poco para ver si la investigación posterior refuerza o desacredita su valor.
Los medios prosperan con lo último y lo más nuevo. Pero cuando se trata de ciencia, la novedad no es necesariamente algo bueno. A menudo, solo significa que los emocionantes resultados de un nuevo estudio sorprendente son demasiado nuevos para haber sido refutados todavía. Vuelva a consultar en un par de años y vea cuántos de esos resultados de la investigación principal han resistido la prueba del tiempo.
En términos de investigación, gran parte de lo que informan los medios son "hallazgos iniciales". Los hallazgos iniciales son solo eso, inicial. Deben verificarse mediante más estudios para ver si los resultados se pueden reproducir. Con frecuencia no pueden serlo, pero es raro que los medios de comunicación informen resultados negativos de la investigación [fuente:Crowe]. Eso es porque nunca son tan populares como un nuevo descubrimiento emocionante.
Parece que la naturaleza tenía razón. Esperemos que tengas a la mano algunos conjuntos ignífugos. Don Arnold / WireImage / Getty Images La edición de abril de 2015 de "Nature, "una de las revistas científicas más prestigiosas y acreditadas del mundo, sorprendió a sus lectores con los extraordinarios resultados de un nuevo estudio. Dragones decía, no son productos míticos de la imaginación premoderna, sino criaturas reales que han estado subsistiendo en una fase latente desde la Edad Media. Uno de los hallazgos más preocupantes fue que había evidencia de que estas antiguas bestias están a punto de despertar.
La fecha de publicación es el indicio obvio de que este artículo fue una elaborada broma del Día de los Inocentes. Pero a pesar de la naturaleza ridícula de la pieza, apunta a una característica importante del periodismo científico:a la gente le gustan las buenas historias. Los científicos lo saben. Incluso publicar un artículo en una revista científica puede requerir la creación de una "hermosa historia" para explicar los hallazgos. Y cuanto mejor sea la historia, lo más probable es que los medios de comunicación lo cubran [fuente:Firger].
Pero la investigación científica no siempre da como resultado buenas historias. De hecho, más a menudo que no, no es así. Muchas investigaciones importantes no son concluyentes. A lo mejor, podría darnos una ventana provisional sobre una posible verdad. Tan a menudo como no, nos dice poco o nada en absoluto. Entonces, cuando se trata de ciencia, cuidado con las buenas historias, dragones o no.
Soy tan cínico como cualquier otra persona pero la investigación requerida para este artículo me sorprendió más de una vez. Como la mayoría de la gente, Asocio la ciencia con el rigor, así que me desanimó al enterarme de algunos de los de mala calidad, trabajo descuidado y comprometido que se está realizando. Pero supongo que no debería estarlo. Los científicos no son robots que operan en entornos herméticamente sellados. Están tan sujetos a la venalidad y las tendencias culturales como cualquier otra persona. Y al final acabé con tal vez un respeto aún mayor por un modo de investigación que se controla a sí mismo en la medida en que lo hace la ciencia. Hay mucha mala ciencia ahí fuera pero las personas que hacen sonar el silbato son ... ¡científicos!
