Metaanálisis para medir una replicación: puede dar «éxito» aunque el efecto sea cero
Un estudio con 17 trabajos de SCORE y 73 de la OSC concluye que el metaanálisis rinde mal como medida del éxito de una replicación, sobre todo por la significación del estudio original.

Un equipo de la Universidad de Groningen ha puesto a prueba una práctica habitual en la ciencia de la replicación: usar el metaanálisis, que combina el estudio original y su réplica, para decidir si esta última ha tenido éxito. El trabajo, publicado en PLOS ONE, recuerda que se han propuesto muchos enfoques frecuentistas y bayesianos para calificar una replicación como exitosa o fallida.
Los autores utilizaron estudios originales y de replicación de dos grandes proyectos: 17 de SCORE y 73 de la Open Science Collaboration (OSC). Para cada estudio original calcularon, antes de conocer los resultados de la réplica, la probabilidad de éxito bajo tres supuestos sobre el efecto poblacional (escéptico, moderado y optimista). Después evaluaron la precisión de esas predicciones con puntuaciones de Brier ajustadas.
El metaanálisis funcionó mal como métrica: en muchos casos llevó a concluir que la réplica era exitosa con independencia de lo que esta hubiera encontrado. Con un efecto poblacional real igual a cero, hay una probabilidad relativamente alta de hallar evidencia de un efecto distinto de cero, en gran medida porque el estudio original ya era significativo. Los modelos que suponían un efecto verdadero entre cero y la mitad del original fueron los que mejor encajaron con los datos.
Además, los autores sostienen que hay razones de fondo contra este uso del metaanálisis. Reconocen límites: no existe una medida objetiva del éxito de una replicación y ambos conjuntos de estudios son pequeños y desiguales.
En Psicoevidencia hemos traducido el estudio completo al español: Metaanálisis como medida del éxito de una replicación: ¿es una buena idea?. El artículo original, en inglés, está disponible en doi.org/10.1371/journal.pone.0308495.
FuenteMuradchanian et al., PLOS ONE ↗
Licencia Este texto se distribuye bajo la licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0), que permite su reproducción, distribución y transformación, incluso con fines comerciales, siempre que se cite a Psicoevidencia como autora y se indique el enlace a esta página. Esta licencia no cubre la fuente citada ni el contenido del medio original, que se rigen por sus propios derechos.
