Metaanálisis como medida del éxito de una replicación: ¿es una buena idea?
Evaluating meta-analysis as a replication success measure

Ficha del estudio original
- Institución
- University of Groningen (Behavioural and Social Sciences)
- Año
- 2024
- Revista
- PLOS ONE, vol. 19, art. e0308495
- Tipo de estudio
- Otro
En 3 líneas
Al usar el metaanálisis para decidir si una replicación ha tenido éxito, el resultado suele ser «éxito» incluso cuando el efecto poblacional real es cero, sobre todo porque el estudio original ya era significativo. Con 17 estudios de SCORE y 73 de la OSC, los modelos que suponen un efecto verdadero entre cero y la mitad del original fueron los que mejor encajaron con los datos. El límite principal es que no existe una medida objetiva del éxito de la replicación y que ambos conjuntos de estudios son pequeños y desiguales.
Resumen del artículo original
Antecedentes
La importancia de la replicación en las ciencias sociales y del comportamiento lleva décadas subrayándose. Se han propuesto diversos enfoques frecuentistas y bayesianos para calificar un estudio de replicación como exitoso o fallido, y uno de ellos es el metaanálisis. El presente estudio se centra en el modo en que el metaanálisis funciona como métrica del éxito de la replicación. Para investigarlo, se utilizaron estudios originales y de replicación incluidos en dos grandes proyectos de replicación. Para cada estudio original se calculó, mediante metaanálisis, la probabilidad de éxito de la replicación bajo distintos supuestos sobre el efecto poblacional subyacente, cuando los resultados de la replicación aún eran desconocidos. La precisión de la predicción del éxito global de la replicación se evaluó, una vez disponibles los resultados de las replicaciones, mediante puntuaciones de Brier ajustadas.
Resultados
Nuestros resultados mostraron que el metaanálisis tuvo un rendimiento deficiente cuando se utilizó como métrica del éxito de la replicación. En muchos casos, cuantificar el éxito de la replicación mediante metaanálisis llevó a concluir que la replicación era exitosa, con independencia de los resultados del estudio de replicación.
Discusión
Concluimos que, cuando se emplea el metaanálisis como métrica del éxito de la replicación, existe una probabilidad relativamente alta de hallar evidencia a favor de un efecto poblacional distinto de cero incluso cuando este es cero. Este comportamiento se debe en gran medida a la significación del estudio original. Además, argumentamos que existen razones fundamentales en contra de utilizar el metaanálisis como métrica del éxito de la replicación.
Introducción
La confianza en el conocimiento científico depende de poder replicar los resultados empíricos de forma directa e independiente [1]. En las ciencias sociales y del comportamiento, la importancia de la replicación ya se subrayó hace décadas [p. ej., 2, p. 2], y recientemente se han llevado a cabo múltiples replicaciones en diversos campos científicos [p. ej., 1, 3–9].
A pesar de la supuesta importancia de los estudios de replicación, estos parecen ser relativamente escasos [p. ej., 10]. Sin embargo, las replicaciones realizadas no mostraron una fuerte concordancia entre los estudios originales y las réplicas. De hecho, estas replicaciones han llevado a algunos a pensar que las ciencias sociales atraviesan actualmente una crisis de replicación o crisis de confianza [11]. La principal evidencia de esta crisis procede de iniciativas como el gran proyecto de replicación llevado a cabo por la Open Science Collaboration (OSC) en 2015, en el que se replicaron 100 estudios psicológicos originales. También se han realizado proyectos de replicación similares en otras disciplinas científicas, como la economía [1], las ciencias sociales en general [6], la filosofía experimental [7] y la investigación preclínica en biología del cáncer [9]. En estos proyectos se han observado algunas diferencias entre campos en cuanto a la tasa de éxito de las replicaciones. Dependiendo de los métodos utilizados en cada proyecto para cuantificar el éxito de la replicación, las tasas de éxito fueron del 36–68 % en psicología [4], del 61–78 % en economía [1], del 57–67 % en ciencias sociales en general [6] y del 70–78 % en filosofía experimental [7]. En la investigación preclínica en biología del cáncer, para los efectos positivos, el 40 % de las replicaciones tuvo éxito según al menos tres de cinco métricas binarias de éxito de la replicación; para los efectos nulos, el 80 % de las replicaciones tuvo éxito con este criterio [9].
Existen varios métodos y procedimientos estadísticos para determinar si los resultados de una replicación concuerdan con los resultados originales (Nosek y Errington [12] han discutido qué es una replicación; puede encontrarse una visión general de distintas métricas de éxito de la replicación y de su rendimiento, por ejemplo, en Muradchanian et al. [13]). Una forma de cuantificar el éxito de la replicación es utilizar el valor p frecuentista [14, 15]. El instrumento bayesiano para el contraste de hipótesis, el factor de Bayes (BF), también se ha empleado para cuantificar el éxito de la replicación [p. ej., 6]. Como alternativa, dos enfoques centrados en la estimación en lugar de en el contraste de hipótesis para cuantificar el éxito de la replicación son la «cobertura» [4] y el intervalo de predicción [16]. Además, existen métodos estadísticos diseñados específicamente para cuantificar el éxito de la replicación, como el factor de Bayes de replicación [17], el enfoque de los Small Telescopes [18] y el valor p escéptico [19].
Una forma más integradora de abordar la cuantificación del éxito de la replicación es el metaanálisis. El metaanálisis se centra en combinar el estudio original y su intento o intentos de replicación para obtener una estimación del tamaño del efecto agrupado y para cuantificar la evidencia a favor del efecto de interés teniendo en cuenta simultáneamente todos los estudios incluidos [p. ej., 20]. Aunque el metaanálisis se ha utilizado en diversos proyectos de replicación para cuantificar el éxito de la replicación [p. ej., 1, 4, 6, 9], los autores de estos estudios han expresado su preocupación por el sesgo de publicación y por otros sesgos que pueden afectar a las estimaciones metaanalíticas [1, 4, 6, 9] y, a su vez, al éxito de la replicación. Debido a estos sesgos, es probable que los tamaños del efecto estén inflados [p. ej., 21] y que la tasa de éxito de la replicación esté muy probablemente sobrestimada [p. ej., 13].
Los grandes proyectos de replicación mencionados anteriormente han suscitado dudas sobre la fiabilidad de la literatura científica publicada en las ciencias sociales y del comportamiento. Estos resultados llevaron a preguntarse si es posible predecir el éxito global de la replicación. Un proyecto a gran escala que se propuso investigar precisamente esto es Collaborative Assessments for Trustworthy Science, o repliCATS, un método estructurado de elicitación de expertos [22]. RepliCATS forma parte del programa Systematizing Confidence in Open Research and Evidence, o SCORE [23]; el programa SCORE crea y valida algoritmos que proporcionan puntuaciones de confianza para las afirmaciones de investigación [24]. En concreto, para estudiar la viabilidad de las herramientas, los equipos recopilan en una base de datos afirmaciones de artículos científicos de las ciencias sociales y del comportamiento; después, crean estimaciones de credibilidad producidas por expertos y por máquinas, y a continuación validan las estimaciones generando evidencia de reproducibilidad, robustez y replicabilidad [24]. Los enfoques de elicitación como el proyecto repliCATS (que dan lugar a evaluaciones precisas de la replicabilidad de la investigación) pueden aliviar parte de la carga de los grandes proyectos de replicación, que requieren muchos recursos, y ayudar a evaluar una proporción mayor de la literatura publicada. Una vez que estas técnicas de elicitación se hayan probado y calibrado, podrían incluirse en los procesos de revisión por pares para mejorar la evaluación antes de que un artículo se publique [23].
El proyecto repliCATS se basa en el protocolo IDEA [22]. El protocolo IDEA, que pide a las personas que investiguen (Investigate), discutan (Discuss), estimen (Estimate) y agreguen (Aggregate), tiene por objeto mejorar la precisión de los juicios individuales que se utilizan para informar a la ciencia [25]. El procedimiento es el siguiente: para cada afirmación de los artículos científicos que se va a evaluar, se pide a los expertos que investiguen la información de contexto. Después, se les pide que den una primera estimación anónima de la probabilidad que expresa su grado de creencia en que el suceso ocurra, y que justifiquen dichas estimaciones. A continuación, reciben retroalimentación sobre las diferencias entre su estimación individual y las de otros expertos, seguida de una discusión de esas diferencias de opinión. Por último, se espera que den una segunda estimación anónima de la probabilidad, pero ahora teniendo en cuenta la información obtenida en la ronda de retroalimentación y en la discusión grupal [25, 26].
El proyecto repliCATS es un intento de predecir el éxito de la replicación utilizando creencias subjetivas (agregadas). Una forma distinta de predecir el éxito de la replicación podría ser a través de una óptica estadística. Por ejemplo, si se cuantificara el éxito de la replicación a partir de los resultados de un metaanálisis, sería posible ofrecer estimaciones a priori de la probabilidad de éxito de la replicación bajo distintos modelos del efecto poblacional subyacente. El metaanálisis es una técnica utilizada con cierta frecuencia en la investigación sobre replicación para decidir si un estudio de replicación tiene éxito. Por ejemplo, en la OSC [4] se mencionó lo siguiente: «Evaluamos la reproducibilidad utilizando la significación y los valores P, los tamaños del efecto, las valoraciones subjetivas de los equipos de replicación y los metaanálisis de los tamaños del efecto» (p. 2). Además, en Camerer et al. [1] se mencionó lo siguiente: «Hay diferentes maneras de evaluar la replicación, sin un estándar de excelencia universalmente aceptado [19–23]» (p. 1434). A continuación, discutieron los indicadores de replicación (y sus resultados), incluido el metaanálisis: «Los estudios original y de replicación también pueden combinarse en una estimación metaanalítica del tamaño del efecto [19]. Como se muestra en la Fig 1B, en el metaanálisis, 14 estudios (77,8 %) tienen un efecto significativo en la misma dirección que en el estudio original» (p. 1434). En el presente estudio nos gustaría obtener más información sobre cómo funciona el metaanálisis en el contexto de la investigación sobre replicación. Hasta donde sabemos, esto no se ha estudiado todavía. Tomando como inspiración el proyecto repliCATS, nos gustaría estudiarlo realizando predicciones agregadas mediante un enfoque estadístico. En concreto, nos gustaría estudiar cómo funciona el metaanálisis como métrica del éxito de la replicación haciendo predicciones agregadas sobre la replicabilidad bajo distintos supuestos sobre la población cuando se incluyen en el metaanálisis el estudio original y su única replicación.

Figura 1. Determinación de la probabilidad de encontrar el tamaño del efecto mínimo de replicación para el Modelo 1.
Utilizamos estudios originales reales que iban a ser verdaderamente replicados dentro del programa SCORE. Para cada estudio original de SCORE, calculamos la probabilidad de que el estudio de replicación condujera a una replicación exitosa bajo distintos supuestos sobre la población. Cabe señalar que los resultados de las replicaciones aún no estaban disponibles, para no influir en los modelos que propusimos para la predicción. La probabilidad de éxito de la replicación puede entenderse como una especie de potencia estadística (una potencia de replicación metaanalítica), condicionada a los resultados del estudio original. En el presente contexto, una replicación exitosa significa que el resultado metaanalítico es estadísticamente significativo (es decir, p < ,05) y que el tamaño del efecto metaanalítico va en la misma dirección que el tamaño del efecto original. La precisión de la predicción del éxito global de la replicación se evaluó comparando el porcentaje observado y el porcentaje predicho de replicaciones exitosas. Dado que el número de estudios del proyecto SCORE que pudimos utilizar era pequeño, decidimos examinar en qué medida los modelos que generamos para predecir el éxito de la replicación en el programa SCORE habrían predicho el éxito de la replicación para los resultados de estudios incluidos en el proyecto de la OSC [4].
La estructura del resto de este artículo es la siguiente: en la sección Método describimos paso a paso el diseño de este estudio. En la sección Resultados examinamos la probabilidad de que los resultados de los estudios originales se repliquen con éxito bajo distintos supuestos sobre la población. En la sección Discusión comentamos las implicaciones para los investigadores de la replicación, incluida una discusión sobre la utilidad del metaanálisis como medida del éxito de la replicación.
Metodología
Estudios originales
Se utilizaron resultados de estudios originales reales que se han replicado dentro del programa SCORE. Los autores de SCORE nos proporcionaron un conjunto de datos con resultados de 81 estudios originales en total, publicados entre 2009 y 2018, que representan diferentes revistas de las ciencias sociales y del comportamiento. Para realizar nuestros análisis necesitábamos el tamaño muestral, el tamaño del efecto observado y el tipo de tamaño del efecto observado de los estudios originales.
Para cada una de estas variables, el conjunto de datos incluía una entrada con los valores reportados en el artículo y/o los valores calculados por el equipo de SCORE. Una entrada de «valores reportados en el artículo» podía haberse tomado directamente del texto del artículo original o haberse derivado del texto. Los valores calculados por el equipo de SCORE fueron determinados por los consultores estadísticos de SCORE, quienes utilizaron todas las fuentes disponibles para presentar la representación más precisa de la cantidad clave de interés. Nuestra opción por defecto fue utilizar los valores calculados por el equipo de SCORE. En los casos en que estos valores no estaban disponibles, utilizamos los valores reportados en el artículo. Esto se hizo con el fin de tener el mayor número posible de valores completos para las variables de interés.
En el conjunto de datos de SCORE, algunos de los tamaños del efecto (estudios originales) eran positivos y otros negativos. Dado que el signo del resultado era irrelevante para el propósito de nuestro estudio, decidimos tomar los valores absolutos de todos los tamaños del efecto de los estudios originales. Además, los tamaños del efecto de los estudios originales en el conjunto de datos de SCORE tenían diversas medidas de resultado, como la correlación, la correlación parcial, la V de Cramer, Phi, la f2 de Cohen, la eta2 parcial, la d de Cohen para muestras independientes y la d de Cohen para una muestra o muestras pareadas. El resto de los estudios originales de SCORE tenían una medida de resultado desconocida. Restringimos nuestros análisis a los estudios con las siguientes medidas de resultado: correlación parcial, correlación, d de Cohen para muestras independientes y d de Cohen para una muestra o muestras pareadas (n = 17). Las disciplinas de estos 17 estudios fueron: Negocios y Economía; Ciencias Ambientales y Ecología; Psicología; Ciencias del Comportamiento; Ciencias Sociales Biomédicas; Sociología. Decidimos no incluir los estudios con f2 de Cohen (n = 17) ni eta2 parcial (n = 1) como medida de resultado porque dichas medidas no son ideales para el metaanálisis, ya que carecen de dirección [W. Viechtbauer, comunicación personal, 26 de julio de 2022]. Además, decidimos no incluir los estudios con la V de Cramer (n = 2) ni Phi (n = 1) como medida de resultado porque estas medidas parecen utilizarse rara vez en la práctica.
El conjunto de datos de la OSC [4] consistía en 73 efectos originales en total, publicados en 2008, que representan tres revistas de psicología. Utilizamos el subconjunto en el que todos los tamaños del efecto eran correlaciones (parciales) positivas transformadas mediante la z de Fisher.
Procedimiento general
Tras recibir los estudios originales de SCORE en mayo de 2022, el primer paso de nuestro análisis fue determinar cuán grande debía ser como mínimo el tamaño del efecto de la replicación para que esta fuera exitosa, el tamaño mínimo del efecto de la replicación. En nuestro caso, una replicación exitosa se refiere a un conjunto de estudios para el cual el resultado metaanalítico es estadísticamente significativo (α = ,05, unilateral) y para el cual el tamaño del efecto metaanalítico va en la misma dirección que el tamaño del efecto original [13]. En otras palabras, nuestro primer paso fue determinar cuán grande debía ser como mínimo el tamaño del efecto de la replicación para obtener un resultado metaanalítico estadísticamente significativo. Los metaanálisis se basaron en un estudio original y un único estudio de replicación, y asumimos que el verdadero tamaño del efecto poblacional era el mismo para el estudio original y el de replicación. Por lo tanto, todos los metaanálisis fueron de efectos fijos. Además, asumimos que el tamaño muestral del estudio de replicación era el doble que el del estudio original, ya que los estudios de replicación tienden a tener un tamaño muestral mayor que los intentos originales [p. ej., 1, 4, 6, 7]. Para determinar cuán grande debía ser como mínimo el tamaño del efecto de la replicación para obtener un metaanálisis significativo, realizamos un metaanálisis con el tamaño del efecto original conocido y una cuadrícula de tamaños del efecto de replicación que variaban de −0,99 a 0,99 en incrementos de 0,001 (es decir, 1981 tamaños del efecto de replicación) y retuvimos el tamaño del efecto mínimo de la cuadrícula que condujo a un resultado significativo.
Los metaanálisis se realizaron con la función rma del paquete de R metafor [27]. En nuestro caso, necesitábamos especificar los siguientes cuatro elementos en la función rma: tamaño del efecto del estudio original, tamaño del efecto del estudio de replicación, varianza del estudio original y varianza del estudio de replicación. Especificamos las fórmulas y las simplificaciones de los parámetros utilizados en la función rma para cada medida de resultado en la Tabla 1. Dado que la distribución de la correlación (parcial) no es normal, aplicamos transformaciones z de Fisher. El tamaño del efecto metaanalítico combinado en la función rma se calculó de la siguiente manera en el contexto de nuestro estudio (es decir, un estudio original y un único estudio de replicación): Moverall=1Vo*Mo+1Vr*Mr1Vo+1Vr, donde Moverall es el tamaño del efecto metaanalítico combinado, Vo es la varianza del estudio original, Mo es el tamaño del efecto observado en el estudio original, Vr es la varianza del estudio de replicación y Mr es el tamaño del efecto observado en el estudio de replicación. El error estándar de Moverall puede calcularse como [28] SEMoverall=11Vo+1Vr.
Tabla 1. Fórmulas y parámetros simplificados utilizados en la función rma para cada medida de resultado.
| Medida de resultado | Transformación z de Fisher | Varianza de la medida de resultado | Parámetros simplificados en la función rma |
|---|---|---|---|
| Correlación | zr = 0,5*ln((1+r)/(1-r)) | Vzr = 1N−3 | yi = zro, tamaños del efecto de replicación |
| vi = Vzro, Vzrr | |||
| Correlación parcial | zpr = 0,5*ln((1+pr)/(1-pr)) | Vzpr = 1N−3−C, C es el número de variables de control [29] | yi = zpro, tamaños del efecto de replicación |
| vi = Vzpro, Vzprr | |||
| d de Cohen: muestras independientes | N/A | Vd2 = n1+n2n1*n2+d^22*(n1+n2) [30] | yi = tamaños del efecto originales, tamaños del efecto de replicación |
| vi = Vd2o, Vd2r | |||
| d de Cohen: una muestra o muestras pareadas | N/A | Vd1 = (1N+d22*N)*2*(1−r), r es la correlación entre la medición previa y la medición posterior [30] | yi = tamaños del efecto originales, tamaños del efecto de replicación |
| vi = Vd1o, Vd1r |
Nota: z(p)r representa la correlación (parcial) transformada mediante la z de Fisher; ln representa el logaritmo natural; (p)r representa la correlación (parcial); N representa el tamaño muestral en el caso de una muestra; n1 y n2 representan el tamaño muestral en el caso de 2 muestras (muestras independientes); yi representa la medida de resultado del estudio original y del de replicación en la función rma; vi representa la varianza del estudio original y del de replicación en la función rma; el subíndice o se refiere al estudio original; el subíndice r se refiere al estudio de replicación; para los estudios de SCORE que tenían la correlación parcial como medida de resultado, no conocíamos el número de variables de control, por lo que decidimos utilizar C = 0.
Tras determinar cuán grande debía ser como mínimo el tamaño del efecto de la replicación para que esta fuera exitosa (véase arriba), el siguiente paso fue determinar cuál es la probabilidad de encontrar el tamaño mínimo del efecto de la replicación (para un resultado metaanalítico significativo), dado un modelo específico para los tamaños del efecto poblacionales. En el presente estudio utilizamos los siguientes 3 modelos, que se especifican en la Tabla 2: la estimación escéptica (Modelo 1: los tamaños del efecto poblacionales se centran en torno a cero), la estimación moderada (Modelo 2: los tamaños del efecto poblacionales se centran en torno a la mitad del tamaño del efecto muestral) y la estimación optimista (Modelo 3: los tamaños del efecto poblacionales se centran en torno al tamaño del efecto muestral).
Tabla 2. Tres modelos incluidos en la predicción del éxito de la replicación.
| Modelo | Especificación del modelo |
|---|---|
| 1) Estimación escéptica | tamaño del efecto ~N(0, 0,1) |
| 2) Estimación moderada | tamaño del efecto ~N(0,5*tamaño del efecto del estudio original, 0,1) |
| 3) Estimación optimista | tamaño del efecto ~N(tamaño del efecto del estudio original, 0,1) |
Para cada uno de los 17 estudios de SCORE, extrajimos aleatoriamente 100 000 tamaños del efecto poblacionales de cada uno de los 3 modelos (distribuciones). Para cada uno de ellos, asumimos que el tamaño del efecto muestral se distribuía normalmente, con una media igual al tamaño del efecto poblacional extraído aleatoriamente y la varianza dada por las fórmulas de las varianzas de los tamaños del efecto, para las medidas de resultado correspondientes según se indica en la Tabla 1, donde N se tomó igual a dos veces el tamaño muestral del estudio original. Para cada tamaño del efecto poblacional extraído, calculamos entonces la probabilidad de encontrar un tamaño del efecto de replicación que superara el valor mínimo requerido para obtener un resultado de metaanálisis significativo, dada la distribución muestral generada del tamaño del efecto muestral de la replicación. Después, para cada uno de los tres modelos, calculamos la probabilidad de éxito de la replicación de cada estudio de SCORE como la probabilidad media de encontrar el tamaño mínimo del efecto de la replicación a lo largo de las 100 000 distribuciones por modelo. Esta probabilidad resultante puede considerarse la potencia estadística para replicar con éxito un hallazgo original, en términos de una medida basada en el metaanálisis. Aquí la utilizaremos como una predicción formulada como la probabilidad de una replicación exitosa basada en el metaanálisis. En la Fig. 1 ilustramos visualmente este procedimiento para el Modelo 1.
Después de que los autores del programa SCORE completaran los estudios de replicación, compartieron los resultados con nosotros en enero de 2023 y comparamos nuestras predicciones con sus resultados observados. El equipo de SCORE definió el éxito de la replicación como un efecto significativo en el estudio de replicación (α = ,05, bilateral), combinado con que el tamaño del efecto de la replicación fuera en la misma dirección que el tamaño del efecto original. Además, también utilizamos el metaanálisis para cuantificar el éxito de la replicación de 15 estudios de SCORE (se excluyeron dos estudios de este cálculo porque los estudios de replicación tenían una medida de resultado diferente a la de los estudios originales). En el metaanálisis incluimos el estudio original de SCORE y su estudio de replicación observado. El éxito de la replicación se estableció si el resultado metaanalítico era significativo (es decir, p < ,05) y, antes de la transformación, el tamaño del efecto metaanalítico iba en la misma dirección que el tamaño del efecto original.
La exactitud del éxito global de la replicación predicho (probabilísticamente) se evaluó comparando el porcentaje verdadero y el predicho de éxitos de replicación mediante puntuaciones de Brier [31, 32]. Para cada modelo por separado, la puntuación de Brier se calculó de la siguiente manera: Brierscore=∑i=1N(predicted−observed)^2N
Las puntuaciones predichas representan la probabilidad de que el estudio original conduzca a una replicación exitosa, dado uno de los tres modelos. Las puntuaciones observadas representan el éxito de replicación observado; este puede ser 0 (= el estudio original no se replicó con éxito) o 1 (= el estudio original sí se replicó con éxito). La N representa el número de estudios. Calculamos las puntuaciones de Brier a partir del éxito de replicación observado según lo evaluado por el equipo de SCORE, donde el número de estudios fue 17. Además, calculamos las puntuaciones de Brier a partir del éxito de replicación observado evaluado mediante metaanálisis, donde el número de estudios fue 15.
Para interpretar la puntuación de Brier, debe tenerse en cuenta que cuanto menor es la puntuación de Brier, más exacta es la predicción. Además, una probabilidad de predicción de ,5 representa una predicción puramente al azar, y la puntuación de Brier asociada de ,25 representa un rendimiento al nivel del azar. Seguimos a Starns et al. [33] para mejorar la interpretabilidad ajustando la puntuación de Brier de manera que −1 represente el peor rendimiento posible, 0 represente el rendimiento al nivel del azar y 1 represente el rendimiento perfecto. Esto significa que las puntuaciones con un rendimiento al nivel del azar (es decir, puntuación de Brier = 0,25) pasaron a ser 0. Las puntuaciones mejores que el rendimiento al nivel del azar (es decir, puntuación de Brier < 0,25) obtuvieron un valor entre 0 y 1. Las puntuaciones peores que el rendimiento al nivel del azar (es decir, puntuación de Brier > 0,25) obtuvieron un valor entre −1 y 0. Nuestra fórmula para la puntuación de Brier ajustada es la siguiente: adjustedBrierscore=1−2*Brierscore, donde puntuación de Brier representa la puntuación de Brier original según se ha descrito previamente.
Aplicamos el mismo procedimiento a los datos de la OSC [4]. La cuantificación del éxito de la replicación de los estudios de replicación de la OSC [4] se mantuvo igual que la cuantificación del éxito de la replicación de los estudios de replicación de SCORE.
Resultados clave
Los resultados de los estudios SCORE originales se presentan en la Tabla 3, y los de los estudios originales de la OSC [4] se presentan en la Fig 2. Los resultados exactos de los estudios originales de la OSC [4] pueden consultarse en la Tabla 4. La primera columna de la Tabla 3 representa un identificador del estudio. La segunda columna de la Tabla 3 representa el tipo de medida de resultado de los 17 estudios originales del conjunto de datos de SCORE, la tercera columna representa el tamaño del efecto observado aproximado de estos estudios, y la cuarta columna indica el tamaño muestral aproximado de estos estudios. Para los datos de la OSC [4], la información correspondiente se encuentra en las columnas 1, 2 y 3 de la Tabla 4. El tipo de tamaño del efecto no se incluye para el conjunto de datos de la OSC [4] en la Tabla 4, porque todas las medidas de resultado eran correlaciones transformadas con la z de Fisher, excepto una medida de resultado, que era una correlación parcial transformada con la z de Fisher.
![Figura 2. Resultados de los estudios originales de la OSC [4].](https://storage.googleapis.com/psicoevidencia-imagenes/imagenes/2026/11/metaanalisis-medida-exito-replicacion-psicologia-figura-2.webp)
Figura 2. Resultados de los estudios originales de la OSC [4].
Tabla 3. Información y resultados de los estudios SCORE originales.
| Identificador del estudio | Tipo de medida de resultado | Tamaño del efecto del estudio SCORE original | Tamaño muestral del estudio SCORE original | Tamaño del efecto mínimo del estudio de replicación | p(Modelo 1: estimación escéptica) | p(Modelo 2: estimación moderada) | p(Modelo 3: estimación optimista) | ||
|---|---|---|---|---|---|---|---|---|---|
| ILB | IUB | ILB | IUB | ||||||
| SCORE_study01 | correlación parcial | 0,2 | 0,3 | 250 | 300 | −0,02 | 0,583 | 0,882 | 0,981 |
| SCORE_study02 | correlación | 0,2 | 0,3 | 60 | 80 | 0,04 | 0,384 | 0,762 | 0,961 |
| SCORE_study03 | correlación | 0,4 | 0,5 | 100 | 150 | −0,11 | 0,812 | 1,001 | 1,001 |
| SCORE_study04 | correlación | 0,4 | 0,5 | 80 | 100 | −0,1 | 0,782 | 1,001 | 1,001 |
| SCORE_study05 | correlación parcial | 0,5 | 0,6 | 100 | 150 | −0,16 | 0,911 | 1,001 | 1,001 |
| SCORE_study06 | d de Cohen (indep) | 0,2 | 0,3 | 2200 | 2300 | −0,08 | 0,782 | 0,981 | 1,001 |
| SCORE_study07 | d de Cohen (indep) | 0,4 | 0,5 | 1600 | 1700 | −0,15 | 0,921 | 1,001 | 1,001 |
| SCORE_study08 | d de Cohen (indep) | 0,4 | 0,5 | 100 | 150 | 0,05 | 0,394 | 0,872 | 0,991 |
| SCORE_study09 | d de Cohen (indep) | 0,5 | 0,6 | 100 | 150 | 0,02 | 0,464 | 0,931 | 1,001 |
| SCORE_study10 | d de Cohen (indep) | 0,5 | 0,6 | 1800 | 1900 | −0,21 | 0,981 | 1,001 | 1,001 |
| SCORE_study11 | d de Cohen (indep) | 0,6 | 0,7 | 100 | 150 | −0,04 | 0,603 | 0,991 | 1,001 |
| SCORE_study12 | d de Cohen (indep) | 0,8 | 0,9 | 30 | 50 | 0,1 | 0,354 | 0,882 | 0,991 |
| SCORE_study13 | d de Cohen (indep) | 1,5 | 1,6 | 20 | 40 | −0,06 | 0,583 | 1,001 | 1,001 |
| SCORE_study14 | d de Cohen (indep) | 2,1 | 2,2 | 20 | 40 | −0,19 | 0,752 | 1,001 | 1,001 |
| SCORE_study15 | d de Cohen (indep) | 2,9 | 3 | 500 | 550 | −0,62 | 1,001 | 1,001 | 1,001 |
| SCORE_study16 | d de Cohen (una) | 0,4 | 0,5 | 100 | 150 | −0,05 | 0,653 | 0,981 | 1,001 |
| SCORE_study17 | d de Cohen (una) | 0,6 | 0,7 | 40 | 60 | −0,06 | 0,653 | 0,991 | 1,001 |
Nota: La potencia superior a ,9, la potencia entre ,7 y ,9, la potencia entre ,5 y ,7 y la potencia inferior a ,5 se destacan mediante subíndices. Dentro de los tres tipos de medidas de resultado, los estudios están ordenados según el tamaño del efecto del estudio SCORE original. Obsérvese que los valores exactos de los tamaños del efecto y de los tamaños muestrales se han sustituido por intervalos a petición del equipo de SCORE para evitar la identificación de los estudios individuales. ’ILB’ e ’IUB’ se refieren a «límite inferior del intervalo» y «límite superior del intervalo».
Tabla 4. Resultados de los estudios de la OSC [4].
| Identificador del estudio | Tamaño del efecto del estudio OSC (4) original | Tamaño muestral del estudio OSC(4) original | Tamaño del efecto mínimo del estudio de replicación | p(Modelo 1) | p(Modelo 2) | p(Modelo 3) |
|---|---|---|---|---|---|---|
| OSC_study01 | 0 | 564 | 0,06 | 0,29 | 0,3 | 0,3 |
| OSC_study02 | 0,14 | 28 | 0,21 | 0,11 | 0,21 | 0,35 |
| OSC_study03 | 0,16 | 96 | 0,07 | 0,29 | 0,55 | 0,78 |
| OSC_study04 | 0,17 | 184 | 0,02 | 0,42 | 0,71 | 0,9 |
| OSC_study05 | 0,19 | 118 | 0,04 | 0,37 | 0,68 | 0,9 |
| OSC_study06 | 0,19 | 196 | 0,01 | 0,47 | 0,78 | 0,95 |
| OSC_study07 | 0,19 | 196 | 0,01 | 0,47 | 0,78 | 0,95 |
| OSC_study08 | 0,2 | 96 | 0,05 | 0,35 | 0,66 | 0,88 |
| OSC_study09 | 0,21 | 133 | 0,02 | 0,43 | 0,76 | 0,94 |
| OSC_study10 | 0,21 | 259 | −0,02 | 0,56 | 0,87 | 0,98 |
| OSC_study11 | 0,21 | 117 | 0,03 | 0,41 | 0,74 | 0,94 |
| OSC_study12 | 0,22 | 113 | 0,03 | 0,41 | 0,75 | 0,94 |
| OSC_study13 | 0,22 | 110 | 0,03 | 0,41 | 0,76 | 0,95 |
| OSC_study14 | 0,23 | 375 | −0,04 | 0,64 | 0,92 | 0,99 |
| OSC_study15 | 0,23 | 86 | 0,04 | 0,36 | 0,71 | 0,93 |
| OSC_study16 | 0,23 | 96 | 0,03 | 0,39 | 0,74 | 0,94 |
| OSC_study17 | 0,23 | 94 | 0,03 | 0,39 | 0,74 | 0,94 |
| OSC_study18 | 0,23 | 192 | −0,01 | 0,54 | 0,87 | 0,99 |
| OSC_study19 | 0,28 | 92 | 0,02 | 0,45 | 0,84 | 0,98 |
| OSC_study20 | 0,28 | 70 | 0,03 | 0,4 | 0,79 | 0,97 |
| OSC_study21 | 0,3 | 174 | −0,04 | 0,63 | 0,95 | 1 |
| OSC_study22 | *0,31 | 43 | 0,07 | 0,32 | 0,71 | 0,95 |
| OSC_study23 | 0,32 | 53 | 0,04 | 0,38 | 0,8 | 0,98 |
| OSC_study24 | 0,33 | 85 | −0,01 | 0,52 | 0,91 | 1 |
| OSC_study25 | 0,35 | 57 | 0,02 | 0,44 | 0,86 | 0,99 |
| OSC_study26 | 0,36 | 33 | 0,08 | 0,3 | 0,72 | 0,96 |
| OSC_study27 | 0,36 | 28 | 0,11 | 0,27 | 0,67 | 0,93 |
| OSC_study28 | 0,37 | 69 | −0,01 | 0,52 | 0,93 | 1 |
| OSC_study29 | 0,38 | 154 | −0,07 | 0,74 | 0,99 | 1 |
| OSC_study30 | 0,39 | 28 | 0,09 | 0,3 | 0,73 | 0,96 |
| OSC_study31 | 0,39 | 40 | 0,04 | 0,4 | 0,85 | 0,99 |
| OSC_study32 | 0,4 | 33 | 0,06 | 0,35 | 0,8 | 0,98 |
| OSC_study33 | 0,4 | 33 | 0,06 | 0,35 | 0,8 | 0,98 |
| OSC_study34 | 0,4 | 75 | −0,03 | 0,59 | 0,96 | 1 |
| OSC_study35 | 0,4 | 36 | 0,05 | 0,37 | 0,83 | 0,99 |
| OSC_study36 | 0,4 | 101 | −0,05 | 0,67 | 0,98 | 1 |
| OSC_study37 | 0,4 | 31 | 0,07 | 0,33 | 0,78 | 0,98 |
| OSC_study38 | 0,4 | 36 | 0,05 | 0,38 | 0,83 | 0,99 |
| OSC_study39 | 0,41 | 36 | 0,05 | 0,38 | 0,84 | 0,99 |
| OSC_study40 | 0,42 | 53 | −0,01 | 0,51 | 0,94 | 1 |
| OSC_study41 | 0,42 | 43 | 0,02 | 0,46 | 0,91 | 1 |
| OSC_study42 | 0,45 | 26 | 0,07 | 0,34 | 0,81 | 0,99 |
| OSC_study43 | 0,46 | 70 | −0,05 | 0,66 | 0,98 | 1 |
| OSC_study44 | 0,46 | 43 | 0 | 0,51 | 0,94 | 1 |
| OSC_study45 | 0,48 | 25 | 0,07 | 0,35 | 0,84 | 0,99 |
| OSC_study46 | 0,5 | 33 | 0,02 | 0,46 | 0,93 | 1 |
| OSC_study47 | 0,53 | 46 | −0,04 | 0,61 | 0,98 | 1 |
| OSC_study48 | 0,55 | 30 | 0,01 | 0,49 | 0,95 | 1 |
| OSC_study49 | 0,55 | 33 | −0,01 | 0,52 | 0,96 | 1 |
| OSC_study50 | 0,57 | 41 | −0,05 | 0,63 | 0,99 | 1 |
| OSC_study51 | 0,62 | 13 | 0,14 | 0,27 | 0,77 | 0,98 |
| OSC_study52 | 0,62 | 280 | −0,23 | 0,98 | 1 | 1 |
| OSC_study53 | 0,63 | 33 | −0,05 | 0,62 | 0,99 | 1 |
| OSC_study54 | 0,63 | 39 | −0,07 | 0,68 | 0,99 | 1 |
| OSC_study55 | 0,65 | 32 | −0,05 | 0,63 | 0,99 | 1 |
| OSC_study56 | 0,68 | 15 | 0,08 | 0,36 | 0,89 | 1 |
| OSC_study57 | 0,69 | 25 | −0,03 | 0,57 | 0,98 | 1 |
| OSC_study58 | 0,69 | 19 | 0,02 | 0,45 | 0,95 | 1 |
| OSC_study59 | 0,71 | 25 | −0,04 | 0,59 | 0,99 | 1 |
| OSC_study60 | 0,73 | 38 | −0,12 | 0,78 | 1 | 1 |
| OSC_study61 | 0,78 | 16 | 0,02 | 0,46 | 0,96 | 1 |
| OSC_study62 | 0,81 | 23 | −0,08 | 0,66 | 1 | 1 |
| OSC_study63 | 0,83 | 126 | −0,28 | 0,99 | 1 | 1 |
| OSC_study64 | 0,84 | 30 | −0,13 | 0,79 | 1 | 1 |
| OSC_study65 | 0,86 | 30 | −0,15 | 0,81 | 1 | 1 |
| OSC_study66 | 0,87 | 11 | 0,08 | 0,37 | 0,92 | 1 |
| OSC_study67 | 0,9 | 22 | −0,1 | 0,71 | 1 | 1 |
| OSC_study68 | 0,9 | 101 | −0,3 | 0,99 | 1 | 1 |
| OSC_study69 | 0,91 | 9 | 0,14 | 0,31 | 0,87 | 1 |
| OSC_study70 | 0,91 | 15 | −0,03 | 0,55 | 0,99 | 1 |
| OSC_study71 | 0,95 | 9 | 0,13 | 0,33 | 0,89 | 1 |
| OSC_study72 | 1,02 | 78 | −0,34 | 1 | 1 | 1 |
| OSC_study73 | 1,29 | 9 | −0,01 | 0,52 | 0,99 | 1 |
Nota: El tamaño del efecto del estudio original con
* es una correlación parcial transformada con la z de Fisher. Todos los demás tamaños del efecto son correlaciones transformadas con la z de Fisher.
La quinta columna de la Tabla 3 representa el tamaño del efecto mínimo de replicación, es decir, que el estudio de replicación del estudio SCORE original correspondiente debería tener al menos ese tamaño del efecto para que el resultado metaanalítico fuera estadísticamente significativo (es decir, que el estudio original se replique con éxito). En esta columna se observa que la mayoría de los tamaños del efecto mínimos de replicación son negativos (13 de 17 tamaños del efecto de replicación). Esto significa que, desde una perspectiva metaanalítica, 13 de 17 estudios se contarían como un éxito de replicación incluso si se obtuviera un tamaño del efecto muestral de cero o inferior. Para los datos de la OSC [4], esta información se encuentra en la columna 4 de la Tabla 4. Aquí se observa que 31 de 73 tamaños del efecto mínimos de replicación son negativos, lo que significa que, desde una perspectiva metaanalítica, algo menos de la mitad de ellos se contarían como un éxito de replicación incluso con un tamaño del efecto de replicación de cero.
La probabilidad de encontrar al menos el tamaño del efecto mínimo de replicación para los 17 estudios SCORE originales, dado el Modelo 1 (es decir, el modelo de estimación escéptica, en el que el tamaño del efecto verdadero ~N(0; 0,1)), se presenta en la columna 6 de la Tabla 3. Observamos que estas probabilidades son bastante altas para la mayoría de los estudios SCORE originales: 13 de 17 probabilidades son superiores al 50 %, lo que significa que, según nuestro análisis, 13 de 17 estudios SCORE originales tienen una probabilidad superior al 50 % de ser replicados con éxito, dado el modelo de estimación escéptica. Los otros cuatro estudios tienen probabilidades superiores al 30 %. En conjunto, esto muestra que, si cada uno de estos estudios tiene un efecto poblacional subyacente de cero, sigue siendo probable que muchas de estas replicaciones tengan éxito cuando se las considera desde una perspectiva metaanalítica.
En cuanto a los datos de la OSC [4], 31 de 73 probabilidades son superiores al 50 % bajo el modelo escéptico (es decir, 31 de 73 puntos naranjas están por encima de 0,50), lo que significa que, al utilizar el metaanálisis como métrica de éxito de la replicación, aproximadamente la mitad de los estudios originales de la OSC [4] (31 de 73) tenían una probabilidad superior al 50 % de ser replicados con éxito, dado el modelo de estimación escéptica (véase también la columna 5 de la Tabla 4). Los resultados aquí son algo menos extremos que los de los estudios SCORE.
La séptima columna de la Tabla 3 representa la probabilidad de encontrar al menos el tamaño del efecto mínimo de replicación para los 17 estudios SCORE originales, dado el Modelo 2 (es decir, el modelo de estimación moderada, en el que el tamaño del efecto verdadero ~N(0,5*tamaño del efecto del estudio original; 0,1)). Aquí observamos que todas las probabilidades son superiores al 50 %, y que 13 de 17 estudios SCORE originales tienen una probabilidad superior al 90 % de ser replicados con éxito bajo el modelo moderado. Si observamos los círculos azules de la Fig 2 (y la columna 6 de la Tabla 4), vemos que casi todas las probabilidades son superiores al 50 % (71 de 73), y que aproximadamente la mitad de los estudios originales de la OSC [4] (35 de 73) tienen una probabilidad superior al 90 % de ser replicados con éxito, dado el modelo moderado. Así pues, si los tamaños del efecto poblacionales verdaderos son la mitad del tamaño del efecto muestral informado originalmente, la conclusión de una replicación exitosa es muy probable cuando se evalúa mediante metaanálisis.
Por último, la columna 8 de la Tabla 3 contiene la probabilidad de encontrar al menos el tamaño del efecto mínimo de replicación para los 17 estudios SCORE originales, dado el modelo optimista (es decir, el tamaño del efecto verdadero ~N(tamaño del efecto del estudio original; 0,1)). Se observa que todas las probabilidades son casi iguales al 100 %, lo que significa que, según nuestro análisis, todos los estudios SCORE originales tienen una probabilidad de casi el 100 % de ser replicados con éxito, dado el modelo de estimación basado en el estudio original. Para los datos de la OSC [4], casi todas las probabilidades (excepto 5 probabilidades) son casi iguales al 100 %, por lo que casi todos los estudios originales de la OSC [4] tienen una probabilidad de casi el 100 % de ser replicados con éxito, dado el modelo de estimación basado en el estudio original (véanse los círculos morados de la Fig 2 y la columna 7 de la Tabla 4). Así pues, si los tamaños del efecto poblacionales verdaderos son iguales al tamaño del efecto muestral informado originalmente, la conclusión de una replicación exitosa es casi segura cuando se evalúa mediante metaanálisis.
La exactitud del éxito global de la replicación predicho se evaluó comparando el porcentaje verdadero y el predicho de éxitos de replicación. Para cada modelo por separado, calculamos las puntuaciones de Brier (ajustadas), que pueden consultarse en la Tabla 5 (los resultados de los estudios de replicación de SCORE pueden consultarse en la Tabla S1). Realizamos este cálculo para el éxito de la replicación cuantificado como (1) el estudio de replicación es significativo y el tamaño del efecto de la replicación tiene la misma dirección que el tamaño del efecto original y (2) el metaanálisis es significativo y el tamaño del efecto metaanalítico tiene la misma dirección que el tamaño del efecto original. Según el primer método de éxito de la replicación, se puede concluir que solo el modelo escéptico obtuvo un resultado mejor que el azar (11 % entre el azar y la mejor puntuación posible); los modelos moderado y optimista obtuvieron un resultado peor que el azar (20 % y 28 % entre el azar y la peor puntuación posible, respectivamente). Esto significa que, cuando los tamaños del efecto poblacionales estaban centrados en torno a cero, la predicción fue más exacta que cuando los tamaños del efecto poblacionales estaban centrados en torno a (la mitad de) el tamaño del efecto muestral original. La predicción fue ligeramente menos mala cuando los tamaños del efecto poblacionales estaban centrados en torno a la mitad del tamaño del efecto muestral original que cuando estaban centrados en torno al tamaño del efecto muestral original. En general, se puede concluir que ninguno de los tres modelos predijo muy bien.
Tabla 5. Puntuaciones de Brier y puntuaciones de Brier ajustadas por modelo para los datos de SCORE y de la OSC [4].
| Modelos | SCORE: p y dirección | SCORE: MA | OSC: p y dirección | OSC: MA | ||||
|---|---|---|---|---|---|---|---|---|
| puntuación de Brier | puntuación de Brier ajustada | puntuación de Brier | puntuación de Brier ajustada | puntuación de Brier | puntuación de Brier ajustada | puntuación de Brier | puntuación de Brier ajustada | |
| Modelo 1: escéptico | 0,20 | 0,11 | 0,11 | 0,34 | 0,25 | 0,00 | 0,24 | 0,02 |
| Modelo 2: moderado | 0,36 | −0,20 | 0,14 | 0,25 | 0,47 | −0,37 | 0,18 | 0,15 |
| Modelo 3: optimista | 0,41 | −0,28 | 0,19 | 0,13 | 0,59 | −0,54 | 0,22 | 0,06 |
Nota: «p y dirección» se refiere a las puntuaciones de Brier (ajustadas) cuando el éxito de la replicación se cuantificó como un efecto significativo en el estudio de replicación combinado con que el tamaño del efecto de la replicación tuviera la misma dirección que el tamaño del efecto original (es decir, positivo). «MA» se refiere a las puntuaciones de Brier (ajustadas) cuando el éxito de la replicación se cuantificó como un resultado metaanalítico significativo combinado con que el tamaño del efecto metaanalítico tuviera la misma dirección que el tamaño del efecto original (es decir, positivo). Las puntuaciones de Brier (ajustadas) de «SCORE: MA» se calculan con base en 15 en lugar de 17 estudios SCORE; se excluyeron dos estudios porque el estudio de replicación tenía una medida de resultado diferente de la del estudio original. La puntuación de Brier puede tener un valor entre 0 y 1, y cuanto menor es la puntuación de Brier, más exacta es la predicción. La puntuación de Brier ajustada puede tener un valor entre −1 y +1, y cuanto mayor es la puntuación de Brier ajustada, más exacta es la predicción.
Las puntuaciones de Brier para el éxito de la replicación cuantificado mediante metaanálisis fueron mucho mejores. La Tabla 5 muestra que los modelos escéptico, moderado y optimista obtuvieron un 34 %, un 25 % y un 13 % entre el azar y el rendimiento perfecto, respectivamente. El orden relativo del rendimiento de los modelos refleja el del éxito de la replicación cuantificado con el primer enfoque de éxito de la replicación: el modelo escéptico parece ser el más exacto.
Para los estudios de la OSC [4], también se calcularon las puntuaciones de Brier. En la Tabla 5 pueden consultarse las puntuaciones de Brier (ajustadas) de cada modelo por separado (los resultados de los estudios de replicación de la OSC [4] pueden consultarse en la Tabla S2). Cuando el éxito de la replicación se cuantificó con base en el valor de p y la dirección del tamaño del efecto, se puede concluir que las puntuaciones correspondían a un rendimiento igual al azar para el modelo escéptico. Los modelos moderado y optimista obtuvieron ambos un resultado inferior al azar (37 % y 54 % entre el azar y la peor puntuación posible, respectivamente).
Cuando el éxito de la replicación se cuantificó mediante metaanálisis, el rendimiento de los tres modelos mejoró, pero el orden relativo cambió: el modelo moderado obtuvo el mejor rendimiento (15 % entre el azar y el rendimiento perfecto), seguido del modelo optimista (6 % entre el azar y el rendimiento perfecto), y el modelo escéptico obtuvo el peor (2 % entre el azar y el rendimiento perfecto). Por ello, desde una perspectiva metaanalítica, parece que el modelo moderado es el que mejor refleja los tamaños del efecto poblacionales subyacentes de los estudios incorporados en la OSC [4].
Hemos repetido todo el procedimiento descrito anteriormente para dos escenarios adicionales en los que variamos el tamaño muestral de los estudios de replicación generados. Lo hicimos para estudiar el efecto de la diferencia relativa entre el tamaño muestral de la replicación y el tamaño muestral original sobre la probabilidad de encontrar al menos el tamaño del efecto mínimo de replicación dados los tres modelos. En un escenario, el tamaño muestral de la replicación era tan grande como el tamaño muestral del estudio original (es decir, 1:1), y en el otro escenario el tamaño muestral de la replicación era cinco veces mayor que el tamaño muestral original (es decir, 5:1). Los resultados de los tres modelos pueden consultarse en la Tabla S3 para los estudios SCORE, y en la Tabla S4 para los estudios de la OSC [4] en la información complementaria.
En el escenario 1:1, 15 de 17 estudios SCORE se contarían como un éxito de replicación, desde una perspectiva metaanalítica, incluso si se obtuviera cierto tamaño del efecto muestral de la replicación inferior a cero. En el escenario 5:1, 7 de 17 estudios SCORE con tales resultados se contarían como un éxito de replicación. Las cifras correspondientes para los datos de la OSC [4] son 44 y 9 de 73 estudios, respectivamente. Parece que cuanto mayor es el tamaño muestral del estudio de replicación en comparación con el tamaño muestral del estudio original, menos probable es que el tamaño del efecto mínimo de replicación sea negativo. Sin embargo, es importante señalar que los tamaños del efecto mínimos de replicación positivos suelen estar cerca de cero. Esto significa que los estudios de replicación con tamaños del efecto cercanos a cero seguirían contándose como exitosos.
Según el Modelo 1 (es decir, la estimación escéptica), 15 de 17 estudios SCORE tienen probabilidades de éxito de la replicación superiores al 50 %, y los otros 2 estudios tienen probabilidades superiores al 30 % (pero inferiores al 50 %) en el escenario 1:1. En el escenario 5:1, 7 de 17 de tales probabilidades son superiores al 50 %; 9 probabilidades son superiores al 30 % (pero inferiores al 50 %), y solo una es inferior al 30 %. Para los estudios de la OSC [4], 45 de 73 probabilidades son superiores al 50 %, 25 son superiores al 30 % (pero inferiores al 50 %), y solo 3 son inferiores al 30 % en el escenario 1:1. En el escenario 5:1, 9 de 73 probabilidades son superiores al 50 %; 49 probabilidades son superiores al 30 % (pero inferiores al 50 %), y 15 son inferiores al 30 %. Con base en estos resultados, parece que cuanto mayor es el tamaño muestral del estudio de replicación en comparación con el tamaño muestral del estudio original, menos estudios tienen una probabilidad superior al 50 % de ser replicados con éxito, dado el Modelo 1.
Según el Modelo 2 (es decir, la estimación moderada), todos los estudios SCORE tienen probabilidades superiores al 50 %, y 14 estudios tienen probabilidades superiores al 90 % en el escenario 1:1. En el escenario 5:1, todas las probabilidades son superiores al 50 %, y 15 de 17 probabilidades son superiores al 90 %. Para los estudios de la OSC [4], 71 de 73 probabilidades son superiores al 50 %; 37 estudios tienen probabilidades superiores al 90 %, y solo 2 estudios tienen probabilidades inferiores al 30 % en el escenario 1:1. En el escenario 5:1, 71 de 73 probabilidades son superiores al 50 %; 36 probabilidades son superiores al 90 %; ningún estudio tiene una probabilidad inferior al 30 %.
Según el Modelo 3 (es decir, la estimación optimista), todos los estudios SCORE tienen probabilidades (casi) iguales al 100 % tanto en el escenario 1:1 como en el 5:1. Para los estudios de la OSC [4], 67 de 73 estudios tienen una probabilidad superior al 90 %; 4 estudios tienen una probabilidad superior al 50 % (pero inferior al 90 %); 2 estudios tienen una probabilidad inferior al 30 % en el escenario 1:1. En el escenario 5:1, 70 de 73 estudios tienen una probabilidad superior al 90 %, 1 tiene una probabilidad inferior al 50 %, y ninguno tiene una probabilidad inferior al 30 %.
Con base en estos resultados, parece que la diferencia relativa entre el tamaño muestral de los estudios de replicación y el tamaño muestral de los estudios originales no influye mucho en la probabilidad de éxito de la replicación, dado el Modelo 2 o 3.
Las puntuaciones de Brier (ajustadas) pueden consultarse en la Tabla S5 para los estudios SCORE, y en la Tabla S6 para los estudios de la OSC [4] en la información complementaria.
Para los estudios SCORE, cuando el éxito de la replicación se cuantificó con base en el valor de p y la dirección del tamaño del efecto en el escenario 1:1, se puede concluir que las puntuaciones correspondían a un rendimiento igual al azar para el modelo escéptico. Los modelos moderado y optimista obtuvieron ambos un resultado inferior al azar (20 % y 27 % entre el azar y la peor puntuación posible, respectivamente). En el escenario 5:1, el modelo escéptico tuvo el mejor rendimiento (12 % entre el azar y el rendimiento perfecto); los modelos moderado y optimista obtuvieron de nuevo un resultado inferior al azar (22 % y 28 % entre el azar y la peor puntuación posible).
Cuando el éxito de la replicación se cuantificó mediante metaanálisis, el rendimiento de los tres modelos mejoró en gran medida y el orden se mantuvo igual en el escenario 1:1: el modelo escéptico obtuvo el mejor rendimiento (47 % entre el azar y el rendimiento perfecto), seguido de los modelos moderado y optimista (25 % y 13 % entre el azar y el rendimiento perfecto, respectivamente). En el escenario 5:1, el orden relativo cambió: el modelo moderado obtuvo el mejor rendimiento (21 % entre el azar y el rendimiento perfecto), seguido del modelo optimista (11 % entre el azar y el rendimiento perfecto), y el modelo escéptico obtuvo el peor rendimiento (9 % entre el azar y el rendimiento perfecto).
Para los estudios de la OSC [4], cuando el éxito de la replicación se cuantificó con base en el valor de p y la dirección del tamaño del efecto en el escenario 1:1, todos los modelos obtuvieron un resultado inferior al azar (escéptico 11 %, moderado 39 % y optimista 53 % entre el azar y el peor). En el escenario 5:1, el modelo escéptico tuvo el mejor rendimiento (3 % entre el azar y el rendimiento perfecto); los modelos moderado y optimista obtuvieron de nuevo un resultado inferior al azar (39 % y 55 % entre el azar y la peor puntuación posible).
Cuando el éxito de la replicación se cuantificó mediante metaanálisis, el rendimiento de los tres modelos mejoró, pero el orden relativo cambió: en el escenario 1:1, el modelo moderado obtuvo el mejor rendimiento (15 % entre el azar y el rendimiento perfecto), seguido de los modelos escéptico y optimista (13 % y 7 % entre el azar y el rendimiento perfecto). En el escenario 5:1, el orden relativo cambió de nuevo: el modelo moderado obtuvo de nuevo el mejor rendimiento (16 % entre el azar y el rendimiento perfecto), seguido del modelo optimista (6 % entre el azar y el rendimiento perfecto), y el modelo escéptico obtuvo un resultado inferior al azar (12 % entre el azar y el peor).
Implicaciones prácticas
Este estudio no evalúa una intervención, sino una herramienta estadística que se usa para valorar replicaciones. Su aportación es advertir de que combinar el estudio original con su réplica mediante metaanálisis tiende a dar por buena la replicación, de modo que un metaanálisis «significativo» no debe leerse por sí solo como confirmación del hallazgo original.
Para la práctica clínica y la lectura de la evidencia
- Al leer una réplica, conviene fijarse en si el estudio de replicación, por sí solo, apunta en la misma dirección y con un tamaño del efecto comparable, y no solo en el resultado agrupado con el estudio original.
- Un efecto «replicado» según un metaanálisis que incluye el original puede estar heredando el sesgo de publicación de ese original; no equivale a una confirmación independiente.
- El estudio no permite concluir que los metaanálisis en general sean poco fiables: los propios autores los consideran adecuados para combinar estudios y estimar un efecto global, con las cautelas habituales.
Para la investigación
- Valorar la replicación como grado de similitud entre estudios, en lugar de como un resultado binario de éxito o fracaso.
- Cuando se use el metaanálisis en proyectos de replicación, tener en cuenta el sesgo de publicación, por ejemplo con métodos como el promediado bayesiano de modelos que citan los autores.
- Considerar los moderadores ocultos (diferencias de contexto entre original y réplica) al interpretar discrepancias.
Nota editorial de Psicoevidencia
Es un estudio metodológico basado en predicciones y simulaciones sobre datos existentes, no un ensayo con participantes. Usa 17 estudios originales del programa SCORE (de varias disciplinas sociales) y 73 de la OSC (todos de psicología), por lo que los dos conjuntos son muy desiguales en tamaño y composición. El «éxito» de las replicaciones observadas se definió con dos criterios (valor p y dirección del efecto, o metaanálisis), y los propios autores recuerdan que ninguno es una medida objetiva; la mejor concordancia con el criterio metaanalítico es en parte circular, porque se usa el mismo método para predecir y para evaluar.
Conclusión
Aunque el metaanálisis no se desarrolló para evaluar el éxito de la replicación, en la práctica se ha utilizado en este contexto. Por ello, en el presente estudio utilizamos 17 estudios originales de SCORE y 73 estudios originales de la OSC [4] para obtener más información sobre cómo funciona el metaanálisis como métrica del éxito de la replicación. Lo hicimos realizando predicciones agregadas sobre la replicabilidad bajo distintos supuestos sobre la población, al incluir en el metaanálisis el estudio original y su única replicación. Incluimos los siguientes supuestos sobre la población: un modelo en el que el efecto poblacional subyacente es cero (escéptico), un modelo en el que el efecto poblacional subyacente es la mitad del tamaño del efecto muestral originalmente informado (moderado) y un modelo en el que el efecto poblacional subyacente es igual al tamaño del efecto muestral originalmente informado (optimista). Después, se evaluó la precisión de la predicción del éxito global de la replicación comparando el porcentaje verdadero y el porcentaje predicho de replicaciones exitosas.
El mensaje principal que se desprende de los resultados del presente estudio es que, si el efecto poblacional subyacente es cero, las replicaciones siguen teniendo una alta probabilidad de ser exitosas desde una óptica metaanalítica, a menos que el tamaño muestral del estudio de replicación sea mucho mayor que el del estudio original (la razón más alta investigada en el presente estudio fue 5:1); esta conclusión es aún más probable si el tamaño del efecto poblacional verdadero es la mitad del tamaño del efecto muestral originalmente informado; si el tamaño del efecto poblacional verdadero es igual al tamaño del efecto muestral originalmente informado, la conclusión de una replicación exitosa es casi segura cuando se evalúa mediante metaanálisis.
La precisión de las predicciones dependió de cómo se cuantificó el éxito de la replicación en los estudios de replicación observados. Cuando el éxito de la replicación en los estudios observados se cuantificó a partir del valor p y de la dirección del tamaño del efecto, las predicciones fueron bastante deficientes. Cuando el éxito de la replicación en los estudios observados se cuantificó mediante metaanálisis, las predicciones fueron mejores. Esto tiene sentido porque en este último caso se utilizó el mismo método (es decir, el metaanálisis) para predecir el éxito de la replicación y para cuantificar el éxito de la replicación en los estudios de replicación observados. El modelo escéptico resultó ser el más preciso para los estudios de SCORE, excepto en el escenario 5:1 cuando el éxito de la replicación se basó en el metaanálisis: en este caso, el modelo moderado resultó ser el más preciso. Para los estudios de la OSC [4], cuando el éxito de la replicación se cuantificó a partir del valor p y de la dirección del tamaño del efecto, las puntuaciones se situaron en torno al rendimiento esperable por azar para el modelo escéptico en los escenarios 2:1 y 5:1, pero por debajo del azar en el escenario 1:1. Los modelos moderado y optimista tuvieron ambos un rendimiento inferior al azar. Cuando el éxito de la replicación se cuantificó mediante metaanálisis, el modelo moderado tuvo el mejor rendimiento en los tres escenarios de tamaño muestral de la replicación. Así pues, los modelos que predicen tamaños del efecto verdaderos entre cero y la mitad del tamaño del efecto del estudio original son los que mejor se corresponden con los resultados empíricos de replicación.
Una limitación del presente estudio es que, al evaluar la precisión de la predicción del éxito global de la replicación, comparamos el porcentaje predicho de éxito de la replicación con el porcentaje verdadero de éxito de la replicación. Sin embargo, no existe ninguna medida objetiva para cuantificar el éxito de la replicación. En el presente estudio, el porcentaje verdadero de éxito de la replicación se basó 1) en la evaluación de un resultado significativo en el estudio de replicación, con un tamaño del efecto de replicación en la misma dirección que el tamaño del efecto original, y 2) en la evaluación de un resultado metaanalítico significativo, con un tamaño del efecto metaanalítico en la misma dirección que el tamaño del efecto original. No obstante, los resultados basados en estos enfoques no representan el porcentaje verdadero de éxito de la replicación, porque no existe ninguna métrica de éxito de la replicación que funcione perfectamente [p. ej., 13].
Otra limitación es que el número de estudios incluidos en los dos proyectos fue muy diferente (proyecto SCORE: n = 17; proyecto OSC: n = 73). Aunque no creemos que este problema afectara necesariamente a los resultados del presente estudio, porque las conclusiones basadas en ambos proyectos fueron similares, no podemos descartarlo. Un problema relacionado es que los 17 estudios originales de SCORE procedían de diversas disciplinas de las ciencias sociales, mientras que los originales de la OSC eran todos estudios de psicología. Esta heterogeneidad podría haber afectado potencialmente a nuestros resultados.
Si se quiere utilizar el metaanálisis en el contexto de la investigación sobre replicación, en el que se desea evaluar si el resultado de la replicación concuerda con el resultado original, creemos que el metaanálisis es una herramienta inadecuada. Esto se debe a que los resultados metaanalíticos representan una combinación de los resultados del estudio de replicación y del estudio original. Esta comparación puede parecer hasta cierto punto carente de sentido, porque los investigadores de la replicación suelen estar interesados en estudiar si un estudio de replicación independiente conduce a la misma conclusión que el estudio original. En el caso del metaanálisis existe dependencia, ya que se comparan los resultados del estudio original con unos resultados que son una combinación de los obtenidos en el estudio de replicación y en el estudio original.
Además, es importante tener en cuenta el sesgo de publicación en el contexto del metaanálisis. Combinar los hallazgos originales publicados con nuevos hallazgos de replicación mediante técnicas metaanalíticas ignora el sesgo de publicación. En una revisión reciente de Bartoš et al. [34] se halló que la magnitud del problema del sesgo de publicación en diversos campos científicos era sustancial. Por tanto, sintetizar los hallazgos propaga el sesgo del hallazgo original. El resumen metaanalítico resultante queda necesariamente sesgado y resulta difícil encontrar una replicación fallida. El hecho de que los hallazgos elegidos para su replicación sean casi siempre significativos (p. ej., el 97 % de los hallazgos originales del proyecto de la OSC [4] tenían un valor p estadísticamente significativo) agrava aún más este problema. Un método interesante que tiene en cuenta el sesgo de publicación es el modelo de promediado bayesiano propuesto por Guan y Vandekerckhove [35]. Este enfoque conduce a interpretaciones más conservadoras de los metaanálisis.
Es importante señalar que esto no significa que el metaanálisis carezca de sentido en general. Si se está interesado en combinar los resultados de múltiples estudios para una evaluación global de un determinado fenómeno (que es el propósito del metaanálisis), creemos que el metaanálisis es un enfoque adecuado. No obstante, es importante mantener la cautela ante los problemas más generales que pueden presentarse al utilizar el metaanálisis con este fin. Estas cuestiones han sido discutidas, por ejemplo, por Senn [36] y por Simonsohn, Simmons y Nelson [37].
Se ha considerado de gran importancia llevar a cabo estudios de replicación en la ciencia [p. ej., 2, p. 2]. Sin embargo, la cuantificación del éxito de la replicación se complica por el hecho de que no existe un estándar de oro para cuantificar el éxito de la replicación [p. ej., 4]. Además, el éxito de la replicación se ha utilizado a menudo en forma binaria. Creemos que esta forma binaria es demasiado simplista y sugerimos que resulta más apropiado centrarse en el grado de similitud entre dos estudios [p. ej., 13]. Asimismo, es importante señalar que los moderadores ocultos (es decir, las diferencias contextuales entre el estudio original y el de replicación [p. ej., 38]) podrían desempeñar un papel en las diferencias entre los hallazgos del estudio original y los de la replicación.
Con base en los resultados obtenidos en el presente estudio, podemos concluir que el metaanálisis parece ser, sobre todo, un método liberal cuando se utiliza como métrica del éxito de la replicación. El metaanálisis suele dar lugar a una alta probabilidad de que el estudio original se replique con éxito, especialmente en un mundo en el que la mayoría de los resultados publicados indican un efecto poblacional distinto de cero y en el que el sesgo de publicación sigue siendo, posiblemente, relativamente frecuente.
Información de apoyo
S1 Table. Resultados de los estudios de replicación de SCORE. (XLSX)
S2 Table. Resultados de los estudios de replicación de la OSC [4]. (XLSX)
S3 Table. Resultados de los tres modelos para los estudios de SCORE. (XLSX)
S4 Table. Resultados de los tres modelos para los estudios de la OSC [4]. (XLSX)
S5 Table. Puntuaciones de Brier (ajustadas) para los estudios de SCORE. (XLSX)
S6 Table. Puntuaciones de Brier (ajustadas) para los estudios de la OSC [4]. (XLSX)
Declaraciones
Proceso editorial
- Recibido: 12 de abril de 2024 · Aceptado: 22 de julio de 2024 · Publicado: 11 de diciembre de 2024
- Correspondencia: * Correo electrónico
Referencias
Camerer, CF, Dreber, A, Forsell, E, Ho, T-H, Huber, J, Johannesson, M, et al. Evaluating replicability of laboratory experiments in economics. Science. 2016;351(6280):1433–6; doi: https://doi.org/10.1126/science.aaf0918
Rosenthal, R. Replication in behavioral research. In: Neuliep, JW, editors. Replication research in the social sciences. Newbury Park: Sage; 1991. p. 1–39.
Klein, RA, Ratliff, KA, Vianello, M, Adams, RB, Bahník, Š, Bernstein, MJ, et al. Investigating variation in replicability: A “many labs” replication project. Social psychology. 2014;45:142–52; https://doi.org/10.1027/1864-9335/a0
Open Science Collaboration. Estimating the reproducibility of psychological science. Science 2015;349(6251); https://doi.org/10.1126/science.aac4716
Ebersole, CR, Atherton, OE, Belanger, AL, Skulborstad, HM, Allen, JM, Banks, JB, et al. Many Labs 3: Evaluating participant pool quality across the academic semester via replication. J Exp Soc Psychol. 2016;67:68–82; https://doi.org/10.1016/j.jesp.2015.10.012
Camerer, CF, Dreber, A, Holzmeister, F, Ho, T-H, Huber, J, Johannesson, M, et al. Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nat Hum Behav. 2018;2(9):637–44; doi: https://doi.org/10.1038/s41562-018-0399-z
Cova, F, Strickland, B, Abatista, A, Allard, A, Andow, J, Attie, M, et al. Estimating the reproducibility of experimental philosophy. Rev Philos Psychol. 2018;12(1):9–44; https://doi.org/10.1007/s13164-018-0400-9
Klein, RA, Vianello, M, Hasselman, F, Adams, BG, Adams, RB, Alper, S, et al. Many labs 2: Investigating variation in replicability across samples and settings. Adv Methods Pract Psychol Sci. 2018;1(4):443–90; https://doi.org/10.1177/2515245918810225
Errington, TM, Mathur, M, Soderberg, CK, Denis, A, Perfito, N, Iorns, E, et al. Investigating the replicability of preclinical cancer biology. Elife. 2021;10; doi: https://doi.org/10.7554/eLife.71601
Schmidt, S. Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences. Rev Gen Psychol. 2009;13(2):90–100; https://doi.org/10.1037/a0015108
Pashler, H, Wagenmakers, E-J. Editors’ introduction to the special section on replicability in psychological science: A crisis of confidence? Perspect Psychol Sci. 2012;7(6):528–30; doi: https://doi.org/10.1177/1745691612465253
Nosek, BA, Errington, TM. What is replication? PLoS Biol. 2020;18(3):e3000691; doi: https://doi.org/10.1371/journal.pbio.3000691
Muradchanian, J, Hoekstra, R, Kiers, H, van Ravenzwaaij, D. How best to quantify replication success? A simulation study on the comparison of replication success metrics. R Soc Open Sci. 2021;8(5):201697; doi: https://doi.org/10.1098/rsos.201697
Valentine, JC, Biglan, A, Boruch, RF, Castro, FG, Collins, LM, Flay, BR, et al. Replication in prevention science. Prev Sci. 2011;12(2):103–17; doi: https://doi.org/10.1007/s11121-011-0217-6
Anderson, SF, Maxwell, SE. There’s more than one way to conduct a replication study: Beyond statistical significance. Psychol Methods. 2016;21(1):1–12; doi: https://doi.org/10.1037/met0000051
Patil, P, Peng, RD, Leek, JT. What should researchers expect when they replicate studies? A statistical view of replicability in psychological science. Perspect Psychol Sci. 2016;11(4):539–44; doi: https://doi.org/10.1177/1745691616646366
Verhagen, J, Wagenmakers, E-J. Bayesian tests to quantify the result of a replication attempt. J Exp Psychol Gen. 2014;143(4):1457–75; doi: https://doi.org/10.1037/a0036731
Simonsohn, U. Small telescopes: Detectability and the evaluation of replication results. Psychol Sci. 2015;26(5):559–69; doi: https://doi.org/10.1177/0956797614567341
Held, L, Micheloud, C, Pawel, S. The assessment of replication success based on relative effect size. 2020; https://arxiv.org/abs/2009.07782
Gronau, QF, Van Erp, S, Heck, DW, Cesario, J, Jonas, KJ, Wagenmakers, E-J. A Bayesian model-averaged meta-analysis of the power pose effect with informed and default priors: the case of felt power. Compr Results Soc Psychol. 2017;2(1):123–38; https://doi.org/10.1080/23743603.2017.1326760
Stanley, TD. Beyond publication bias: Beyond publication bias. J Econ Surv. 2005;19(3):309–45; https://doi.org/10.1111/j.0950-0804.2005.00250.x
Fraser, H, Bush, M, Wintle, B, Mody, F, Smith, ET, Hanea, A, et al. Predicting reliability through structured expert elicitation with repliCATS (Collaborative Assessments for Trustworthy Science). 2021; https://doi.org/10.31222/osf.io/2pczv
repliCATS project. Why is it important to gather predictions about the credibility of published research? 2022. https://replicats.research.unimelb.edu.au/. Accessed 5 Jan 2022.
Alipourfard, N, Arendt, B, Benjamin, DM, Benkler, N, Bishop, MM, Burstein, M, et al. Systematizing confidence in open research and evidence (SCORE). SocArXiv. 2021; https://doi.org/10.31235/osf.io/46mnb
Hemming, V, Burgman, MA, Hanea, AM, McBride, MF, Wintle, BC. A practical guide to structured expert elicitation using the IDEA protocol. Methods Ecol Evol. 2018;9(1):169–80; https://doi.org/10.1111/2041-210x.12857
Hanea, A, Wilkinson, DP, McBride, M, Lyon, A, van Ravenzwaaij, D, Singleton Thorn, F, et al. Mathematically aggregating experts’ predictions of possible futures. 2021; doi: https://doi.org/10.1371/journal.pone.0256919
Viechtbauer, W. Conducting meta-analyses in R with the metafor package. J Stat Softw. 2010;36(3); https://doi.org/10.18637/jss.v036.i03
Borenstein, M, Hedges, LV, Higgins, JPT, Rothstein, HR. A basic introduction to fixed-effect and random-effects models for meta-analysis. Res Synth Methods. 2010;1(2):97–111; doi: https://doi.org/10.1002/jrsm.12
van Aert, RCM. Meta‐analyzing partial correlation coefficients using Fisher’s z transformation. Res Synth Methods. 2023;14(5):768–73; doi: https://doi.org/10.1002/jrsm.1654
Borenstein, M. Effect sizes for continuous data. In: Cooper, H, Hedges, LV, Valentine, JC, editors. The handbook of research synthesis and meta-analysis, 2nd edition. New York: Russel Sage Foundation; 2009. p. 221–235.
Brier, GW. Verification of forecasts expressed in terms of probability. Mon Weather Rev. 1950;78(1):1–3.
Murphy, AH. A new decomposition of the brier score: Formulation and interpretation. Mon Weather Rev. 1986;114(12):2671–3.
Starns, JJ, Cataldo, AM, Rotello, CM, Annis, J, Aschenbrenner, A, Bröder, A, et al. Assessing theoretical conclusions with blinded inference to investigate a potential inference crisis. Adv Methods Pract Psychol Sci. 2019;2(4):335–49; https://doi.org/10.1177/2515245919869583
Bartoš, F, Maier, M, Wagenmakers, E-J, Nippold, F, Doucouliagos, H, Ioannidis, JPA, et al. Footprint of publication selection bias on meta‐analyses in medicine, environmental sciences, psychology, and economics. Research Synthesis Methods. 2024;15(3): 500–511; doi: https://doi.org/10.1002/jrsm.1703
Guan, M, Vandekerckhove, J. A Bayesian approach to mitigation of publication bias. Psychonomic bulletin & review. 2016;23(1): 74–86; doi: https://doi.org/10.3758/s13423-015-0868-6
Senn, SJ. Overstating the evidence–double counting in meta-analysis and related problems. BMC Med Res Methodol. 2009;9(1); doi: https://doi.org/10.1186/1471-2288-9-10
Simonsohn, U, Simmons, J, Nelson, LD. Above averaging in literature reviews. Nat Rev Psychol. 2022;1(10):551–2; https://doi.org/10.1038/s44159-022-00101-8
Van Bavel, JJ, Mende-Siedlecki, P, Brady, WJ, Reinero, DA. Contextual sensitivity in scientific reproducibility. Proc Natl Acad Sci U S A. 2016;113(23):6454–9; doi: https://doi.org/10.1073/pnas.1521897113
Bakker, M, Borsboom, D, Bosco, F, Clay, R, Cohoon, J, Cremata, E, et al. Analysis. 2023, September 28; Retrieved from osf.io/vdnrb
Licencia y atribución
Versión en español de Evaluating meta-analysis as a replication success measure (Muradchanian, J., Hoekstra, R., Kiers, H., van Ravenzwaaij, D., 2024), publicado en PLOS ONE, vol. 19, art. e0308495, doi:10.1371/journal.pone.0308495. El artículo original se distribuye bajo licencia Creative Commons Atribución 4.0 (CC BY 4.0), que permite su traducción y difusión pública con atribución.
© 2024 Muradchanian et al. Artículo original publicado en acceso abierto en PLOS ONE (vol. 19, art. e0308495) bajo licencia Creative Commons Atribución 4.0 (CC BY 4.0). Esta página es una traducción completa al español con el mismo orden de secciones, tablas y figuras; los títulos de las referencias se mantienen en su idioma original. Se han añadido el resumen en 3 líneas y las implicaciones prácticas con una nota editorial de Psicoevidencia. La traducción no ha sido revisada por los autores originales.
