先看一组令人不安的事实
- 可重复性危机：2015 年 Open Science Collaboration 尝试重复 100 项心理学研究，成功重复的比例约 36%；2015 年另一项对 67 项癌症生物学临床前研究的重复尝试，重复率约 11%
- 这意味着：你在新闻里读到的一条「某项研究发现 X 有效」，相当大比例在后续验证中会消失
- 这不是因为研究者造假，而是系统性机制造成的
机制一：发表偏倚
学术期刊、研究者、媒体都更偏好阳性结果：
- 期刊更愿意发表「有显著结果」的研究
- 研究者知道阴性结果难发表，于是不做、不投稿，或把阴性结果归入抽屉（file drawer problem）
- 媒体只报道阳性结果
后果：发表出来的文献是一个「被筛选过的样本」，系统性地高估效应量。
怎么识别
- 漏斗图不对称——meta 分析中样本小、效应大的研究集中在某一侧，是发表偏倚的典型信号
- 某项干预的研究全部来自少数几个团队——缺乏独立重复
- 大量小样本研究 + 缺乏大型验证——抗衰补剂领域的常态
机制二：p 值被误用
p < 0.05 不等于「有 95% 的概率是真的」
p 值的定义是：在原假设成立的前提下，观察到当前或更极端数据的概率。它不是「结论为真的概率」，也不是「效应有多大的度量」。
| 常见误解 | 正确理解 |
|---|---|
| p < 0.05 说明结论为真的概率 95% | p 值不回答「结论为真的概率」这个问题 |
| p 越小，效应越大 | p 值同时受效应量和样本量影响。大样本下微不足道的效应也能显著 |
| p > 0.05 说明「无差异」 | 只能说明「未检出差异」，可能是样本不够（统计效能不足） |
| p < 0.05 就是「重要发现」 | 可能只是多重比较的产物（见下） |
多重比较与「p 值黑客」
如果一项研究测量了 20 个指标，即使所有干预都完全无效，平均也会有 1 个指标在 α=0.05 下「显著」。
当研究者选择性报告「那个显著的指标」，就产生了假阳性。相关做法包括：
- p-hacking：反复调整分析方式直到出现显著
- HARKing（事后假设）：先看结果，再编一个假设去匹配
- 选择性报告终点：只报告有利的次要终点
- 提前终止试验：在结果看起来最好时停
这些做法大多不违反当时的规范，却系统性地推高假阳性率。
机制三：效应量的衰减
一个反复出现的规律：某个效应的首次报道往往效应量最大，后续研究逐渐衰减。
- 「赢家诅咒」——早期发表的多是效应特别强（或运气特别好）的样本
- 后续更大样本、更严格设计的研究，效应量通常明显小于首报
- 这解释了为什么很多「突破性发现」最终变成「轻微相关」
怎么保护自己（可操作的自查）
| 信号 | 含义 |
|---|---|
| 只有 1 项研究，且样本小 | 不能作为决策依据 |
| 效应量异常大（如「降低 70% 风险」） | 在首次报道中很常见，后续通常大幅衰减 |
| 所有研究来自同一个团队 | 需要独立验证 |
| 只报告了一个「显著」的次要终点 | 可能是多重比较产物 |
| meta 分析的漏斗图不对称 | 提示发表偏倚 |
| 全文找不到预注册（如 ClinicalTrials.gov 登记） | 无法判断终点是否被事后修改 |
| 结果与领域主流证据方向相反，且来自单一来源 | 需要极度谨慎 |
值得信任的几类证据形式
- 预注册的 RCT——结局指标在开始前就已登记，无法事后挑选
- 系统综述 / meta 分析——尤其是用了 GRADE 证据分级、评估了偏倚风险的
- 独立团队重复验证——同一结论在不同人群、不同实验室得到
- 孟德尔随机化（在适用场景下）——用遗传变异绕开混杂
- 「阴性结果也发表」的体系——如 NIA 的 ITP（见站内关于 ITP 的说明）
最重要的一个态度
把「某项研究发现」当作待验证的线索，而不是结论。
抗衰领域尤其如此：越是单一来源、越是效应惊人、越是无法重复的结论，越应该等一等。 等半年、等一个 meta 分析、等一个独立团队的重复——成本很低，收益很高。
站内延伸
- 读研究时的七个必问问题，见本板块前一篇
- 如何判断一条抗衰信息的可信度，见本板块首篇
- ITP 为什么能成为金标准（阴性结果全发表），见「临床试验与验证」板块
- 标志物改善 ≠ 结局改善的具体案例，见「抗衰科学」板块
参考来源
Open Science Collaboration. Estimating the reproducibility of psychological science. Science, 2015; Begley CG, Ellis LM. Raise standards for preclinical cancer research. Nature, 2012; Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005; Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci, 2013; Wasserstein RL, Lazar NA. The ASA statement on p-values. Am Stat, 2016; Cochrane Handbook — Publication bias and funnel plot asymmetry.
免责声明：本站内容为健康科普与信息汇总，不构成医疗建议。任何干预、补剂或训练计划开始前，请咨询执业医师。