数学

小样本的悖论

在一项研究中,少量样本会增加出现假阳性的可能性。一个普遍的想法...但是错误的。

尼古拉斯·高维特(Nicolas Gauvrit) 对于科学N°453

不久前,一项看似严肃的研究表明,巧克力在减肥中的益处已被世界各地的媒体所接受。但是在5月底,出现了意想不到的转折:该研究的作者在一篇帖子中承认,这是骗局,旨在表明愚弄主流媒体是多么容易。

作者“约翰·博汉农”(化名)解释了他如何进行一项真正的研究-做得很差,但是故意-然后他设法将其发表在“掠夺性”科学期刊上。在达到预期效果(即巧克力对您的饮食有益)的技术中,作者计算了很多指标,例如胆固醇水平,体重,睡眠质量,等等这是一种有效的误导程序,因为每次进行新的测量都会增加至少出现一个假阳性的可能性,即得出结论,即没有假阳性的情况。 。

不过,约翰·博汉农(John Bohannon)补充说:“即使我们小心谨慎,不要重复测试,但我们的研究却注定了少数受试者,这放大了不受控制因素的影响。换句话说,选择一个小样本将增加出现假阳性的可能性。但这是错误的。这就是我所说的小样本谬误。

实际上,假阳性率不会随样本数量的变化而变化。在统计中,我们使用第一类风险,通常固定为5%。这意味着,当没有效果时(例如,巧克力对体重没有影响),仍然有5%的机会偶然观察到效果。具有统计意义。这个5%的值不取决于样本的大小:如果样本较大,则观察到的效果将要求更大(例如,巧克力消费者与其他消费者之间的重量差异更大)。很小,但是错误找到效果的可能性仍然是5%。

在一项旨在测试多种影响的研究中,实际上并不存在某些影响,因此,无论样本数量多大,人们都应该预期会有5%的假阳性。至于实际存在的影响,根据定义不可能是“假阳性”。因此,误报的数量不取决于样本的大小,John Bohannon提出的论点是假的。

但是,有理由对基于小样本的结果保持警惕。尽管样本量对观察到假阳性的可能性没有影响,但确实会影响检测到真实效果的可能性。对于小样本,不可能检测到微弱的影响(小的差异)。这就是为什么我们经常在遗传学中使用巨大的样本:否则,影响很小,我们什么也找不到。

假设我们正在测试200种可能的效果,其中100种是真实的,而100种不存在。在100个与不存在效果相对应的测试中,一个(错误地)结论是5个案例都有效果,无论样本大小。在与实际效果相对应的100项测试中,(例如)如果样本很大,则可以得出80种情况的效果,而只有样本很小的情况下,可以得出20种情况的效果。

因此,如果样本较小(25个案例中的5个,即20%),则比阳性样本中较大样本(85个案例中的5个,即约6%)的假阳性率更高。以下陈述都是正确的:误报率与样本量无关,但是在小样本中,阳性结果中的误报率更高。

如果所有研究都已发表,那么在基于小样本的研究中,只要您还考虑了没有显示效果的研究,就不会有更多的假阳性。但是在现实世界中,最好发表阳性结果(著名的发表偏见),在小样本研究中,假阳性可能更多。

主题

杂志

订阅并访问超过20年的档案!

订阅优惠

12期+ 4期特刊
纸质+数字版

+无限访问超过20年的档案

我订阅

订阅并访问超过20年的档案!

订阅优惠

12期+ 4期特刊
纸质+数字版

+无限访问超过20年的档案

我订阅

我们的最新出版物

回到顶部

已经有帐号了?

身份证明

标识自己可以访问您的内容

看到

还没有帐户 ?

注册

注册以激活您的订阅或订单问题。

创建我的账户