发布日期:|最后更新日期

一项研究如果什么也没发现,并不一定就是失败的;一项研究如果发现了什么,也不一定就是正确的。区分可信的零结果和无效结果,区分真正的发现和侥幸的p值,通常取决于大多数研究人员在收集任何数据点之前都会进行的计算。功效分析回答了一个具体的问题:假设存在一个值得关注的最小效应,那么一项研究需要多少参与者、样本或观察次数才能有较大的概率检测到它?忽略这项计算,研究最终可能规模太小而无法发现真正存在的效应,或者(较少见的情况)规模过大,白白浪费预算和参与者的时间,却没有任何实际收获。

如今,伦理委员会、期刊审稿人和基金评审小组都要求提供样本量,这并非没有道理。过去几十年,许多已发表的临床试验在选择样本量时,往往出于习惯、预算或猜测,而非经过精确计算,而相关的研究文献也并不光彩。本指南将详细讲解功效分析所依赖的四个关键数值,并运用实际算术方法进行完整计算,涵盖研究人员最常用的四种研究设计的功效分析,同时指出研究中最常见的计算错误之处。

用简单的话

功效分析是在研究开始前进行的计算,而不是在研究结束后进行的。它回答一个实际问题:需要多少人、动物或样本,才能确保如果存在真实效应,研究有较大的概率捕捉到它?计算需要四个要素协同作用:效应的大小对你来说有多重要,你能接受多大的假阳性风险,你希望捕捉到真实效应的可靠性有多高,以及使前三个要素相互一致的样本量。如果功效分析正确,那么阴性结果才有意义。如果忽略功效分析,阴性结果可能仅仅意味着研究根本没有公平的机会。

功效分析究竟决定了什么

任何假设检验都存在两种出错的可能性。一项研究可能拒绝一个正确的零假设(统计学上称为第一类错误,即假阳性),也可能未能拒绝一个错误的零假设(统计学上称为第二类错误,即漏检)。α 是研究者同意接受的第一类错误风险,通常设定为 0.05。功效则从相反的角度看待同样的检验。功效等于 1 减去 β,其中 β 是第二类错误率,它表示正确检测到真实存在的效应的概率。

测试结果零假设实际上是成立的零假设实际上是错误的
拒绝原假设第一类错误率 = α(通常为 0.05)正确检测率 = 功效 = 1 − β
未能拒绝空值正确未检出率 = 1 − α第二类错误率 = β

样本量是连接所有因素的关键。在效应量和显著性水平(α)保持不变的情况下,更大的样本量可以提高统计功效,因为更多的数据可以缩小估计值周围的噪声范围,使真正的差异更容易与偶然因素区分开来。功效分析正是反向推导这种关系,从研究者期望的统计功效和效应量出发,求解达到这些目标所需的样本量。

能力分析背后的四个数字

在功效分析中,四个量相互关联,确定其中任意三个即可确定第四个。效应量描述了差异或关联的显著程度,并以标准化尺度表示,以便在不同结果和研究中进行比较。α值设定了假阳性的容差范围,在应用研究中通常为0.05,但当假阳性代价高昂或危险时,有时会收紧至0.01。功效设定了漏检真实效应的容差范围,通常为0.80,在验证性研究或高风险研究中,则越来越多地采用0.90。一旦其他三个量确定,样本量也就随之确定了。

80%的统计功效之所以成为传统的目标值,很大程度上要归功于雅各布·科恩(Jacob Cohen)关于效应量和样本量的重要研究,而且至今仍是大多数期刊和资助机构指南中的默认标准。然而,鉴于实际效应往往小于研究人员最初的预期,越来越多的研究方法学家主张将统计功效设定为90%。

科恩还提出了小、中、大效应的基准值,心理学、医学和流行病学领域的研究人员在无法从先前数据中获得更佳估计值时,仍然会采用这些基准值。这些是惯例,而非自然规律。一项初步研究或来自密切相关研究的已发表效应量,总是比笼统的猜测更有说服力。

《测试》(Test)效应量测量S小号中L大号
两组比较科恩的0.20.50.8
两个连续变量之间的关联相关系数 r0.10.30.5
比较三个或更多组均值科恩的f0.100.250.40
多重回归科恩的 f²0.020.150.35
类别关联科恩的 w0.100.300.50

在功效分析中,选错表格中的行是常见的错误之一。在一个领域中被视为中等效应的数值,在另一个领域可能显得过于乐观或悲观。如果不核实“中等”效应是否与类似研究的实际结果相符,就直接使用“中等”作为默认值,这实际上是一种伪装成计算结果的猜测。在最终确定这些数值之前,有必要了解显著性水平(α)和统计显著性之间的关系,因为这两个因素会相互影响。

研究样本量不足并非假设性问题。

跳过这一步骤的后果并非纸上谈兵,而是有据可查。一项对71项已发表但结果为阴性的临床试验的重新审查发现,其中67项(占样本的94%)存在超过10%的风险,可能错过了25%的真实治疗改善,原因仅仅是这些试验从未招募到足够的患者来观察到这种改善。在这71项试验中,有50项(占70%)可能错过了高达50%的改善(Freiman等人,1978,《新英格兰医学杂志》)。

Moher、Dulberg 和 Wells 的后续分析考察了 1975 年、1980 年、1985 年和 1990 年发表在《美国医学会杂志》(JAMA)、《柳叶刀》(The Lancet)和《新英格兰医学杂志》(New England Journal of Medicine ) 上的 383 项试验。在 70 项结果为阴性且具有可用结局数据的双组试验中,仅有 16% 的试验具有足够的统计效力来检测 25% 的相对差异,仅有 36% 的试验能够检测 50% 的相对差异,这些数据在 15 年的发表期间几乎没有变化。尽管如此,报告质量在此期间确实有所提高。样本量计算在这些论文中的出现率从 1975 年的 0% 提高到 1990 年的 43%,这是一个真正的进步,但 43% 仍然意味着大多数结果为阴性的试验未能充分展示其结果(Moher 等,1994,《美国医学会杂志》)。

主要发现: 这种模式并非仅限于临床试验或二十世纪。一项被广泛引用的分析发现,神经科学研究的平均统计功效低到足以夸大已发表的效应量,并降低结果的重复性(Button等人,2013)。 自然神经科学评论)。2021 年对骨科试验的审计得出了类似的结论,而早在 20 年前,该领域的同一问题就已首次被指出。审计指出,统计效力不足是已发表的研究结果无法经受重复验证的根本原因(Reito 等人,2021)。 JBJS 评论).

在过去四十年的荟萃研究中,同样的错误不断重现。研究往往根据预算或招募窗口允许的样本量来设计,然后进行分析,仿佛这个样本量是为了检测某种特定的、预先设定的效应而选择的。但通常并非如此。随机对照试验的设计和分析依赖于在招募任何受试者之前就确保样本量选择的正确性,因为一旦试验样本量不足且已经开始,就无法通过统计学方法进行补救。

选择如何进行功率分析

有三种实用方法可以确定样本量,而选择哪种方法取决于设计的标准程度。对于教科书式的设计,例如两组比较、单因素方差分析、相关性分析和标准回归分析,都存在封闭形式的公式,而且免费软件可以立即应用这些公式。 G*功率由杜塞尔多夫海因里希·海涅大学的一个团队开发,并在一篇被广泛引用的方法论文中进行了记录,它通过点击式界面涵盖了大多数此类测试,并且仍然是方法课程和期刊指导中最常推荐的免费选项(Faul 等人,2007)。 行为研究方法R 用户可以通过以下方式获得等效的计算: pwr 该软件包反映了 G*Power 的输出,并自然地融入到可重现的分析脚本中。

专业提示: 在最终确定方案之前,务必进行双向计算。首先,计算出在目标统计功效下所需的样本量;然后,反过来计算出在预算或招募窗口期实际允许的样本量下,实际能够达到的统计功效。这两个数值之间的差距在数据收集开始前就值得了解,而不是之后。

公式和 G*Power 都假设研究设计采用相当标准的版本。一旦研究涉及聚类(例如,患者嵌套于诊所内)、对同一受试者进行重复测量、计划存在缺失数据,或采用非标准模型(例如混合效应或贝叶斯分析),封闭式公式就不再可靠,模拟成为更安全的选择。基于模拟的功效分析会在假定的效应量和分析模型下生成数千个合成数据集,对每个数据集运行实际计划的统计检验,并报告达到显著性水平的运行比例。虽然设置过程比在 G*Power 中输入数字要花费更多时间,但它可以处理封闭式公式无法处理的复杂情况。

针对您实际运行的四种设计进行功率分析

以下列出了涵盖大多数应用研究的四种设计,并解释了每种设计背后的公式逻辑,以及一个在中等效应量、显著性水平 α = 0.05 和 80% 功效下的实际计算示例。以下所有数据均来自研究人员用于自身研究方案的统计软件,而非经验法则。

两个独立组(t检验)

比较两个独立组(例如治疗组与对照组,或暴露组与未暴露组)的均值,是大多数样本量讨论的默认设计。此处的统计功效取决于 Cohen's d,即组间均值差异以标准差表示。当结果变量为二元变量而非连续变量时,逻辑回归也处理类似的两组比较,其计算方法与此相关但有所不同,将在下文详述。

单因素方差分析(三个或更多组均值)

当比较对象超过两组时,方差分析 (ANOVA) 将取代 t 检验,效应量则变为 Cohen's f 值,该值概括了组间均值相对于组内变异性的分散程度。对于在多组基础上增加聚类效应的设计,例如随机分配诊所而非个体患者的试验,需要进行一项称为设计效应的进一步调整,该效应会增加所需的样本量,以解释同一聚类中的患者比不同聚类中的患者更相似这一现象。

相关性(两个连续变量之间的关联)

检验两个连续变量(例如血压和年龄,或者问卷评分和结果指标)是否同步变化时,通常直接使用皮尔逊相关系数 r 作为效应量。选择合适的检验方法至关重要,因为理论上看似线性的关系在实际数据中并不存在,这时就需要采用不同的、通常效力较低的非参数方法。

多元回归(检验结果的预测因子)

回归模型在同时检验多个预测变量,或在调整协变量后检验单个预测变量时,会使用Cohen's f²,这是一个比较目标预测变量解释的方差与剩余方差的比率。临床研究中的多变量回归通常需要比简单的两组比较更多的参与者,因为一旦模型中纳入多个协变量,就需要更多的参与者。此外,对于二元结果的逻辑回归,除了标准的功效计算之外,还有一条额外的经验法则,通常认为每个预测变量大约需要十个观察事件。

工艺设计中等效果大小所需样本量
两组独立样本(t检验)d = 0.5每组64人(N=128)
单因素方差分析,3组f = 0.25每组53人(N=159)
相关系数(皮尔逊相关系数 r)R = 0.3N = 85时
多元回归,5个预测因子f² = 0.15N = 92时
卡方检验,2×2列联表w = 0.3N = 88时

所有数据均使用 R 语言计算,检验标准为 α = 0.05,双侧检验,功效为 80%。 stats 和 pwr 包装与 G*Power 在相同输入下的输出相匹配。

一个可重复使用的示例

以下是该表格第一行背后的完整计算过程,全部手工计算,因此逻辑清晰可见,而不是隐藏在软件内部。

设想一项双臂试验,比较一项新干预措施与标准治疗对连续性结局指标的影响。根据既往文献,Cohen's d = 0.5 的标准化差异是值得检测的最小效应,属于传统的中等效应。双侧显著性水平 α 设定为 0.05,这是标准阈值,统计功效为 80%,即如果该效应确实存在,则有 80% 的概率检测到该效应。

两组比较的正态近似公式为:每组样本量 n 等于 2 乘以(α/2 的 z 值加上功效的 z 值)的平方,再除以 d 的平方。标准值分别为:α = 0.025 时 z 值为 1.96,功效为 80% 时 z 值为 0.84。

每组人数 n = 2 × (1.96 + 0.84)² ÷ 0.5²
    = 2 × (2.80)² ÷ 0.25
    = 2 × 7.84 ÷ 0.25
    = 15.68 ÷ 0.25
    = 62.8,向上取整为每组 63 名参与者

正态近似值虽然接近,但并非 G*Power 或 R 实际计算的结果。两者都使用精确的非中心 t 分布,而非上述的简化方法,这种方法略微保守一些。使用相同的输入参数(d = 0.5,α = 0.05,双侧检验,80% 功效),通过 R 进行计算。 power.t.test 函数返回每组 63.8,向上取整。 每组64名参与者,共128名。方法部分实际报告的数字与 G*Power 为此设计生成的数字相同。

近似值和精确值之间的差距之所以重要,原因只有一个。依赖粗略的捷径而非软件实际使用的精确方法,这种看似微小的不足会不断累积。例如,每组只招募 40 名参与者而不是 64 名,这在预算表中看起来微不足道,但对于相同的 d = 0.5 效应,统计功效会降至略低于 60%,而不是研究设计时设定的 80%。这几乎相当于完全错过一个真实的、中等程度的效应,而这正是 Freiman 和 Moher 在数十年已发表的试验中记录到的统计功效不足模式。

每组样本量实际功效(d = 0.5,α = 0.05)
4059.8%
6480.2%
8690.0%

对于与前面表格中的某一行相匹配的设计,Editverse 的免费样本量计算器可以进行精确的计算,而无需在本地安装 R 或 G*Power,并且分步使用指南会引导您完成每个输入字段。

悄无声息地破坏权力分析的错误

  • 根据自身结果计算事后功效。 事后根据研究自身的p值计算出的统计功效,从数学角度来说只是该p值的重新调整版本。它并没有增加任何实际信息,大多数方法学家建议不要报告这种统计功效。
  • 在没有任何试点数据或文献依据的情况下猜测效应量。 默认选择“中等”听起来合情合理,但这实际上是将计算变成了穿着白大褂的猜测。
  • 忽略预期中的数据丢失或缺失。 功效分析给出的是所需的分析样本量,而不是实际入组样本量。预期脱落率必须加到计算出的样本量之上,而不是事后计入。
  • 未针对聚类、重复测量或多重比较进行调整。 这些调整都会改变有效样本量或实际使用的 alpha 值,而忽略这些调整会悄然削弱研究自认为拥有的统计功效。
  • 将功效分析视为向伦理委员会勾选一次的例行公事。 在研究过程中增加一个治疗组、改变主要结果或修改分析计划都应该触发新的计算,但这一步骤却经常被跳过。
  • 混淆了统计显著性和实际意义。 样本量非常大,但即使差异很小,在临床或实际应用中也无关紧要,这本身就是一种设计缺陷。

撰写论文或项目申请书的功效分析

方法部分需要提供足够的信息,以便审稿人或基金评审小组的统计学家能够实际核实功效分析,而不仅仅是相信已经进行过分析。这意味着要详细说明假定的效应量来源,例如预实验、已发表的荟萃分析或已确定的最小临床重要差异,同时还要说明α值和功效目标,以及所使用的具体软件或公式。

  • 说明效应量及其来源。 “我们根据[先前的研究]假设效应量为中等,d = 0.5”是可验证的。“我们假设效应量合理”则不可验证。
  • 明确报告 alpha 值和功效。 不要让读者仅凭最终样本量数字就推断出这些结论。
  • 请说出要测试的软件名称。 G*Power,R's pwr package、PASS 和 nQuery 在边缘处可能会产生略有不同的数字,因此给工具命名可以让其他人重现该图形。
  • 如实报告最终数字,包括因辍学或聚集效应造成的任何夸大。 如果实际参与人数少于计算所需人数,请说明情况并直接讨论由此产生的统计功效,而不是留给审稿人去发现。

基金评审员仔细阅读这一部分是有原因的。统计方法部分如果缺乏逻辑性,是导致申请书严谨性评分较低的常见原因之一,而且这种原因完全可以避免。注重合规性的基金申请书评审会在提交之前很久就发现这类缺陷,而不是等到碰巧遇到某个评审员才发现。

获取功率分析方面的实际帮助

有些功效分析是常规操作。而另一些则涉及聚类分析、数据缺失,或者模型过于复杂,以至于模板计算无法经受审查。Editverse 的统计学家能够处理这两种极端情况。

学位论文及手稿统计分析

$600

统计学博士使用 SPSS、R 或 STATA 进行功效分析、样本量论证和完整的分析计划。

查看详细信息→

拨款申请书编辑及合规性审查

$1,190

在提交之前,请检查您所述的功效分析是否与您的目标、分析计划以及资助方的要求相符。

查看详细信息→

关于功率分析的常见问题

要达到中等效应量,需要多大的样本量?

这取决于实验设计,但作为参考,在传统的 80% 统计功效和 0.05 显著性水平下,检测两个独立组之间的中等效应(Cohen's d = 0.5)需要每组 64 名参与者,总共 128 名。在类似的中等效应下,对三个组进行单因素方差分析,每组大约需要 53 名参与者。更大的效应需要的参与者数量要少得多,而更小的效应则需要更多的参与者,这就是为什么错误估计效应量会造成如此巨大的损失。

我应该使用 80% 的功率还是 90% 的功率?

在大多数已发表的研究和大多数资助机构的模板中,80% 的统计功效仍然是默认值,但这同时也意味着有五分之一的概率会错过真实效应。验证性试验和注册研究越来越多地采用 90% 的统计功效,这大幅提高了所需的样本量,大约比双样本 t 检验中 80% 统计功效下的样本量高出 30% 到 40%。

先验功效和事后功效有什么区别?

先验功效分析在数据收集之前进行,旨在回答研究设计应该回答的问题:需要多大的样本量才能检测到特定效应。事后功效分析(或称观察功效分析)则是在研究结束后,根据研究自身的结果和p值计算得出。大多数方法学家认为事后功效分析几乎没有参考价值,因为它本质上只是对已有p值的数学变换,而非提供任何新的证据。

我可以对已经完成的研究进行功效分析吗?

只能以一种有限的、回顾性的方式进行。虽然可以计算出特定效应量所需的样本量,这对于规划后续研究或重复研究很有用,但根据已观察到的效应和p值来计算统计功效,并不能为审稿人提供任何关于最终研究的有力信息。

功效分析是否适用于定性研究?

不。功效分析是频率学派统计学的概念,它围绕假设检验、p值和抽样分布构建,而这些都不适用于定性研究方法。定性研究者对样本量的论证方式不同,通常是通过主题饱和度,即当额外的访谈或数据来源不再产生新的编码或主题时。

如果没有先导数据,我应该使用多大的效应量?

来自密切相关研究或针对相同结果的荟萃分析的已发表效应量始终优于笼统的估计。如果两者都不存在,Cohen 的传统中等效应量是一个合理的替代方案,但方法部分应明确指出这只是一个约定俗成的估计值,而非基于研究特定人群的估计值,因为审稿人很可能会提出这个问题。

辍学或人员流失会如何影响计算结果?

功效分析给出的是所需的分析样本量,而不是实际入组样本量。如果预期有 15% 的参与者会退出或失访,则需要将目标样本量除以 0.85 才能得到目标入组人数。一项需要 128 名分析参与者且预期脱落率为 15% 的研究,大约需要入组 151 名参与者。

G*Power是免费的吗?

是的。G*Power 是免费的,由杜塞尔多夫海因里希·海涅大学的研究人员开发和维护,它涵盖了 t 检验、方差分析、相关性、回归、卡方检验以及一些不太常见的分析设计,可通过适用于 Windows 和 Mac 的可下载桌面应用程序使用。

如果我的设计不符合标准公式怎么办?

对于封闭式公式无法清晰处理的情况,例如混合效应模型、聚类或多水平设计以及贝叶斯分析,基于模拟的功效分析是标准解决方案。虽然它的设置比 G*Power 更耗时,但几乎适用于任何可以在 R 或类似环境中编写代码和分析的设计。

关键精华

  • ✓ 确定效应量、α、功效和样本量中的三个参数后,功效分析即可解决第四个参数的问题。
  • ✓ 0.05 的 alpha 值和 80% 的功率是常规的起始点,并非固定规则。
  • ✓ 从1978年的审计到2021年的重新分析,数十年来已发表的试验结果都持续发现同样的统计效力不足问题。
  • ✓ G*Power 和 R 的电源套餐免费涵盖标准设计;其余部分则通过模拟实现。
  • ✓ 计算过程应该展示计算步骤,而不仅仅是最终结果。
  • ✓ 在最终确定招生计划之前,应提高招生目标人数,以应对预期的辍学率。
  • ✓ 每次都要报告效应量、效应来源、α系数、统计功效和所用软件

提交前需要检查您的功率分析吗?

Editverse 的统计学家会审查各个领域研究人员的样本量论证、资助申请方案部分和完整的分析计划。

获取统计支持
免费咨询

案例

  1. Freiman JA、Chalmers TC、Smith H Jr、Kuebler RR。β、II 类错误和样本量在随机对照试验的设计和解释中的重要性。对 71 项“阴性”试验的调查。 Ň新英格兰医学杂志。 1978;299(13):690-694. https://pubmed.ncbi.nlm.nih.gov/355881/
  2. Moher D、Dulberg CS、Wells GA。随机对照试验中的统计功效、样本量及其报告。 1537-1538。 1994;272(2):122-124. https://pubmed.ncbi.nlm.nih.gov/8015121/
  3. Button KS、Ioannidis JPA、Mokrysz C 等。《统计效能不足:为什么小样本量会削弱神经科学的可靠性》。 Nat Rev Neurosci。 2013;14(5):365-376. https://pubmed.ncbi.nlm.nih.gov/23571845/
  4. Faul F、Erdfelder E、Lang AG、Buchner A. G*Power 3:一款适用于社会、行为和生物医学科学的灵活统计功效分析程序。 行为反应方法。 2007;39(2):175-191. https://pubmed.ncbi.nlm.nih.gov/17695343/
  5. Reito A、Raittio L、Helminen O. 2 年后重新审视骨科随机对照试验的样本量和统计功效。 JBJS 修订版 2021; 9(3)。 https://pubmed.ncbi.nlm.nih.gov/32224628/
  6. 杜塞尔多夫海因里希·海涅大学。G*Power:统计功效分析软件。 https://www.psychologie.hhu.de/arbeitsgruppen/allgemeine-psychologie-und-arbeitspsychologie/gpower
  7. Champely S 等。pwr:功率分析的基本函数。R 综合档案网络。 https://cran.r-project.org/package=pwr
  8. 波士顿大学公共卫生学院。功效和样本量确定。 https://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704_power/bs704_power_print.html