预测客户流失本质上是一个生存分析问题。订阅业务很少会在某个瞬间突然失去一个客户。相反,取消订阅往往是一个缓慢的过程,持续数月;有些客户在错过一次续订后悄然流失;而有些客户则会坚持数年最终离开。生存分析正是统计学的一个分支,专门用于处理这种类型的数据。在临床研究中,关注的事件是死亡或复发;在订阅业务中,关注的事件是取消订阅。无论哪种情况,在数据提取之日,许多患者仍然存活,许多账户仍然活跃,丢弃这些信息将浪费大部分数据集。接下来,我们将运用肿瘤试验所依赖的Kaplan-Meier和Cox比例风险模型,并通过一个完全可复现的示例以及来自临床和商业领域的同行评审文献,展示如何运用同样的数学模型来预测客户流失。
本文与大多数同类商业分析文章有两点显著不同。首先,文中引用的所有临床数据均指向真实且已被收录的论文;其次,核心案例并非虚构的案例研究,而是基于真实228例肿瘤患者的数据集,通过R统计环境自带的生存曲线和Cox模型进行实时拟合。此外,文中还附有一张清晰标注的示例表格,展示了同样的计算方法如何应用于八个假设的订阅用户账户。
用简单的话
生存分析回答一个问题:某件事发生需要多长时间。对医院来说,这可能意味着病人确诊后能活多久;对订阅公司来说,这意味着客户在取消订阅前会持续付费多久。普通的平均值在这里就不适用了,因为在你进行分析的时候,很多病人仍然活着,很多客户仍然在订阅,而你还不知道他们的最终结果。Kaplan-Meier曲线显示了随着时间的推移,哪些人仍然“存活”(或仍然订阅),而Cox回归则识别出哪些因素会加速或减缓事件的发生。
关键精华
- 生存分析(也称为事件发生时间分析)估计患者、订阅者或帐户在给定时间点之前尚未经历已定义事件的概率,并且它旨在利用“删失”记录(即仍然活跃的帐户),而不是丢弃它们。
- Kaplan-Meier 估计器由 Edward Kaplan 和 Paul Meier 于 1958 年发表,已被引用超过 70,000 次,并产生了大多数生存曲线图所围绕的阶梯状曲线。
- Cox 比例风险模型由 David Cox 于 1972 年提出,它量化了合同类型、使用频率或支持工单量等因素如何改变相对于参考组的流失风险。
- 根特大学的研究人员 Dirk Van den Poel 和 Bart Larivière 是最早将比例风险生存模型直接应用于客户流失数据并在同行评审的运筹学期刊上发表论文的研究人员之一,而 2007 年的一项相关研究则将同样的框架应用于付费电视订阅运营商。
- 对数秩检验由 Bland 和 Altman 在 2004 年 BMJ 上发表的一篇广为使用的论文中向临床读者描述,它是检验两条 Kaplan-Meier 曲线(例如按月付费用户与年度合同用户)之间的差异是否大于偶然差异的标准方法。
什么是生存分析?为什么它适用于客户流失分析?
生存分析研究的是特定事件发生所需的时间,它的出现是为了解决普通回归分析难以处理的问题——随访不完整的现实情况。临床试验可能在所有患者死亡之前就结束了;订阅数据集可能在所有客户取消订阅之前就被撤回。统计学家将未完成的观察称为“右删失”,这意味着在最后一次观察时,该事件尚未发生,而不是数据点缺失或错误。
将已删除数据的用户视为永远不会流失,或者将其从数据集中完全剔除,这两种做法都会引入偏差。临床研究文献中的研究人员之所以选择生存分析方法,正是因为该方法利用了患者或客户贡献的每一天数据(无论是否被删除),而不仅仅是截至截止日期观察到的结果。同样的逻辑,既能防止五年癌症试验低估生存率,也能防止流失模型高估用户的平均忠诚度。深入了解流行病学中的相关理论,你会发现其基本假设几乎原封不动地适用于商业订阅环境。
基本要素:生存函数、风险函数和删失
生存分析主要由两个函数完成。生存函数记为 S(t),它表示事件在时间 t 之前尚未发生的概率,初始值为 1.0(表示在时间 0 时所有个体均未发生事件),随着事件的累积,该值逐渐递减至 0。风险函数记为 h(t),它表示在时间 t 时事件发生的瞬时风险,前提是该个体在此时间点之前一直存活。对于客户群体而言,风险函数值上升意味着用户停留时间越长,取消订阅的风险就越高,这与大多数订阅业务的假设相反。
右删失是指在观察窗口结束时事件尚未发生,这是分析师在处理流失数据时经常遇到的情况,因为根据定义,在数据集提取当天仍在付费的每个账户都属于右删失。左删失和区间删失在订阅数据中出现频率较低,但在临床工作中却很重要,例如,当诊断日期仅已知发生在入组之前时。正确设置删失指标(即标记每一行数据是以实际事件结束还是以观察截止结束的一列)是业务分析师构建第一个生存模型时最常见的误差来源。
Kaplan-Meier 估计器,绘制客户停留时间图表

爱德华·卡普兰和保罗·迈耶在1958年发表于《美国统计协会杂志》的论文《基于不完全观测的非参数估计》中引入了以他们名字命名的估计方法。该论文已被引用超过70,000万次,是应用统计学史上引用次数最多的论文之一。这种方法有时被称为乘积限估计,它通过将运行概率乘以仍处于风险中的群体中存活到该步骤的比例,来重新计算事件发生时的生存概率。删失观测值不会拉低风险曲线,这正是该方法能够正确处理不完整订阅数据,而不是悄悄惩罚那些尚未流失的账户的原因。
对于订阅用户群体而言,Kaplan-Meier曲线图看起来更像是一条下降的阶梯,而非一条平滑的曲线,每一步都标志着至少一个账户被取消订阅。Rich及其同事于2010年在《耳鼻咽喉头颈外科》杂志上发表的广为流传的实用指南,详细讲解了如何逐步解读这条曲线,包括如何确定中位生存时间(曲线与0.50的交点),以及如何将平坦段上的刻度线表示被截尾的个体,而非风险的暂停。同样的解读技巧也适用于订阅用户群体。曲线陡峭的地方,用户流失集中;曲线平缓的地方,剩余账户已进入稳定、低风险的模式。Kaplan-Meier估计法在肿瘤学研究中应用时,也使用了相同的数学原理,只是将“死亡”重新标记为“取消订阅”。
使用对数秩检验比较各组
并排绘制两条 Kaplan-Meier 生存曲线,例如按月付费用户和按年付费用户,会引出一个显而易见的问题:这种明显的差异是真实存在的,还是由于样本量较小而偶然出现的?对数秩检验可以直接回答这个问题,它将每个时间点上各组观察到的事件数与假设两组共享同一条生存曲线时预期的事件数进行比较。
Martin Bland 和 Douglas Altman 于2004 年在 BMJ Statistics Notes 上发表的关于对数秩检验的文章,至今仍是面向非专业人士最易于理解的解释之一,其观点也同样适用于客户流失分析。该检验并非使用精确的删失时间,而是仅使用事件发生时间的相对排名,因此即使潜在的生存分布并不规则或对称(这在实际用户数据中很常见),该检验仍然有效。显著的对数秩检验结果表明,年度合同曲线和月度曲线确实存在差异;但它本身并不能解释是哪些具体的客户属性导致了这种差异,而这正是 Cox 模型发挥作用的地方。
Cox比例风险模型与客户流失驱动因素
戴维·考克斯 (David Cox) 于1972 年在《皇家统计学会杂志》(Journal of the Royal Statistical Society) 上发表的论文《回归模型与生命表》(Regression Models and Life-Tables) 被引用超过 36,000 次,它解决了卡普兰-迈耶估计器单独无法解决的问题,即无需指定基线风险的确切形状,即可同时量化多个协变量对事件发生时间风险的影响。考克斯比例风险模型估计每个协变量的风险比。例如,“第一个月登录次数少于两次”的风险比为 1.4,这意味着在其他协变量保持不变的情况下,这种行为与取消订阅的瞬时风险比参考组高出 40%。
由于Cox模型是一种真正的多变量技术,即使在原始数据中价格敏感性和用户参与度存在相关性,它也能将二者的影响区分开来,而一系列单变量比较则无法可靠地做到这一点。这种在其他商业统计问题中使用的多变量推理方法同样适用于此。关于该模型的临床版本,包括如何检验和报告比例风险假设,Editverse的《慢性病研究中的Cox模型指南》中有更深入的介绍。
为什么肿瘤试验中使用的统计数据同样适用于订阅用户流失率分析?
临床试验和订阅业务之间的联系比大多数人想象的要紧密得多。确诊时入组的患者就相当于注册时入组的客户;复发或死亡则意味着取消订阅;失访的患者则相当于在数据集提取时仍然活跃的客户。所有用于处理癌症试验随访不完整数据的技术,包括删失数据、风险比和对数秩检验,都是围绕着订阅记录中占主导地位的那种“尚未发生”的数据而设计的。
已发表的研究证实了这种相似性,而不仅仅是直觉。根特大学的Dirk Van den Poel和Bart Larivière于2004年在《欧洲运筹学杂志》(European Journal of Operational Research)上发表了题为“使用比例风险模型进行金融服务客户流失分析”的论文,该论文已被引用超过400次。该论文直接将Cox框架应用于客户流失,而非疾病结局。三年后,Jonathan Burez和Van den Poel在《专家系统及其应用》(Expert Systems with Applications)上发表了题为“付费电视公司的客户关系管理”的论文,该论文已被引用超过230次。该论文使用基于风险的分析模型,通过有针对性的客户维系营销来降低付费电视运营商的用户流失率。这两篇论文都发表在同行评审的运筹学和应用分析期刊上,而非营销博客上,并且都使用了上述相同的Kaplan-Meier和Cox模型,只是将临床论文中“患者”一词替换成了“用户”。读者如果想知道这与用于商业智能的新型机器学习方法有何不同,就会发现大多数基于梯度提升或神经网络的客户流失预测流程仍然直接借用生存分析中的审查逻辑,因为潜在的数据问题(对未来事件的观察不完整)永远不会消失。
一个完全可复现的示例:基于实时事件数据的生存分析
下表并非描述一家虚构公司的客户流失率,而是报告了使用真实公开的数据集(即 R 语言自带的 NCCTG 肺癌数据集)运行 Kaplan-Meier 拟合和 Cox 比例风险模型的实际结果。 survival 软件包。这些数据来源于一个 1994 年 Loprinzi 及其同事在《临床肿瘤学杂志》上发表的研究 北中部癌症治疗小组测试了患者填写的问卷是否能提供医生记录之外的预后信息。
| 指标(直接从数据集计算得出) | 价值 |
|---|---|
| 分析的患者 | 228 |
| 观察到的死亡人数(事件) | 165 |
| 已审查,最后一次联系时仍然活着 | 63(27.6%) |
| 中位生存时间 | 310 天(95% 置信区间 285-363) |
| 180 天时的生存概率 | 72.2%(95% 置信区间 66.6-78.3%) |
| 365 天时的生存概率 | 40.9%(95% 置信区间 34.5-48.6%) |
| Cox风险比,女性与男性 | 0.575(95% CI 0.414-0.799,p=0.001) |
| Cox风险比,ECOG体能状态评分每升高1分 | 1.590(95% CI 1.273-1.986,p<0.001) |
| 模型一致性(C统计量) | 0.637 |
表格中的每个数字都对应着不同的流失率解读,无需改变计算公式。风险比低于 1.0,例如本数据集中性别对应的风险比为 0.575,意味着该组在任何时间点的风险都低于参考组;在流失率模型中,“通过合作伙伴推荐注册”的风险比为 0.575,意味着在其他条件相同的情况下,通过推荐注册的客户取消订阅的风险比通过付费搜索获得的客户低约 43%。风险比高于 1.0,例如此处 ECOG 体能状态对应的风险比为 1.590,意味着该协变量会增加风险;同样的模式也会出现在流失率模型中,例如“第一个月提交的支持工单少于一张”这样的协变量会增加取消订阅的风险,因为那些从未寻求帮助的、不活跃的客户往往才是悄悄流失的罪魁祸首。
将生存分析应用于客户流失群体:示例演示
为了展示卡普兰-迈耶公式如何应用于订阅数据,下表列举了八个假设的订阅用户账户。表中的每个数字都仅供参考,并非取自任何公司的实际记录,而是为了演示计算方法,而非代表基准流失率。
| 账户 | 任期(月) | 成果 |
|---|---|---|
| A | 3 | 取消 |
| B | 5 | 取消 |
| C | 6 | 仍然活跃(已屏蔽) |
| D | 8 | 取消 |
| E | 9 | 仍然活跃(已屏蔽) |
| F | 11 | 取消 |
| G | 12 | 仍然活跃(已屏蔽) |
| H | 14 | 仍然活跃(已屏蔽) |
手动计算产品限值可以清晰地展现软件的内部运作过程。在第 3 个月,所有 8 个账户都处于风险之中,其中一个账户取消,因此生存率估计值为 7/8,即 0.875。在第 5 个月,仍有 7 个账户处于风险之中,又有一个账户取消,因此运行估计值变为 0.875 乘以 6/7,即 0.75。账户 C 在第 6 个月因数据截尾(而非取消)而退出风险设定,因此曲线不会下降,而是保持 0.75 不变。在第 8 个月,仍有 5 个账户处于风险之中,一个账户取消,估计值降至 0.75 乘以 4/5,即 0.60。账户 E 在第 9 个月数据截尾后,仅剩账户 F、G 和 H 处于风险之中,当账户 F 在第 11 个月取消时,估计值降至 0.60 乘以 2/3,即 0.40。由于曲线在第 8 个月到第 11 个月之间跨越了 0.50 的分界点,因此在这个小型示例队列中,取消订单的中位时间为 11 个月,这与从临床 Kaplan-Meier 生存曲线中读取中位生存时间的方式相同。对于从电子表格转向使用统计软件包进行此类构建的分析师而言,应该参考针对生存格式数据集编写的实用、分步数据准备指南,因为正确构建账户级别的时间和状态列是进行此计算的前提。
客户生命周期价值:将生存曲线与收入联系起来

从数学角度来说,客户生命周期价值是生存曲线下的面积乘以每个周期的利润率。将未来每个周期的 S(t) 值相加,再乘以每个周期内活跃客户带来的利润,即可得到预期生命周期价值。该预期生命周期价值的计算无需假设所有客户的行为完全相同,因为生存曲线已经包含了部分客户早期流失而部分客户持续多年这一事实。
该公式的简化版本经常出现在客户留存团队的仪表盘中。当每月客户流失风险大致保持不变时,预期客户生命周期价值近似等于每月利润除以每月流失风险率。纯粹从算术角度来看(并非统计数据),每月 50 美元的利润除以 0.05 的每月流失风险,得出预期生命周期价值为 1000 美元;如果代入企业自身的利润和流失风险估算值,同样的公式会得出针对特定企业的数值,而非行业经验法则。当流失风险随客户生命周期变化时,这种恒定风险的简便方法便不再适用。这种情况很常见,因为许多订阅制企业会在续订日期前后看到流失风险激增。而这正是需要使用完整的 Cox 模型(而非单一的平均流失率)来解决问题的关键所在。大多数市场动态报告所依赖的普通描述性统计数据只能捕捉平均值,而只有生存模型才能捕捉客户关系中的风险变化趋势,这正是预测性客户留存策略精准把握干预时机所必需的。
为客户流失生存模型准备数据
决定客户流失生存模型能否产生可靠风险比率还是存在潜在偏差的关键在于四个决策。选择时间起点至关重要,因为注册日期、首次付款日期和免费试用期结束日期都会从相同的原始事件中产生不同的生存曲线,因此起点必须与所提出的业务问题相匹配。事件本身的定义同样重要;如果“取消”标志是在请求日期而非实际服务结束日期触发,则会系统性地低估客户留存时间。
需要专门设置一列来记录删失指示符,并采用一致的编码方式,确保所有仍然活跃的账户在数据提取日期都被标记为删失账户,而不是被默默删除或视为早期流失账户。在用户关系发展过程中会发生变化的协变量,例如使用频率或支持工单数量,需要作为时变协变量进行记录,而不是固定在注册时的值。因为一个在第一个月大量使用产品,但在第六个月停止使用的客户,与一个始终处于不活跃状态的客户截然不同。Editverse基于 Stata 的患者数据生存分析准备指南也针对临床数据集详细讲解了这一系列决策,并且该清单几乎无需修改即可应用于订阅数据。
非比例风险、竞争风险和其他陷阱
Cox模型假设两组之间的风险比在整个随访期内保持不变,这一假设值得检验,而非想当然。例如,如果年度合同客户的风险初始值远低于月度合同客户,但两年后两者的风险差距缩小,那么通常可以使用扩展的Cox模型(包含时间交互协变量)或分层Cox模型来解决这个问题,而无需完全放弃原有的模型框架。分层Cox模型允许每个层级具有不同的基线风险,同时保持协变量效应的共享。
竞争风险引入了另一种复杂情况。账户流失可能是由于简单的取消,也可能是因为公司被收购、产品线停产或客户自身业务倒闭。如果将所有这些流失都视为普通的客户流失事件,就会高估价格或产品不满意带来的风险。Austin 、Lee 和 Fine 在 2016 年发表于《Circulation》杂志的关于竞争风险的论文中指出,在心血管疾病领域,简单地将竞争事件视为普通的删失事件会使累积发生率估计值偏高,这一发现同样适用于存在多种不同流失原因的客户流失数据。本网站其他文章更深入地介绍了竞争风险框架,以及用于跟踪账户在多个不同状态之间变化的相应多状态建模方法,这些方法可以帮助业务分析师区分“主动选择离开”和“完全由于产品之外的原因离开”。
从模型到留存策略:根据风险比率采取行动
Cox模型的价值在于其风险比率能够转化为精准营销策略。例如,如果用户在前30天内流失的风险比率为2.0,那么客户留存团队就有了明确且量化的理由,可以专门针对这一时间段开展新用户回访,而不是将固定的留存预算平均分配给所有客户。由于该模型提供的不仅仅是平均流失率,而是风险函数,因此时机与目标定位同样重要。例如,在风险高峰期(例如年度续订日前后)安排的干预措施,其效果将优于在客户关系中的任意时间点发送的相同信息。
根据预测风险而非简单的用户画像对客户进行细分,可以让团队摒弃那种向所有潜在风险用户提供相同折扣的常见但代价高昂的做法。围绕客户留存构建的更广泛的预测分析工具包,通过在生存分析框架之上叠加机器学习评分,扩展了这一理念。尽管如此,对于非统计学专业人士而言,从精心设定的 Cox 模型中得出的风险比率仍然是最易于理解的起点,可以准确地解释哪些行为导致了客户取消以及取消幅度有多大。
结语
生存分析为订阅业务提供了与肿瘤临床试验六十多年来所依赖的同等严谨性,它能够利用每个账户的数据,无论账户最终是已取消还是在数据提取当日仍然有效,而不会丢弃任何信息或造成估计偏差。Kaplan-Meier 曲线展示了用户群体的留存率随时间的变化,对数秩检验可以验证两条曲线是否存在显著差异,而 Cox 比例风险模型则可以精确量化哪些客户属性会加速或减缓这种风险。
这一切都不需要轻信任何人的说法。上面的例子是基于真实且公开的数据集运行的,客户流失分析的依据是同行评审的运筹学论文,而非市场营销案例研究,而且附带的订阅用户表格完整地展示了计算过程,方便读者核对每一步。
需要构建或检查您自己的生存模型吗?
Editverse 的Just Data 服务将原始的生存时间或订阅数据与统计学家配对,统计学家运行 Kaplan-Meier 和 Cox 比例风险分析,检查比例风险假设,并撰写方法和结果,以便用于手稿、董事会报告或内部审查。
常见问题解答
什么是生存分析?为什么它也被称为生存时间分析?
生存分析研究特定事件(例如死亡、疾病复发或订阅取消)发生所需的时间。分析师也称之为生存时间分析,因为其建模的结果是一个持续时间,而非简单的“是”或“否”结果。该方法专门用于处理在观察期结束时事件尚未发生的记录。
当应用于订阅或客户数据时,“审查”意味着什么?
删失记录是指在最后一次观察该对象时,所关注的事件尚未发生。在提取流失数据集之日仍在付费的每位客户都属于右删失数据,这意味着他们的最终结果未知,但他们在活跃期间的贡献月份仍然计入分析。
Kaplan-Meier估计器和Cox比例风险模型有什么区别?
Kaplan-Meier 估计法生成一条群体生存曲线,通常用于可视化或比较总体留存模式。Cox 回归更进一步,它估计多个协变量如何同时升高或降低事件发生的风险(相对于参考组),这使得它能够识别具体的客户流失驱动因素,而不仅仅是描述一条曲线。
什么是风险比率?客户维系团队应该如何解读风险比率?
风险比用于比较两组人群在任何给定时刻发生事件的瞬时风险。风险比为 1.0 表示两组人群无差异;高于 1.0 表示风险高于参考组;低于 1.0 表示风险低于参考组。如果某个协变量的风险比为 1.5,则在其他协变量保持不变的情况下,该因素与瞬时流失风险增加 50% 相关。
对数秩检验是用来做什么的?
对数秩检验检查两条或多条 Kaplan-Meier 曲线(例如两个定价等级的客户流失曲线)之间的差异是否大于随机抽样变异所预期的差异,比较随访期间观察到的事件计数与预期事件计数,从而得出该比较的 p 值。
生存分析与客户终身价值有何关联?
客户生命周期价值在数学上与生存曲线下的面积乘以每个周期所获得的利润率相关。由于生存曲线反映的是客户留存风险随时间变化的实际趋势,而非单一的平均流失率,因此基于生存曲线的生命周期价值估算方法能够适应风险随客户生命周期而变化的群体,例如续约日期前后风险激增的情况。
什么是比例风险假设?如果违反该假设会发生什么?
标准的Cox模型假设各组之间的风险比在整个随访期内保持不变。当这一假设不成立时,通常可以使用包含时间交互协变量的扩展Cox模型,或者允许基线风险因组而异的分层Cox模型来纠正这个问题。
使用什么软件对客户流失数据进行生存分析?
R 的 survival 包,Python的 lifelines 和 scikit-survival 库,Stata 的 stset 和 stcox 命令,以及 SAS PROC LIFETEST 和 PROC PHREG 是最常用的工具,它们都实现了本文中描述的相同的 Kaplan-Meier 和 Cox 比例风险数学。
案例
- Kaplan EL,Meier P. 从不完全观测中进行非参数估计。 美国统计协会杂志. 1958;53(282):457-481. https://doi.org/10.1080/01621459.1958.10501452
- Cox DR. 回归模型和生命表。 JR Stat Soc 系列 B. 1972;34(2):187-202. https://doi.org/10.1111/j.2517-6161.1972.tb00899.x
- Rich JT、Neely JG、Paniello RC、Voelker CCJ、Nussenbaum B、Wang EW。理解 Kaplan-Meier 曲线的实用指南。 耳鼻喉头颈部手术. 2010;143(3):331-336. https://doi.org/10.1016/j.otohns.2010.05.007
- Bland JM,Altman DG。对数秩检验。 BMJ。 2004; 328(7447):1073。 https://doi.org/10.1136/bmj.328.7447.1073
- Austin PC、Lee DS、Fine JP。竞争风险存在下生存数据分析导论。 循环. 2016;133(6):601-609. https://doi.org/10.1161/CIRCULATIONAHA.115.017719
- Loprinzi CL、Laurie JA、Wieand HS 等。前瞻性评估患者完成的问卷中的预后变量。北中部癌症治疗组。 J临床Oncol. 1994;12(3):601-607. https://doi.org/10.1200/JCO.1994.12.3.601
- Van den Poel D, Larivière B. 使用比例风险模型对金融服务进行客户流失分析。 欧洲运筹学杂志. 2004;157(1):196-217. https://doi.org/10.1016/s0377-2217(03)00069-9
- Burez J, Van den Poel D. 付费电视公司的 CRM:使用分析模型通过针对订阅服务的定向营销来减少客户流失。 专家系统应用. 2007;32(2):277-288. https://doi.org/10.1016/j.eswa.2005.11.037
