机器学习项目：用户流失预测

这个项目使用结构化数据预测用户未来是否流失，覆盖任务建模、时间切分、特征、分类模型、阈值和上线监控。

任务定义

• 预测时点：每天 0 点。
• 观察窗口：过去 30 天。
• 目标窗口：未来 14 天。
• 流失定义：目标窗口内没有访问且没有订单。
• 输出：每个活跃用户的流失概率。
• 动作：高风险用户进入运营触达候选池。

数据表

可以准备：

• 用户基础信息。
• 访问和搜索事件。
• 订单、退款和优惠券记录。
• 客服与投诉记录。
• 触达历史。

特征必须在预测时点之前可获得。未来退款结果、后续触达结果等字段不能进入训练输入。

建立样本

对多个历史日期生成用户快照。每个快照只读取此前 30 天行为，再查看之后 14 天生成标签。按时间切分训练、验证和测试，模拟真实上线过程。

基线

先建立两类基线：

• 规则：最近 14 天无访问即判为高风险。
• 逻辑回归：使用少量标准化特征。

再比较树模型或梯度提升模型。结构化表格数据中，复杂神经网络不一定优于成熟树模型。

评估和阈值

正样本比例较低时，使用 PR-AUC、Recall、Precision 和 Lift。阈值根据每日运营可处理人数和误触达成本选择。

例如每天只能触达 1 万人，应重点评估风险分数前 1 万名覆盖了多少真实流失用户，而不是只看固定 0.5 阈值。

错误分析

分别检查：

• 新用户是否因历史短而被误判。
• 季节性用户是否被当作流失。
• 退款和投诉用户是否有特殊模式。
• 不同渠道和地区效果是否一致。
• 活动期间的数据是否改变分布。

上线

先以影子模式每天输出名单但不触达，对比真实结果。确认稳定后小范围使用，并记录触达对用户行为的影响，避免把策略效果错误地学习成自然行为。

完成标准

• 数据切分无未来泄漏。
• 与规则和简单模型有清楚对比。
• 阈值与业务容量对应。
• 能解释主要误报和漏报。
• 线上记录模型版本、特征版本和预测时点。
• 能监控输入分布和效果变化。