什么是 A/B 测试？

它到底是什么

A/B 测试的核心是控制变量与随机分组：两组用户除被测试的改动外，其他条件尽量一致，这样指标差异才能归因于改动本身。

它不是「上线两个版本看哪个好」。没有随机分组、样本量不足、测试期间有促销或投放变化，结论都不可信。

怎么运作的

假设与指标：先写清要验证什么，选定一个主指标（如转化率）和若干辅助指标（如客单价、退款率）防止单指标优化带来副作用。

分组：随机分流，保证两组在渠道、地域、设备等维度分布接近。分流比例常见为各半。

样本量与时长：样本不足时差异可能只是随机波动。时长应覆盖完整的业务周期（含工作日与周末），避免周期性偏差。

显著性：用统计方法判断差异是否可信。看到「提升」就上线，往往会追到噪声。

容易混的几个概念

• 灰度发布：逐步放量的风险控制手段，不做对照比较。
• 前后对比：没有对照组，受季节与外部因素干扰。
• 多变量测试：同时测试多个元素组合，需要更大样本。
• 显著性：统计概念，与业务重要性不同。