如何在A/B测试中选择正确的统计方法：线性回归与其他工具的对比指南

超越表面：为什么线性回归仍然值得关注

在机器学习和深度学习的浪潮中，我们经常忽视一个经典而强大的工具——线性回归。虽然LLM和高端架构占据了头条，但线性回归在数据分析中依然发挥着关键作用，特别是在A/B测试场景中。

让我们考虑一个实际案例：一家电商公司上线了新的横幅设计，需要评估其对用户平均会话时长的影响。通过实验收集数据并进行统计分析，我们将探索多种方法来解读这些结果。

T-Test的快速洞察

使用经典的T-Test作为起点。实验数据显示效果显著：处理组和对照组样本均值的差异为0.56分钟，意味着用户平均多花了33秒钟在产品上。

这个指标看起来不错，但它真的反映了横幅的真实影响吗？

线性回归：深入挖掘

现在用线性回归重新分析。以处理变量（是否展示新横幅）作为自变量，会话时长作为因变量。模型摘要显示了什么？

处理变量的系数恰好是0.56——与T-Test的结果一致。有趣的是，R平方值仅为0.008，说明该模型只解释了数据中极小部分的方差。

这只是巧合吗？不是

这两种方法为何得出相同结果？答案在于它们的数学基础。

在线性回归中，当处理变量为1时，代表接收处理的用户的平均会话时长；为0时，代表未接收处理用户的平均值。因此，处理系数实际上就是两组均值的差异。

而T-Test检验的零假设（两组均值无差异）与线性回归处理系数的零假设完全相同。当零假设相同时，两种方法计算的T统计量和P值也必然相同。

为什么还要用线性回归？

简单的均值比较看似足够，但真实世界远复杂得多。

实际上，仅凭处理变量可能无法解释全部变化——系统性偏差常常存在。例如：

• 老用户比新用户更频繁接触新横幅
• 不同人口统计学特征的用户对横幅反应不同

虽然随机分配能缓解这个问题，但无法完全消除。这就是我们需要**控制变量（协变量）**的原因。

通过在模型中加入用户在实验前的平均会话时长作为控制变量，模型表现立刻改善：R平方飙升至0.86，意味着我们现在解释了86%的数据方差。

新的处理效应估计为0.47分钟。

哪个数字更准确？

现在出现了两个不同的处理效应：0.56和0.47。哪个是真实的？

在真实模拟数据中，实际的处理效应设定为0.5。显然，加入控制变量后的0.47更接近真实值，误差仅为0.03。这说明控制关键协变量能显著提升估计准确性。