线性回归

引入

散点图上的点不在一条直线上，凭什么可以画一条”最合适”的线？

为什么最小二乘要最小化”竖直方向”的距离平方，而不是”垂直距离”？

回归直线一定经过哪个点？

正文

定义

线性回归是用直线 $\hat{y}=\hat{b}x+\hat{a}$ 拟合一组数据 $(x_i,y_i)$，使各点到直线的竖直偏差平方和最小。

最小二乘准则

$Q(a,b)={\sum }_{i=1}^n{\left(y_i-b{x}_i-a\right)}^2$

使 $Q$ 最小的 $a$、$b$ 称为最小二乘估计。

为什么用竖直偏差而不是垂直距离？ 因为在回归模型中，我们认为 $x$ 是给定的、$y$ 是带误差的观测值。误差只发生在 $y$ 方向，所以只最小化 $y$ 方向的偏差。

回归系数公式

$\hat{b}=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2},\hat{a}=\bar{y}-\hat{b}\bar{x}$

量	含义
$\hat{b}$	斜率，$x$ 每增加 $1$ 单位，$y$ 平均变化多少
$\hat{a}$	截距

回归直线过样本中心

由 $\hat{a}=\bar{y}-\hat{b}\bar{x}$ 得

$\bar{y}=\hat{b}\bar{x}+\hat{a}$

所以回归直线必然经过点 $(\bar{x},\bar{y})$。这个性质在解题中常用于快速检验。

斜率与相关系数的关系

$\hat{b}=r\cdot \frac{s_y}{s_x}$

量	是否受量纲影响
$r$	不受
$\hat{b}$	受

$\hat{b}$ 与 $r$ 同号：正相关时斜率为正，负相关时斜率为负。但 $\hat{b}$ 的大小不能直接比较相关性强度。

残差

$e_i=y_i-{\hat{y}}_i$

性质	内容
和为零	$\sum e_i=0$
与 $x$ 不相关	$\sum e_i{x}_i=0$
平方和最小	在所有直线中最小

残差图是检验模型的主要工具：

残差图形态	说明
随机散布在 $0$ 附近	线性模型合适
呈 U 形或倒 U 形	关系可能是二次的
呈喇叭形	方差不齐
有明显趋势	遗漏了变量

只看 $r$ 或 $R^2$ 不够，因为它们无法发现残差的结构性问题。

决定系数

$R^2=r^2$

表示 $y$ 的总变异中被回归直线解释的比例。

$R^2$	解释
$0.9$	解释了 $90\%$ 的变异
$0.5$	解释了一半
$0$	没有解释力

$R^2$ 高不代表模型正确。加入更多变量总会提高 $R^2$，即使这些变量毫无意义。这就是”过拟合”。

预测的边界

问题	说明
外推风险	在数据范围之外预测，线性关系可能不成立
个别预测误差	即使 $R^2$ 高，单个点的预测仍可能偏差很大
因果误读	回归只描述关联，不证明因果

外推是最常见的误用：用 $0\sim 10$ 岁的身高数据拟合直线，外推到 $50$ 岁会得到荒谬的结果。

常见误区

错误说法	问题
”回归直线经过原点”	经过 $(\bar{x},\bar{y})$
“最小二乘最小化垂直距离”	最小化竖直偏差平方和
”斜率大说明相关性强”	斜率受量纲影响，看 $r$
”$R^2$ 高说明模型好”	可能过拟合
”回归可以证明因果”	只说明关联

引出

为什么最小二乘的解可以用矩阵形式统一表示？

非线性关系如何转化为线性回归？

多元回归中，如何判断某个变量是否真的有用？

• 皮尔逊积矩相关系数：线性关联的度量
• 用样本估计总体：样本统计量
• 向量：最小二乘的几何解释（投影）
• 应用数学：应用数学的整体框架
• 数学：数学学科入口