皮尔逊积矩相关系数

引入

两组数据”看起来”有关联，用什么指标量化这个关联？

为什么相关系数一定落在 $[-1,1]$ 之间？超出这个范围意味着什么？

相关系数等于 $0$，是不是说明两组数据毫无关系？

正文

定义

皮尔逊积矩相关系数度量两组数据的变量 $X$ 和 $Y$ 之间的线性相关程度。

$r=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum _{i=1}^n(x_i-\bar{x}{)}^2}\cdot \sqrt{\sum _{i=1}^n(y_i-\bar{y}{)}^2}}$

公式的构成

部分	含义
分子	$X$ 与 $Y$ 的协方差（未除以 $n$）
分母	各自标准差之积
整体	用各自的离散程度归一化

为什么要归一化？ 因为协方差受量纲影响：把身高从厘米换成米，协方差会变，但相关性没有变。除以标准差后，$r$ 无量纲，可以跨数据集比较。

取值范围

$-1\le r\le 1$

这个范围来自柯西-施瓦茨不等式：对任意实数序列，

${\left(\sum a_i{b}_i\right)}^2\le \left(\sum a_i^2\right)\left(\sum b_i^2\right)$

取 $a_i=x_i-\bar{x}$、$b_i=y_i-\bar{y}$，即得分子不超过分母。

$r$ 的值	含义
$r=1$	完全正线性相关，所有点在同一条上升直线上
$0<r<1$	正相关，$r$ 越大越接近直线
$r=0$	无线性相关
$-1<r<0$	负相关
$r=-1$	完全负线性相关

相关系数的意义

判读	说明
符号	正号表示同向变化，负号表示反向
绝对值	越接近 $1$，线性关系越强
经验分级	$|r|<0.3$ 弱，$0.3\sim 0.7$ 中等，$>0.7$ 强（因领域而异）

经验分级不是标准。在物理测量中 $r=0.9$ 可能被视为偏低，在社会科学中 $r=0.5$ 可能已算强相关。判断要结合具体领域。

三个常见误读

误读一：$r=0$ 意味着无关

不一定。$r$ 只度量线性关系：

数据关系	$r$
$y=x^2$，$x\in [-1,1]$	接近 $0$
$y=\sin x$，一个周期	接近 $0$
圆形分布	$0$

这些数据明显有关，只是不是线性关系。判断相关性前应先画散点图。

误读二：相关意味着因果

情况	说明
冰淇淋销量与溺水人数正相关	共同原因是气温
冰棍销量与空调销量正相关	共同原因是气温

这类现象称为混杂因素。相关只说明”同时变化”，不说明”谁导致谁”。

误读三：$r$ 大就说明拟合好

$r$ 描述的是线性关系的强度，但它不告诉你斜率是否合理、残差是否随机。回归分析中还需要看残差图。

计算步骤

步骤	操作
1	求 $\bar{x}$、$\bar{y}$
2	算各点的 $(x_i-\bar{x})$、$(y_i-\bar{y})$
3	求 $\sum (x_i-\bar{x})(y_i-\bar{y})$
4	求两个平方和
5	代入公式

注意样本方差的分母：相关系数公式中分子分母同时含 $n$ 或 $n-1$，会相互抵消，所以用哪个都不影响 $r$ 的值。

与回归系数的关系

$r=\frac{s_{xy}}{s_x{s}_y},b=r\cdot \frac{s_y}{s_x}$

其中 $b$ 是回归直线 $y=bx+a$ 的斜率。

量	含义
$r$	无量纲，衡量关联强度
$b$	有量纲，衡量 $X$ 每变 $1$ 单位 $Y$ 变多少

$r$ 与 $b$ 的符号必然相同，但大小没有固定关系——$b$ 受量纲影响，$r$ 不受。

常见误区

错误说法	问题
”$r=0$ 说明独立”	只说明无线性相关
”相关就是因果”	可能存在混杂因素
”$r$ 越大拟合越好”	还需看残差与模型假设
”$|r|$ 可以超过 $1$“	柯西-施瓦茨不等式保证不超过
”$r$ 是百分数”	是 $[-1,1]$ 之间的纯数，平方后才是解释比例

引出

$r^2$ 为什么能解释为”变异被解释的比例”？

非线性关系如何度量？秩相关与皮尔逊相关有何不同？

如果样本很小，$r$ 的可靠性如何评估？

• 线性回归：用直线拟合数据
• 用样本估计总体：样本统计量
• 正态分布：显著性检验的基础
• 应用数学：应用数学的整体框架
• 数学：数学学科入口