期望、方差、协方差及相关系数的基本运算

这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。

期望

定义

设

是一个离散概率分布函数，自变量的取值范围为

。其期望被定义为：

设

是一个连续概率密度函数。其期望为：

性质

1、线性运算规则

期望服从线性性质（可以很容易从期望的定义公式中导出）。因此线性运算的期望等于期望的线性运算：

这个性质可以推广到任意一般情况：

2、函数的期望

设

为x的函数，则

的期望为：

离散：

连续：

一定要注意，函数的期望不等于期望的函数，即

！。

3、乘积的期望

一般来说，乘积的期望不等于期望的乘积，除非变量相互独立。因此，如果x和y相互独立，则

。

期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。

方差

定义

方差是一种特殊的期望，被定义为：

性质

1、展开表示

反复利用期望的线性性质，可以算出方差的另一种表示形式：

2、常数的方差

常数的方差为0，由方差的展开表示很容易推得。

3、线性组合的方差

方差不满足线性性质，两个变量的线性组合方差计算方法如下：

其中

为x和y的协方差，下一节讨论。

4、独立变量的方差

如果两个变量相互独立，则：

作为推论，如果x和y相互独立：

。

协方差

定义

两个随机变量的协方差被定义为：

因此方差是一种特殊的协方差。当x=y时，

。

性质

1、独立变量的协方差

独立变量的协方差为0，可以由协方差公式推导出。

2、线性组合的协方差

协方差最重要的性质如下：

360docimg_501_360docimg_502_360docimg_503_360docimg_504_

很多协方差的计算都是反复利用这个性质，而且可以导出一些列重要结论。

作为一种特殊情况：

360docimg_505_360docimg_506_360docimg_507_360docimg_508_360docimg_509_360docimg_510_360docimg_511_360docimg_512_360docimg_513_360docimg_514_360docimg_515_360docimg_516_360docimg_517_360docimg_518_360docimg_519_360docimg_520_360docimg_521_360docimg_522_360docimg_523_360docimg_524_360docimg_525_360docimg_526_360docimg_527_360docimg_528_360docimg_529_

另外当x=y时，可以导出方差的一般线性组合求解公式：

360docimg_530_360docimg_531_360docimg_532_360docimg_533_360docimg_534_360docimg_535_360docimg_536_360docimg_537_360docimg_538_360docimg_539_360docimg_540_360docimg_541_360docimg_542_360docimg_543_360docimg_544_360docimg_545_360docimg_546_360docimg_547_360docimg_548_360docimg_549_360docimg_550_360docimg_551_360docimg_552_360docimg_553_360docimg_554_360docimg_555_360docimg_556_360docimg_557_360docimg_558_360docimg_559_360docimg_560_360docimg_561_360docimg_562_360docimg_563_360docimg_564_360docimg_565_360docimg_566_360docimg_567_360docimg_568_

相关系数

定义

相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为：

360docimg_569_360docimg_570_360docimg_571_360docimg_572_360docimg_573_360docimg_574_360docimg_575_360docimg_576_360docimg_577_360docimg_578_360docimg_579_360docimg_580_360docimg_581_360docimg_582_360docimg_583_360docimg_584_360docimg_585_360docimg_586_360docimg_587_360docimg_588_360docimg_589_360docimg_590_360docimg_591_360docimg_592_360docimg_593_360docimg_594_360docimg_595_360docimg_596_360docimg_597_360docimg_598_360docimg_599_360docimg_600_360docimg_601_360docimg_602_360docimg_603_360docimg_604_360docimg_605_360docimg_606_360docimg_607_360docimg_608_360docimg_609_360docimg_610_360docimg_611_

性质

1、有界性

相关系数的取值范围为-1到1，其可以看成是无量纲的协方差。

2、统计意义

值越接近1，说明两个变量正相关性（线性）越强，越接近-1，说明负相关性越强，当为0时表示两个变量没有相关性。