协方差矩阵

协方差矩阵

统计学术语
在统计学与概率论中,协方差矩阵(covariance matrix)是一个矩阵,其每个元素是各个向量元素之间的协方差。协方差矩阵能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation),它是从标量随机变量到高维度随机向量的自然推广。
    中文名:协方差矩阵 外文名:covariance matrix 别名: 简称:协方差阵 出自:统计学与概率论

范例

假设X是以n个标量随机变量组成的列向量,并且μ是其第k个元素的期望值,即,μ=E[X];协方差矩阵然后被定义为:Σ=E矩阵中的第(i,j)个元素是xi与xj的协方差。这个概念是对于标量随机变量方差的一般化推广。

说明

尽管协方差矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度来看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principalcomponentsanalysis),在图像处理中称为Karhunen-Loève变换(KL-变换)。

方差基本概念

方差(variance):

集合中各个数据与平均数之差的平方的平均数。n在概率论与数理统计中,方差(Variance)用来度量随机变量和其数学期望(即均值)之间的偏离程度。n方差是各个数据与平均数之差的平方和的平均数.n

以这两个集合为例,[0,8,12,20]和[8,9,11,12],两个集合的均值都是10,但显然两个集合的差别是很大的,计算两者的标准差,前者是8.3后者是1.8,显然后者较为集中,故其标准差小一些,标准差描述的就是这种“散布度”。之所以除以n-1而不是n,是因为这样能使我们以较小的样本集更好地逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

用处

标准差和方差一般是用来描述一维数据的,但现实生活中我们常常会遇到含有多维数据的数据集,最简单的是大家上学时免不了要统计多个学科的考试成绩。

面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量,我们可以仿照方差的定义来度量各个维度偏离其均值的程度。

协方差的结果有什么意义呢?如果结果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),也就是说一个人越猥琐越受女孩欢迎。如果结果为负值,就说明两者是负相关,越猥琐女孩子越讨厌。如果为0,则两者之间没有关系,猥琐不猥琐和女孩子喜不喜欢之间没有关联,就是统计上说的“相互独立”。

相关词条

相关搜索

其它词条