最低0.27元开通文库会员，查看完整内容>

原发布者jinzhusss

浅谈协方差矩阵今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：标准差：方差：很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。为什么需要协方差？上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们

对于多元随机变量好像没有e{（x1-e[x1]）（x2-e[x2])}这个说法吧。
协方差矩阵对于多元随机变量，一般是对于一个多维随机变量来讲的，表现的是 随机变量x各个元素分量（为1维随机变量）之间的相互关系，每一项都对应着其中两个变量的协方差，组合起来就是协方差矩阵了

比如
一个n维的随机变量x其协方差矩阵之第ij个元素即为e[(xi-e(xi))(xj-e(xj))]xi和xj分别表示x的第i个和第j个元素分量.

因为协方差矩阵是一个估计值，即通过样本方差来估计母体方差，为了满足无偏性，所以用n-1. 具体推导可以查看随便一本概率统计教材，无偏性就是期望值等于真实值。