PCA与ICA

PCA(principal components analysis)就是主成分分析，是数据
分析中常用到的一种方法。它是找出数据最主要的方向，并将数
据向该方向投影。
ICA(Independent components analysis)就是独立成分分析。
PCA与ICA的区别主要在于假设条件不同。PCA假设数据是呈高
斯或者说指数分布的，而ICA则假设数据是相互独立的。所以在
实际处理中，ICA在小样本集时效果较好，而对于大样本集，PCA
也能达到很好的效果。因为实际采样中，当采样样本较大时，其
一般是呈高斯分布的。
PCA的几个主要假设包括：
1.处理数据集是线性的，对于非线性问题，有核化PCA可以进行
处理，该方法主要是利用非线性权值对线性PCA进行扩展。
2.PCA是使用中值和方差来进行概率分布的描述，而这种方法仅
适用于样本呈指数分布的情形，所以PCA假设数据时呈高斯分布
的。
3.PCA隐含着假设：数据具有较高的信噪比，所以具有最大方差
的方向被作为主元，而方差最小的方向被作为噪声，这是由低通
滤波器的特性决定的。
4.主元正交：PCA假设主元之间是正交的，这样假设有利于采用
线性代数的方法进行求解。

PCA和ICA性能的比较：
由于PCA假设的是样本呈高斯分布，所以其在大样本情况下效果
较好，而ICA假设样本彼此独立，其效果受样本数量影响不大。
对于实验效果，PCA的约束条件是要求各分量不相关，而ICA则
是要求严格独立，显然ICA约束比PCA要强很多，所以ICA的特征
提取能力比PCA要强很多。