典型相关分析相关资料

典型相关分析的基本思想 Canonical Correlation Analysis

CCA典型相关分析
（canonical correlation analysis）利用综合变量对之间的相关关系来反映两组指标之间的总体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的总体相关性。

Canonical Correlation Analysis典范相关分析/Canonical Correspondence Analysis典范相应分析

简单相关系数描写叙述两组变量的相关关系的缺点:仅仅是孤立考虑单个X与单个Y间的相关，没有考虑X、Y变量组内部各变量间的相关。两组间有很多简单相关系数，使问题显得复杂，难以从总体描写叙述。典型相关是简单相关、多重相关的推广。典型相关是研究两组变量之间相关性的一种统计分析方法。也是一种降维技术。
1936年，Hotelling提出典型相关分析。考虑两组变量的线性组合, 并研究它们之间的相关系数p(u,v).在全部的线性组合中, 找一对相关系数最大的线性组合, 用这个组合的单相关系数来表示两组变量的相关性, 叫做两组变量的典型相关系数, 而这两个线性组合叫做一对典型变量。在两组多变量的情形下, 须要用若干对典型变量才干全然反映出它们之间的相关性。下一步, 再在两组变量的与u1,v1不相关的线性组合中, 找一对相关系数最大的线性组合, 它就是第二对典型变量, 并且p(u2,v2)就是第二个典型相关系数。这样下去, 能够得到若干对典型变量, 从而提取出两组变量间的所有信息。
典型相关分析的实质就是在两组随机变量中选取若干个有代表性的综合指标（变量的线性组合）, 用这些指标的相关关系来表示原来的两组变量的相关关系。这在两组变量的相关性分析中, 能够起到合理的简化变量的作用; 当典型相关系数足够大时, 能够像回归分析那样, 由- 组变量的数值预測还有一组变量的线性组合的数值。

典型关联分析（Canonical Correlation Analysis）

[pdf版本 ] 典型相关分析.pdf

1. 问题

当然我们仍然能够使用回归的方法来分析，做法例如以下：

这样做的一个缺点是，Y中的每一个特征都与X的全部特征关联，Y中的特征之间没有什么联系。

然后使用Pearson相关系数

来度量u和v的关系，我们期望寻求一组最优的解a和b，使得Corr(u, v)最大，这样得到的a和b就是使得u和v就有最大关联的权重。

到这里，基本上介绍了典型相关分析的目的。

2. CCA表示与求解

我们能够算出u和v的方差和协方差：

上面的结果事实上非常好算，推导一下第一个吧：

最后，我们须要算Corr(u,v)了

我们期望Corr(u,v)越大越好，关于Pearson相关系数，《数据挖掘导论》给出了一个非常好的图来说明：

横轴是u，纵轴是v，这里我们期望通过调整a和b使得u和v的关系越像最后一个图越好。事实上第一个图和最后一个图有联系的，我们能够调整a和b的符 ，使得从第一个图变为最后一个。

接下来我们求解a和b。

回忆在LDA中，也得到了类似Corr(u,v)的公式，我们在求解时固定了分母，来求分子（避免a和b同一时候扩大n倍仍然符 解条件的情况出现）。这里我们相同这么做。

这个优化问题的条件是：

求解方法是构造Lagrangian等式，这里我简单推导例如以下：

求导，得

令导数为0后，得到方程组：

让我们把上面的方程组进一步简化，并写成矩阵形式，得到