【摘要】浅谈数据处理中的相关分析大数据的发展经历了从因果分析到相关分析的转变。宏观上来讲，如果两个事务存在某种统计学意义上的依赖性就称两者

浅谈数据处理中的相关分析

大数据的发展经历了从因果分析到相关分析的转变。宏观上来讲，如果两个事务存在某种统计学意义上的依赖性就称两者具有相关性。这里我们就简单聊聊各种相关分析的方法。
 

我们经常会用到的比如计算两个商品的相似度，或计算两个用户之间的相似度，如下图所示，是基于商品的购买行为，来计算两个商品之间的相似程度。我们先基于此例来说明。这里每个商品可以表示成用户购买行为的特征向量，其中1表示此用户购买，0表示此用户未购买。

设商品a的特征向量为向量A， 商品b的特征向量为向量B，那么常用的计算相关性的方法有以下：

Jaccard相关是基于计算集合之间的相似度方法，而Cosine和Pearson都属于积差相关的范畴。通过简单对比，我们看得出A和B的Pearson相关系数就是向量A和B归一化后再计算Cosine相关系数的结果。
 

如果在某些情况下，我们不需要顾及计算向量中值的相对大小，那么还可以计算等级相关性系数，如Spearman等级相关和Kendall等级相关等。等级相关没有积差相关要求那样严格，相同的情况下，等级相关的精确度要低于积差相关。
 

如果我们想除去共同噪声的影响，可以选择偏相关分析的方法（在频域上叫偏相干）。其结果与先回归掉噪声再计算相关的结果是一样的。
 

如果我们的处理对象是时间序列，除了以上谈到的方法外，我们还可以度量频域上的相关性，如使用相干谱分析的方法，如小波相干等。即您可以得到不同时间点不同频率上的线性相关性系数，同时还可以平衡时间和空间上的分辨率。
 

如果有时间建议大家不妨多做些实验，而且要定期做，因为数据集的变化（稀疏度、噪声等因素）可能导致相似度指标效果的变化。比如对于一个电商平台的商品推荐系统，初期时可能使用方法x效果最好，当用户数逐渐增加，商品越来越丰富，可能方法y效果最好，直到系统越来越复杂，可能这时方法z是最好的了。所以建议定期做些离线试验来选择此时效果最好的方法。

我们常用的如Jaccard相关， Cosine相关，Pearson 相关都是属于线性相关的范畴，复杂的还有非线性相关的方法，如多谱分析，互信息等。但这些在我们电商的场景中很少用到。