Collaborative Filtering根据近邻推荐时需要考虑的3要素
在使用类似于item-based 或user-based collaborative filtering构建推荐策略时，会涉及以下3个因素：
- 训练数据的归一化： 工业界推荐系统，包括商业系统中user的数量非常庞大（例如facebook是10亿级别），而user都会有自己对推荐内容打分的独特习惯，例如有些人对推荐内容，都会一股脑地接收，或是给出较高的评价，而有些人则会打较低的分数；有些人总给一样的分数，有些人的评价则分布较为广泛。这就需要对训练数据进行归一化，规避user个性化对模型的影响。
-
寻找一种适合数据的相似度度量方法：信息检索中的经典问题。在推荐系统中，第一步就是需要找到待推荐的候选， 以及之后的众多过滤，基本都是在使用合适的相似度度量过滤不相关的item，保留较为相关的item。例如在百度关键词推荐系统，以及触发系统中，大部分的工作，都是围绕相似度度量展开的（当然会比较复杂，包含各种特定场景，特定优化目标的相关性模型，以及使用topic
model进行语义相关性计算） - 高效的neigibors查找算法： 正如1中提到，工业界中待推荐处理的user/item较多，所以不可能为每个neighbor的pair都计算相似度，所以一般会对待计算的neighbors进行剪枝，仅计算‘靠谱’的neighbors进行计算。
训练数据归一化
最常用的训练数据归一化方法，非Mean-centering莫属，该方法的核心思想就是对于每一个user，找出其投票分值得中心，该用户其他的分值均会与该中心对比正负，即不关心投票分数的绝对值，而是看与均值的偏差： 如果投票分数为负数，说明是一个负向的打分，如果为正值，则说明正向。例如小明和小张都是用户，小明平均情况下对电影的打分是3分（例如满分是5，最低分是1），小张的打分均值是4，说明相比于小明，小张喜欢打高分，对于小张，一个电影如果打分为3就算是负向评价了，而同样的分值对于小明这样的分数是个中性的分数。
item-base CF中mean-centering计算方法如下：
user-based CF中mean-centering计算方法同理
设想这样一个场景： 小明和小张投票的均值均为3，小明投票时都投3分，而小张则各个分数的分布都有。如果小明和小张对于同一个电影都投了5分，此时小明和小张的投票体现出的信息是不同的： 小明平常都投3分而此时投了5分，这一票体现出的信息，比经常投5分的小张的一票体现出的信息要多（类似于TF-IDF中的IDF原理），而Mean-Centering则不能体现该特性。故我们引出另一种Normalization方法： Z-Score
Z-Score
核心思路是：如果一个用户投票的波动较大，则其投票的话语权要降低。具体计算公式与Mean-Centering相比，除以标准差即可。
极端的解释，就是经常投各种票的人， 其投票的权重会被降低；而投票分值一般不变，但突然改变以往习惯投票值得一票，体现出的信息较多。
在这插入另一篇文章中的思想： 就是经常投票给较多item的user的票的权值需要进行惩罚。例如在youtube推荐视频时，如果某个视频经常和很多视频一起被观看，则有可能不是因为他们相关，而是某个视频就是比较热，需要增加惩罚降低‘哈利波特’效应（具体思想可参见论文： the youtube video recommendation system），例如百度关键词推荐系统中就在级联二步图算法中对类似边的权值进行了惩罚（具体技术实现后续会有专门章节介绍）
Neighborhood 中的相似度度量方法参见前文，此处就不再复述。
至于高效的Neighbors计算方法，则可以在离线计算时设定固定Neighbors的具体N值（KNN中的N），之后在性能和效果之间权衡， 就像你知道的，很多时候，系统设计，就是在不停地在性能和效果之间做取舍达到平衡。
参考文献：
the youtube video recommendation system，James Davidson 等
RSs Handbooks