学步园

　　今天和搜索部门一起做了一下MQ的迁移，顺便交流一下业务和技术。发现现在90后小伙都挺不错。我是指能力和探究心。

　　在文章中也提到，我们有媒资库（乐视视频音频本身内容）和全网作品库（外部视频音频内容），数据量级都在千万级。我们UV,PV,CV,VV都是保密的。所以作为一个合格的员工来说………………数值我也不知道。总之，这些数据作为最终数据源，要走一个跨多个部门的工作流才最终出现在用户点击搜索按钮出现的搜索框里。

点击搜索按钮出现的搜索框

　　这里面除了两个库都在我们这边之外，其他的一个框是一个部门。我们这边给pipeline的数据交付使用的是我开发的离线服务。pipeline将各个来源的数据做重复归并处理。就是一些视频内容是一样的，但是可能来源不同或者名称有相似但可能不完全相同，而实际上是一个视频。打个比方，大学时看过一个电影叫翻译成中文有的翻译成《灰姑娘的故事》也有翻译成《灰姑娘的玻璃手机》，但是可以根据其导演和演员表等判断其实是同一个视频。这些相同的视频要聚合成一个专辑。推举最优质的描述作为专辑的描述。展开详情有各个来源的排序后视频列表。

搜索数据分析

　　个人觉得做搜索数据分析很重要。比如从日志分析中可以发现有些用户输入搜索关键词：贾跃亭，那么他很有可能对包含“乐视”关键词的信息也很有兴趣。发现了这个问题之后，我就对这类数据做了一个词库，进行了搜索和索引上一些词的双向绑定。就是相当于一个同义词的功能。建议将本文的题目放到几个搜索引擎里搜索一下，对比看看结果，挺有意思。

　　早在08年，09年的时候。facebook，mixi等国外知名互联网公司为了减少数据库访问次数，提高动态网页的访问速度，提高可扩展性，开始使用memcached。作为以facebook为标杆的人人网，这种技术也很快在其内部各个部门得到了普及。因为memcached集群采用的是服务器间互不通信的分布式方式。客户端和服务器端的通信采用的是分布式算法。这就是所说的节点失效时没有任何的容错。

　　这里提一个概念，就是常见的容错机制。

　　结束语：以上就是关于架构师的搜索业务和技术介绍的全部内容，更多内容请关注学步园。