有时也叫Crawler。
今天整理电脑文档的时候发现很早09年初自己写的一个crawler的设计文档， 打开这个50多页的文档，里边N多的逻辑图及规范定义的数据结构， 才觉得真的好久没有见过写得那么规范的文档了（也许有点自夸， 或者码农都觉得自己的就是规范： ）
将其中的总体设计图分享给大家参考，确切的说，并不是一个完整的crawler，而是一个连通性检查模块，所以当中更增加了很多定制化的逻辑。
该设计中严格地区分了数据流及过程，也算是设计图中的一种创新了。
设计时参考了Ming the Web: Discovering Knowledge from Hypertext Data》中的Crawler， 其中完整架构如下：
此处也向大家推荐这本书《Ming the Web: Discovering Knowledge from Hypertext Data》，里边对于从spider 索引建立，ranking，检索过程等搜索引擎相关的技术都有深入浅出的介绍， 特别适合从事互联网，特别是搜索的同学。
参考文档：
Ming the Web: Discovering Knowledge from Hypertext Data
也可关注微博： weibo.com/dustinsea
或者直接访问http://semocean.com