之前写过一个crawler。在这个过程中，也发现更多资料，将发几篇blog分享相关slides。
互联网访问者大多数不是人类！研究报告显示，网站只有49%的访问者是人类，51%的流量来自于自动程序。51%中：20%来自搜索引擎；5%是黑客工具；5%是内容抓取；2%是垃圾留言发布工具；19%是竞争情报收集工具，如SEO和关键词分析。
Crawling the web for fun and profit
View more presentations from Federico Feroldi