网上流传着知道创宇的一道爬虫题，虽然一直写着一些实用的爬虫，但真正写出这个一个规范要求的“工具”，还是学到了不少东西。先看下题目：
使用python编写一个网站爬虫程序，支持参数如下：
spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5”
参数说明：
-u 指定爬虫开始地址
-d 指定爬虫深度
--thread 指定线程池大小，多线程爬取页面，可选参数，默认10
--dbfile 存放结果数据到指定的数据库（sqlite）文件中
--key 页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面
-l 日志记录文件记录详细程度，数字越大记录越详细，可选参数，默认spider.log
--testself 程序自测，可选参数
功能描述：
1、指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中
2、程序每隔10秒在屏幕上打印进度信息
3、支持线程池机制，并发爬取网页
4、代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点
5、需要自己实现线程池
提示1：使用re urllib/urllib2 beautifulsoup/lxml2 threading optparse Queue sqlite3 logger doctest等模块
提示2：注意是“线程池”而不仅仅是多线程
提示3：爬取sina.com.cn两级深度要能正常结束
建议程序可分阶段，逐步完成编写，例如：
版本1:Spider1.py -u url -d deep
版本2：Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself
版本3：Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number
版本4：剩下所有功能
我的代码放在github上了，详见
https://github.com/littlethunder/knowsecSpider2
代码就不在这里列出来了，看下我测试的数据：
测试运行命令是：python3 spider.py -u http://www.sina.com.cn -d
3 -l 4 --key 科技
测试使用工具：nethogs、htop。
默认在本目录下生成：
- spider.db: 数据库文件，保存含有关键词“科技”的网页
- spider.log: 日志文件，第四等级，很详细。
总共URL数量共158238个，15万条的量级：
- 第一层：1
- 第二层：1610
- 第三层：156627
系统网络、CPU、内存占用情况：
- 带宽占用：最高13.8Mbps，最低185.6bps，平均6Mbps。校园网在不同时间段由于使用人数不同会造成较大波动。
- CPU占用：0% 大部分时间是线程发出请求等待响应，基本不占用CPU时间
- 内存占用：默认开10个线程，每个线程平均占用8%，共占用80%左右，去掉chrome等其他占用内存的程序，spider.py相当于占满了内存。
图1 开始运行的命令
图2 运行过程中
转载请注明：转自http://blog.csdn.net/littlethunder/article/details/40862255