学步园

动机

今天有朋友写信说他认为自己的wordpress博客内显示的访问统计信息不正常，希望我能为他制造一些访问信息，供他对比。朋友提出的请求是在短时间内快速打开100个不同的博客页面，以便他从产生的访问量变化中理解博客访问数据。

本人作为一个搞计算机的人，有把任何重复性劳动自动化的冲动，所以虽然点开100个网页的任务手工做并不复杂，但还是从一开始就彻底否定了。刚好想学Python很久了，于是就拿这次的小机会来学习一把，顺便记录下第一次的Python学习成果。

本文使用Python 2.7.3实现了一个自动访问博客的脚本，涉及以下技术点：

• 语言基础
  • 容器（线性表、字典）
  • 逻辑分支、循环
  • 控制台格式化输出
• HTTP客户端网络编程
  • 处理HTTP请求
  • 使用HTTP代理服务器
• Python正则表达式

总览

自动访问博客页面这个操作实际上和网络爬虫做的事情差不多，基本流程如下：

图1 博客自动访问器工作原理

1. 给访问器一个开始位置（例如博客首页URL）
2. 访问器将URL指向的网页爬回（爬回网页这个操作本身相当于在浏览器中打开页面）
3. 2中爬回的网页交给分析器分析。分析器分析后提取出其中的URL加入待访问URL列表，即URL库。然后从URL库中取出下一个要访问的页面URL
4. 循环2、3步，直到达到某一终止条件程序退出

刚开始编程时，我们什么都没有，只有一个博客首页的URL。紧跟着这个URL需要解决的问题就是如何编程爬取URL指向的页面。爬取到了页面，才能算是访问了博客，也才能获得页面的内容，从而提取更多的URL，进行更进一步的爬取。

这样一来就带来了如何根据URL获取页面信息的问题，要解决这个问题，需要用到HTTP客户端编程，这也是接下来一节解决的问题。

urllib2：HTTP客户端编程

Python中可以实现HTTP客户端编程的库有好几个，例如httplib, urllib, urllib2等。使用urllib2是因为它功能强大，使用简单，并且可以很容易地使用HTTP代理。

使用urllib2创建一个HTTP连接并获取页面非常简单，只需要3步：

import urllib2

opener = urllib2.build_opener()
file = opener.open(url)
content = file.read()

content即为HTTP请求响应的报文体，即网页的HTML代码。如果需要设置代理，在调用build_opener()时传入一个参数即可：

opener = urllib2.build_opener(urllib2.ProxyHandler({'http': "localhost:8580"}))

ProxyHandler函数接受一个字典类型的参数，其中key为协议名称，value为host与端口号。也支持带验证的代理，更多细节见官方文档。

接下来要解决的问题就是从页面中分离出URL. 这就需要正则表达式。

正则表达式

正则表达式相关的函数位于Python的re模块中，使用前需import re

findall函数返回字符串中所有满足给定正则式的子串：

aelems = re.findall('<a href=".*<\/a>', content)

findall的第一个参数是正则式，第二个参数是字符串，返回值是字符串数组，包含content中所有满足给定正则式的子串。上述代码返回所有以<a href="开头，</a>结尾的子串，即所有的<a>标签。对网页HTML代码应用此过滤可获取所有超链接。如果需要进一步提高过滤的精确度，例如只需要链接指向本博客（假设当前博客是http://myblog.wordpress.com），且URL为绝对地址，则可以使用更精确的正则式，例如'<a href="http\:\/\/myblog\.wordpress\.com.*<\/a>'.

获取到了<a>标签，就需要进一步提取其中的URL，这里推荐match函数。match函数的作用是将满足指定正则式的子串的其中一部分返回。例如对于以下字符串（假设存于aelem元素中）：

<a href="http://myblog.wordpress.com/rss">RSS Feed</a>

如果需要提取出其中的URL（即http://myblog.wordpress.com/rss），则可以如下的match调用：

matches = re.match('<a href="(.*)"', aelem)

匹配成功时，match返回MatchObject对象，否则返回None. 对于MatchObject，可以使用groups()方法获取其中包含的所有元素，也可以通过group(下标)获取，注意group()方法的下标是从1开始的。

以上示例仅对只含有href一个属性的<a>元素有效，如果<a>元素中href属性后还有别的属性，则按照最长匹配原则，上面的match调用会返回不正确的值：

<a href="http://myblog.wordpress.com/rss" alt="RSS Feed - Yet Another WordPress Blog">RSS Feed</a>

将会匹配为：http://myblog.wordpress.com/rss" alt="RSS Feed - Yet Another WordPress Blog

目前对于这种情况还没有特别好的解决方法，我的做法是先按照空格split一下再匹配。由于href通常都是<a>中第一个出现的属性，所以可以简单地如下处理：

splits = aelem.split(' ')
#0号元素为'<a'，1号元素为'href="http://myblog.wordpress.com/"'
aelem = splits[1]
#这里的正则式对应改变
matches = re.match('href="(.*)"', aelem)

当然，这种方法不能保证100%正确。最好的做法应该还是用HTML Parser. 这里懒得搞了。

提取出URL之后，就要将URL加入URL库。为了避免重复访问，需要对URL去重复，这就引出了下一节中字典的使用。

字典

字典，一种存储key-value对的关联容器，对应C++里的stl::hash_map，Java里的java.util.HashMap以及C#中的Dictionary. 由于key具有唯一性，因此字典可以用来去重。当然，也可以用set，很多set就是将map简单包装一下，例如java.util.HashSet和stl::hash_set.

要使用字典构建一个URL库，首先我们需要考虑一下URL库需要做什么：

1. URL去重：URL从HTML代码中抽取出来后，如果是已经加入URL库的URL，则不加入URL库
2. 取新URL：从URL库中取一个还没访问过的URL进行下一次爬取

为了同时做到1、2，有以下两种直观的做法：

1. 用一个url字典，其中URL作为key，是否已访问（True/False）作为value；
2. 用两个字典，其中一个用来去重，另一个用来存放还没访问过的URL.

这里简单起见，用的是第2种方法：

#起始URL
starturl = 'http://myblog.wordpress.com/';
#全部URL，用于URL去重
totalurl[starturl] = True
#未访问URL，用于维护未访问URL列表
unusedurl[starturl] = True

#中间省略若干代码

#取下一个未用的URL
nexturl = unusedurl.keys()[0];
#将该URL从unusedurl中删除
del unusedurl[nexturl]
#获取页面内容
content = get_file_content(nexturl)
#抽取页面中的URL
urllist = extract_url(content)
#对于抽取出的每个URL
for url in urllist:
#如果该URL不存在于totalurl中
    if not totalurl.has_key(url):
#那么它一定是不重复的，将其加入totalurl中
        totalurl[url] = True
#并且加入为访问列表中
        unusedurl[url] = True

结束

最后贴上完整的代码：

import urllib2
import time
import re

totalurl = {}
unusedurl = {}

#生成ProxyHandler对象
def get_proxy():
return urllib2.ProxyHandler({'http': "localhost:8580"})

#生成指向代理的url_opener
def get_proxy_http_opener(proxy):
return urllib2.build_opener(proxy)

#获取指定URL指向的网页，调用了前两个函数
def get_file_content(url):
    opener = get_proxy_http_opener(get_proxy())
    content = opener.open(url).read()
    opener.close()
#为方便正则匹配，将其中的换行符消掉
    return content.replace('\r', '').replace('\n', '')

#根据网页HTML代码抽取网页标题
def extract_title(content):
    titleelem = re.findall('<title>.*<\/title>', content)[0]
return re.match('<title>(.*)<\/title>', titleelem).group(1).strip()

#根据网页HTML代码抽取所有<a>标签中的URL
def extract_url(content):
    urllist = []
    aelems = re.findall('<a href=".*?<\/a>', content)
for aelem in aelems:
        splits = aelem.split(' ')
if len(splits) != 1:
            aelem = splits[1]
##print aelem
        matches = re.match('href="(.*)"', aelem)
if matches is not None:
            url = matches.group(1)
if re.match('http:\/\/myblog\.wordpress\.com.*', url) is not None:
                urllist.append(url)
return urllist

#获取字符串格式的时间
def get_localtime():
return time.strftime("%H:%M:%S", time.localtime())

#主函数
def begin_access():

    starturl = 'http://myblog.wordpress.com/';
    totalurl[starturl] = True
    unusedurl[starturl] = True
print 'seq\ttime\ttitle\turl'

    i = 0
while i < 150:

        nexturl = unusedurl.keys()[0];
del unusedurl[nexturl]
        content = get_file_content(nexturl)

        title = extract_title(content)
        urllist = extract_url(content)

for url in urllist:
if not totalurl.has_key(url):
                totalurl[url] = True
                unusedurl[url] = True

print '%d\t%s\t%s\t%s' %(i, get_localtime(), title, nexturl)

        i = i + 1
        time.sleep(2)

#调用主函数
begin_access()