现在的位置: 首页 > 综合 > 正文

scrapy: 如何自定义1个spider

2013年06月07日 ⁄ 综合 ⁄ 共 321字 ⁄ 字号 评论关闭
  • 添加头文件:

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

from tutorial.items import TutorialItem

 

  •   选择要派生的基类:如BaseSpider、CrawlSpider等
  • 定义构造函数

a)         def __init__(self, *a, **kw):

b)         调用基类构造函数:super(CrawlSpider, self).__init__(*a, **kw)

  •  重载默认回调函数

a)         def parse(self, response):

b)         返回item或request

抱歉!评论已关闭.