现在的位置: 首页 > 综合 > 正文

Windows7 (64位)系统下安装Scrapy详细教程

2018年06月08日 ⁄ 综合 ⁄ 共 4128字 ⁄ 字号 评论关闭

环境

  • Windows7 64位
  • Python2.7.6 64位

Python的安装:

  • 打开http://www.python.org/getit/releases/2.7.6/页面,下载Python-2.7.6.amd64.msi 进行安装,安装完成后,需要配置环境变量,环境变量的配置可以参考该文章
  • 测试python是否安装成功,如果python成功安装并且配置好环境变量,那么在cmd中输入python,就能得到python版本的详细信息(如32位或64位)
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. C:\Users\Administrator>python  
  2. Python 2.7.6 (default, Nov 10 201319:24:24) [MSC v.1500 64 bit (AMD64)] on win  
  3. 32  
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. C:\Users\Administrator>python  
  2. Python 2.7.6 (default, Nov 10 201319:24:24) [MSC v.1500 64 bit (AMD64)] on win  
  3. 32  

easy_install的安装

保存ez_setup.py至本地,如D盘(如果失效了,可以参考下http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html)

在cmd中运行:

[html] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. d:\>python ez_setup.py  
[html] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. d:\>python ez_setup.py  

进行SetupTools的安装
在运行的时候会发生一个错误,该错误为"ascii
codec can't decode byte 0xe8 in position 0:ordinal not in range(128)
",大意为ascii编码不能解析byte 0xe8。

解决方法:找到并打开python根目录/Lib/mimetypes.py文件,在import urllib后,添加代码:

[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. reload(sys)  
  2. sys.setdefaultencoding('gbk')  
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. reload(sys)  
  2. sys.setdefaultencoding('gbk')  

把默认编码方式改为gbk(网上有写用utf8的,在这个脚本中是无效的,需要改成gbk格式)。重新执行python ez_setup.py,如果出现刷屏的安装信息,则说明安装成功了。此时,在python目录下多了一个Script文件夹,easy_install就在里面

Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载:http://pan.baidu.com/s/1i3GbgSP

  • 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
  • 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
  • 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
  • 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
  • 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下,执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg

验证scrapy依赖项是否安装成功的方法:

cmd执行$ python进入python控制台

  • 执行import lxml,如果没报错,则说明lxml安装成功
  • 执行import twisted,如果没报错,则说明twisted安装成功
  • 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功
  • 执行import zope.interface,如果没报错,则说明zope.interface安装成功
  • 如果安装成功,那么在cmd中执行& python,然后执行import lxml,如果没有报错,则说明lxml安装成功。

安装Scrapy

  • 方法1: 控制台输入:easy_install scrapy(下载较慢,如果失败可以多试几次或使用方法2)
  • 方法2:解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功。

环境

  • Windows7 64位
  • Python2.7.6 64位

Python的安装:

  • 打开http://www.python.org/getit/releases/2.7.6/页面,下载Python-2.7.6.amd64.msi 进行安装,安装完成后,需要配置环境变量,环境变量的配置可以参考该文章
  • 测试python是否安装成功,如果python成功安装并且配置好环境变量,那么在cmd中输入python,就能得到python版本的详细信息(如32位或64位)
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. C:\Users\Administrator>python  
  2. Python 2.7.6 (default, Nov 10 201319:24:24) [MSC v.1500 64 bit (AMD64)] on win  
  3. 32  
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. C:\Users\Administrator>python  
  2. Python 2.7.6 (default, Nov 10 201319:24:24) [MSC v.1500 64 bit (AMD64)] on win  
  3. 32  

easy_install的安装

保存ez_setup.py至本地,如D盘(如果失效了,可以参考下http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html)

在cmd中运行:

[html] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. d:\>python ez_setup.py  
[html] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. d:\>python ez_setup.py  

进行SetupTools的安装
在运行的时候会发生一个错误,该错误为"ascii
codec can't decode byte 0xe8 in position 0:ordinal not in range(128)
",大意为ascii编码不能解析byte 0xe8。

解决方法:找到并打开python根目录/Lib/mimetypes.py文件,在import urllib后,添加代码:

[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. reload(sys)  
  2. sys.setdefaultencoding('gbk')  
[python] view
plain
copy在CODE上查看代码片派生到我的代码片

  1. reload(sys)  
  2. sys.setdefaultencoding('gbk')  

把默认编码方式改为gbk(网上有写用utf8的,在这个脚本中是无效的,需要改成gbk格式)。重新执行python ez_setup.py,如果出现刷屏的安装信息,则说明安装成功了。此时,在python目录下多了一个Script文件夹,easy_install就在里面

Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载:http://pan.baidu.com/s/13oRlq

  • 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
  • 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
  • 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
  • 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
  • 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下,执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg

验证scrapy依赖项是否安装成功的方法:

cmd执行$ python进入python控制台

  • 执行import lxml,如果没报错,则说明lxml安装成功
  • 执行import twisted,如果没报错,则说明twisted安装成功
  • 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功
  • 执行import zope.interface,如果没报错,则说明zope.interface安装成功
  • 如果安装成功,那么在cmd中执行& python,然后执行import lxml,如果没有报错,则说明lxml安装成功。

安装Scrapy

  • 方法1: 控制台输入:easy_install scrapy(下载较慢,如果失败可以多试几次或使用方法2)
  • 方法2:解压缩Scrapy-0.22.2.tar.gz,在其目录下执行$ python setup.py install进行Scrapy的安装。

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 $ scrapy ,如果没有报错,说明安装成功。

抱歉!评论已关闭.