现在的位置: 首页 > 综合 > 正文

服务端根据浏览器签名禁止爬虫访问——解决方法

2014年09月05日 ⁄ 综合 ⁄ 共 293字 ⁄ 字号 评论关闭

在做爬虫的时候遇到下面的错误:

The owner of this website (mymovieapi.com) has banned your access based on your browser's signature (7b7d74e8-cl-ua-18). (Ref. 1010)

用程序写的爬虫用的是httpClient它的browser's签名不被认证。。

其实解决方法很简单,请求头上添加这个域就ok了。

method.addRequestHeader("User-Agent","Mozilla/5.0 (Windows NT 5.1; rv:22.0) Gecko/20100101 Firefox/22.0");

抱歉!评论已关闭.