Heritrix研究笔记（一）

现在的位置: 首页 > 综合 > 正文

Heritrix研究笔记（一）

2013年01月15日 ⁄ 综合 ⁄ 共 1875字 ⁄ 字号小中大 ⁄ 评论关闭

这个开源的Web爬虫，Internet Archive在它的官方文档中说只维护在linux下，我不想用那么麻烦的bash shell去设置那些环境变量什么的，所以还是偷点懒，自己写个windows命令脚本来让这个爬虫在windows下面跑起来吧，现在就跟我来吧，呵呵。

要在Windows上让Heritrix跑起来，下面三步就OK了：

1)
下载最新版的Heritrix并解压到一个指定文件夹下（^-^废话。。。）

2)
建立如下的windows命令脚本文件并运行。

title Heritrix

set HERITRIX_HOME=C:/Program Files/Heritrix

cd "C:/Program Files/Heritrix"

set classpath=%HERITRIX_HOME%/heritrix-1.12.1.jar;
%HERITRIX_HOME%/lib/ant-1.6.2.jar;
%HERITRIX_HOME%/lib/commons-cli-1.0.jar;
%HERITRIX_HOME%/lib/commons-codec-1.3.jar;
%HERITRIX_HOME%/lib/commons-collections-3.1.jar;
%HERITRIX_HOME%/lib/commons-httpclient-3.0.1.jar;
%HERITRIX_HOME%/lib/commons-logging-1.0.4.jar;
%HERITRIX_HOME%/lib/commons-net-1.4.1.jar;
%HERITRIX_HOME%/lib/commons-pool-1.3.jar;
%HERITRIX_HOME%/lib/dnsjava-2.0.3.jar;
%HERITRIX_HOME%/lib/itext-1.2.0.jar;
%HERITRIX_HOME%/lib/jasper-compiler-tomcat-4.1.30.jar;
%HERITRIX_HOME%/lib/jasper-runtime-tomcat-4.1.30.jar;
%HERITRIX_HOME%/lib/javaswf-CVS-SNAPSHOT-1.jar;
%HERITRIX_HOME%/lib/je-3.2.23.jar;%HERITRIX_HOME%/lib/jetty-4.2.23.jar;
%HERITRIX_HOME%/lib/junit-3.8.2.jar;%HERITRIX_HOME%/lib/poi-2.0-RC1-20031102.jar;
%HERITRIX_HOME%/lib/poi-scratchpad-2.0-RC1-20031102.jar;
%HERITRIX_HOME%/lib/servlet-tomcat-4.1.30.jar;
HERITRIX_HOME%/lib/bsh-2.0b4.jar;
HERITRIX_HOME%/lib/commons-lang-2.3.jar;
HERITRIX_HOME%/lib/fastutil-5.0.3-heritrix-subset-1.0.jar;
HERITRIX_HOME%/lib/jericho-html-2.3.jar;
HERITRIX_HOME%/lib/jets3t-0.5.0.jar;
HERITRIX_HOME%/lib/libidn-0.5.9.jar;
HERITRIX_HOME%/lib/mg4j-1.0.1.jar;