运行crawl 环境：winxp+cygwin+ nutch0.7.1
# accept hosts in MY.DOMAIN.NAME
# accept hosts in MY.DOMAIN.NAME
+^http://blog.csdn.net/pwlazy
cd /cgydrive/e/nutch-0.7.1
bin/nutch crawl urls -dir crawled -depth 3 >& crawl.log
step 1)
下载nutch0.7.1后解压到比如e:/nutch-0.7.1 并设置环境变量JAVA_HOME
step2)
在e:/nutch-0.7.1建立一个文件,名为urls,内容为blog.csdn.net/pwlazy,表示待爬的网页
step3)
将e:/nutch-0.7.1/conf下的crawl-urlfilter.txt修改
# accept hosts in MY.DOMAIN.NAME变为
# accept hosts in MY.DOMAIN.NAME+^http://blog.csdn.net/pwlazy4)打开cygwin,运行命令
cd /cgydrive/e/nutch-0.7.1bin/nutch crawl urls -dir crawled -depth 3 >& crawl.log关于第二行命令的解释网上到处都是,就不再赘述了
以上4步完成 crawl
为了测试上面的结果,可利用nutch-0.7.1下的nutch-0.7.1.war,war中提供了简单的搜索页
补充说明:
下载nutch-0.8使用,会出现一堆错误,网上有人说是因为hadoop-0.4.0.jar的原因,反正我不知道,如果哪位知道,希望不吝赐教.不得已,下载了nutch-0.7.1,很顺利就搞定