1. 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
所以主要使用递归遍历完成对每个网页内链接的获取和源码的获取，然后剔除重复链接
数据爬取后主要使用txt文件储存，根据网址的路径生成想应文件路径
2.代码
package com.test;import java.io.*;import java.net.URL;import java.net.URLConnection;import java.text.SimpleDateFormat;import java.util.Date;import java.util.regex.Matcher;import java.util.regex.Pattern; /** * java实现爬虫 */public class SpiderDemo1 { //网站主网页链接 private final static String theURL = "http://www.jyyishu.cn"; //今日日期，用于标记日志 private final static String theTIME = new SimpleDateFormat("yyyy-MM-dd").format(new Date()); //网页链接文件路径 private final static String theFILE = "L:/html/jy1/" + theTIME + "/URL.txt"; //网页源码路径 private final static String thePATH = "L:/html/jy1/" + theTIME + "/code"; //正则表达式，用于判断是否是一个网址 private final static String theREGEX= "(http|https)://[\\w+\\.?/?]+\\.[A-Za-z]+"; /** * 启动类 * @param args */ public static void main(String[] args) { found(); System.out.println("网站爬取完成"); } public static void found() { PrintWriter pw = null; try{ //创建文件目录 File fileDir = new File(thePATH); if (!fileDir.exists()) { fileDir.mkdirs(); } //创建网站网页链接文件 pw = new PrintWriter(new FileWriter(theFILE),true); //使用递归遍历网站的每个网页 spiderURL(theURL, pw); } catch (IOException e) { e.printStackTrace(); } finally { try { if(pw != null) { pw.close(); } } catch(Exception e) { e.printStackTrace(); } } } /** * 爬取该网页源码和网页内连接 * @param url 该网页网址 * @param tpw 对网站网页网址文件连接的io流 */ public static void spiderURL(String url, PrintWriter tpw){ URL realURL=null; URLConnection connection=null; BufferedReader br=null; PrintWriter pw=null; PrintWriter pw1=null; Pattern pattern=Pattern.compile(theREGEX); try{ realURL=new URL(url); connection=realURL.openConnection(); //生成文件夹 String src = thePATH + url.substring(theURL.length()); File fileDir = new File(src); if (!fileDir.exists()) { fileDir.mkdirs(); } //生成源代码文件 pw = new PrintWriter(new FileWriter(src + "/Test.txt"),true); pw1 = tpw; //爬取网页文件 br=new BufferedReader(new InputStreamReader(connection.getInputStream())); String line=null; while((line=br.readLine())!=null){ //把爬取的源码写入文件 pw.println(line); System.out.println("爬取网页" + url + "成功"); Matcher matcher=pattern.matcher(line); //判断是否是一个网址 while(matcher.find()){ //判断网址是否以网站主网址为前缀，防止爬到其他网站,并判断是否和原先网址重复 if(matcher.group().startsWith(theURL) && examine(matcher.group())) { //把爬取的网址写入文件 pw1.println(matcher.group()); spiderURL(matcher.group(), pw1); } } System.out.println("网页" + url + "内链接爬取完成"); } }catch(Exception e){ e.printStackTrace(); }finally { try { if(br != null) { br.close(); } if(pw != null) { pw.close(); } } catch (IOException e) { e.printStackTrace(); } } } /** * 判断是否和以储存网址相同 * @param str 需判断的网址 * @return 是否重复 */ public static boolean examine(String str) { BufferedReader br = null; String str1; try { br = new BufferedReader(new FileReader(theFILE)); // //针对该网站无用网页的屏蔽// if(str.startsWith("http://www.jyyishu.cn/artnews/")) {// return false;// } //循环文件中每一行的网址，判断是否重复，重复则退出 while((str1 = br.readLine()) != null) { if(str.equals(str1)) { return false; } } } catch (IOException e) { e.printStackTrace(); } finally { try{ if(br != null) { br.close(); } } catch (IOException e) { e.printStackTrace(); } } return true; }}
2. 爬取后的数据
部分链接：
网页数据：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
本文标题: Java爬取网站源代码和链接代码实例
以上就上有关Java爬取网站源代码和链接代码实例的相关介绍，要了解更多java,爬取,网站内容请登录学步园。