现在的位置: 首页 > 综合 > 正文

HTMLPage类的说明

2013年07月27日 ⁄ 综合 ⁄ 共 9863字 ⁄ 字号 小 中 大 ⁄ 评论关闭

 HTMLPage类：

HTMLPage类中主要也就几种用途，而从HTMLPage类中抓取图片是一个非常重要的一个功能，诚然还有超链接和表单。而在HTMLPage类的内置类Parser中，大部分工作都是由handleSimpleTag（简单标签）和和handleStartTag（起始标签方法来完成。

详细代码清单如下：

  1. package com.heaton.bot;
  2. import java.util.*;
  3. import com.heaton.bot.*;
  4. import java.net.*;
  5. import java.io.*;
  6. import javax.swing.text.*;
  7. import javax.swing.text.html.*;
  9. /**
  10.  * The HTMLPage class is used to parse an HTML page and store
  11.  * that page, in a parsed form, in memory.
  12.  * are exchanged with a webserver.
  13.  */
  14. public class HTMLPage {
  16.   /**
  17.    * A list of images on this page.
  18.    */
  19.   protected Vector images = new Vector();
  21.   /**
  22.    * A list of links on this page.
  23.    */
  24.   protected Vector links = new Vector();
  26.   /**
  27.    * A list of forms on this page.
  28.    */
  29.   protected Vector forms = new Vector();
  31.   /**
  32.    * The underlying HTTP object for this page.
  33.    */
  34.   protected HTTP http;
  36.   /**
  37.    * The base URL to resolve relative URL's.
  38.    */
  39.   protected String base;
  41.   /**
  42.    * Construct an HTMLPage object.
  43.    *
  44.    * @param http The HTTP object(or subclass) to use to
  45.    * download pages.
  46.    */
  47.   public HTMLPage(HTTP http)
  48.   {
  49.     this.http = http;
  50.   }
  53.   /**
  54.    * Called to open a page and read it in. If null
  55.    * is specified for the callback(回调）, then the other
  56.    * methods in this class may be used to look at
  57.    * images, links and forms.
  58.    * open是进入HTMLPage类的入口点。
  59.    * @param url The URL to read.
  60.    * @param callback A callback class to handle the parse, or null
  61.    * to use the built in one.
  62.    * @exception java.io.IOException
  63.    * @exception javax.swing.text.BadLocationException
  64.    */
  65.   public void open(String url,
  66.                    HTMLEditorKit.ParserCallback callback)
  67.   throws IOException,BadLocationException
  68.   {
  69.     http.send(url,null);
  70.     base = url;
  71.     processPage(callback);
  72.   }
  74.   /**
  75.    * Internal function called to start the parse.
  76.    *
  77.    * @param callback The callback object to use.
  78.    * @exception java.io.IOException
  79.    */
  80.   protected void processPage(HTMLEditorKit.ParserCallback callback)
  81.   throws IOException
  82.   {
  83.     /*
  84.      * 创建一个字符串阅读器。
  85.      */
  86.     StringReader r = new StringReader(http.getBody());
  87.     /*
  88.      * 创建新的解析器。
  89.      */
  90.     HTMLEditorKit.Parser parse = new HTMLParse().getParser();
  92.     /*
  93.      * 程序检查是否提供了定制的回调类。如果提供了回调类，则
  94.      * 使用该会掉泪，从而结束了HTMLPage类的工作。如果没有提
  95.      * 供回调类，HTMLPage则使用内置的回调类，该回调类为Parser。
  96.      */
  97.     if ( callback==null ) {
  98.       HTMLPage.Parser p=new HTMLPage.Parser();
  99.       parse.parse(r,p,true);
  100.     } else
  101.       parse.parse(r,callback,false);
  103.   }
  105.   /**
  106.    * Get the underlying HTTP object that was
  107.    * sent to the constructor.
  108.    *
  109.    * @return The underlying HTTP object.
  110.    */
  111.   public HTTP getHTTP()
  112.   {
  113.     return http;
  114.   }
  116.   /**
  117.    * Get a list of all of the links from this page.
  118.    * If this is to be used then null must have been
  119.    * passed as the callback object to the open method.
  120.    *
  121.    * @return All links on this page.
  122.    */
  123.   public Vector getLinks()
  124.   {
  125.     return links;
  126.   }
  128.   /**
  129.    * Get a list of all of the images from this page.
  130.    * If this is to be used then null must have been
  131.    * passed as the callback object to the open method.
  132.    *
  133.    * @return A list of all of the images on this page.
  134.    */
  135.   public Vector getImages()
  136.   {
  137.     return images;
  138.   }
  140.   /**
  141.    * Get a list of all of the forms from this page.
  142.    * If this is to be used then null must have been
  143.    * passed as the callback object to the open method.
  144.    *
  145.    * @return A list of forms.
  146.    */
  147.   public Vector getForms()
  148.   {
  149.     return forms;
  150.   }
  152.   /**
  153.    * Called to perform a post for the specified form.
  154.    *
  155.    * @param form The form object to post.
  156.    * @exception java.io.IOException
  157.    */
  158.   public void post(HTMLForm form)
  159.   throws IOException
  160.   {
  161.     http.getClientHeaders().set("Content-Type",
  162.                                  "application/x-www-form-urlencoded");
  163.     http.send(form.getAction(),form.toString());
  164.     processPage(null);
  165.   }
  167.   /**
  168.    * Get the URL that is represented by this page.
  169.    *
  170.    * @return The URL that is represented by this page.
  171.    */
  172.   public String getURL()
  173.   {
  174.     return http.getURL();
  175.   }
  177.   /**
  178.    * Called internally to add an image to the list.
  179.    *
  180.    * @param img The image to add.
  181.    */
  182.   protected void addImage(String img)
  183.   {
  184.     img = URLUtility.resolveBase(base,img);
  185.     for ( int i=0;i<images.size();i++ ) {
  186.       String s = (String)images.elementAt(i);
  187.       if ( s.equalsIgnoreCase(img) )
  188.         return;
  189.     }
  190.     images.addElement(img);
  191.   }
  193.   /**
  194.    * A HTML parser callback used by this class to
  195.    * detect links, images and forms.
  196.    * 定义一个名为Parser的内部类，该类实现一个专门的解析器回
  197.    * 调函数，用来跟踪超链接，图像和表单。
  198.    */
  199.   protected class Parser
  200.     extends HTMLEditorKit.ParserCallback {
  202.     /**
  203.      * Used to build up data for an HTML form.
  204.      */
  205.     protected HTMLForm tempForm;
  207.     /**
  208.      * Used to build up options for an HTML form.
  209.      */
  210.     protected AttributeList tempOptions;
  212.     /**
  213.      * Used to build up options for an HTML form.
  214.      */
  215.     protected Attribute tempElement = new Attribute();
  217.     /**
  218.      * Holds the prompt text(just before or after a control.
  219.      */
  220.     protected String tempPrompt = "";
  222.     /**
  223.      * Holds the link till the end link is found
  224.      */
  225.     protected Link tempLink;
  231.     /**
  232.      * Called to handle comments.
  233.      *
  234.      * @param data The comment.
  235.      * @param pos The position.
  236.      */
  237.     public void handleComment(char[] data,int pos)
  238.     {
  239.     }
  241.     /**
  242.      * Called to handle an ending tag.
  243.      *
  244.      * @param t The ending tag.
  245.      * @param pos The position.
  246.      */
  247.     public void handleEndTag(HTML.Tag t,int pos)
  248.     {
  249.       if ( t==HTML.Tag.OPTION ) {
  250.         if ( tempElement!=null ) {
  251.           tempElement.setName(tempPrompt);
  252.           tempOptions.add(tempElement);
  253.           tempPrompt = "";
  254.         }
  255.         tempElement = null;
  256.       } else if ( t==HTML.Tag.FORM ) {
  257.         if ( tempForm!=null )
  258.           forms.addElement(tempForm);
  259.         tempPrompt = "";
  260.       } else if ( t==HTML.Tag.A ) {
  261.         if ( tempLink!=null )
  262.           tempLink.setPrompt(tempPrompt);
  263.         tempPrompt = "";
  264.       }
  266.     }
  268.     /**
  269.      * Called to handle an error. Not used.
  270.      *
  271.      * @param errorMsg The error.
  272.      * @param pos The position.
  273.      */
  274.     public void handleError(String errorMsg,int pos)
  275.     {
  276.     }
  278.     /**
  279.      * Called to handle a simple tag.
  280.      *
  281.      * @param t The simple tag.
  282.      * @param a The attribute list.
  283.      * @param pos The position.
  284.      */
  285.     public void handleSimpleTag(HTML.Tag t,
  286.                                 MutableAttributeSet a,int pos)
  287.     {
  288.       handleStartTag(t,a,pos);
  289.     }
  291.     /**
  292.      * Called to handle a starting tag.
  293.      *
  294.      * @param t The starting tag.
  295.      * @param a The attribute list.
  296.      * @param pos The position.
  297.      */
  298.     public void handleStartTag(HTML.Tag t,
  299.                                MutableAttributeSet a,int pos)
  300.     {
  301.       String type = "";
  303.       // is it some sort of a link
  304.       String href = (String)a.getAttribute(HTML.Attribute.HREF);
  306.       if ( (href!=null) && (t!=HTML.Tag.BASE) ) {
  307.         String alt = (String)a.getAttribute(HTML.Attribute.ALT);
  308.         Link link = new Link(
  309.                             alt,
  310.                             URLUtility.resolveBase(base,href),
  311.                             null);
  312.         links.addElement(tempLink=link);
  313.       } else if ( t==HTML.Tag.OPTION ) {
  314.         tempElement = new Attribute();
  315.         tempElement.setName("");
  316.         tempElement.setValue((String)a.getAttribute(HTML.Attribute.VALUE));
  317.       } else if ( t==HTML.Tag.SELECT ) {
  318.         if ( tempForm==null )
  319.           return;
  321.         tempOptions = new AttributeList();
  322.         tempForm.addInput(
  323.                           (String)a.getAttribute(HTML.Attribute.NAME),
  324.                           null,
  325.                           "select",
  326.                           tempPrompt,
  327.                           tempOptions);
  328.         tempPrompt = "";
  329.       } else if ( t==HTML.Tag.TEXTAREA ) {
  330.         if ( tempForm==null )
  331.           return;
  333.         tempForm.addInput(
  334.                           (String)a.getAttribute(HTML.Attribute.NAME),
  335.                           null,
  336.                           "textarea",
  337.                           tempPrompt,
  338.                           null);
  339.         tempPrompt = "";
  340.       }
  342.       else if ( t==HTML.Tag.FORM ) {
  343.         if ( tempForm!=null )
  344.           forms.addElement(tempForm);
  346.         String action =
  347.         (String)a.getAttribute(HTML.Attribute.ACTION);
  348.         if ( action!=null ) {
  349.           try {
  350.             URL aurl = new URL(new URL(http.getURL()),action);
  351.             action = aurl.toString();
  352.           } catch ( MalformedURLException e ) {
  353.             action = null;
  354.           }
  355.         }
  357.         tempForm = new HTMLForm(
  358.                                 (String)a.getAttribute(HTML.Attribute.METHOD),
  359.                                 action );
  360.         tempPrompt = "";
  361.       } else if ( t==HTML.Tag.INPUT ) {
  362.         if ( tempForm==null )
  363.           return;
  364.         if ( t!=HTML.Tag.INPUT ) {
  365.           type = (String)a.getAttribute(HTML.Attribute.TYPE);
  366.           if ( type==null )
  367.             return;
  368.         } else
  369.           type = "select";
  371.         if ( type.equalsIgnoreCase("text") ||
  372.              type.equalsIgnoreCase("edit") ||
  373.              type.equalsIgnoreCase("password") ||
  374.              type.equalsIgnoreCase("select") ||
  375.              type.equalsIgnoreCase("hidden") ) {
  376.           tempForm.addInput(
  377.                             (String)a.getAttribute(HTML.Attribute.NAME),
  378.                             (String)a.getAttribute(HTML.Attribute.VALUE),
  379.                             type,
  380.                             tempPrompt,
  381.                             null);
  382.           tempOptions = new AttributeList();
  383.         }
  384.       } else if ( t==HTML.Tag.BASE ) {
  385.         href = (String)a.getAttribute(HTML.Attribute.HREF);
  386.         if ( href!=null )
  387.           base = href;
  388.       } else if ( t==HTML.Tag.IMG ) {
  389.         String src = (String)a.getAttribute(HTML.Attribute.SRC);
  390.         if ( src!=null )
  391.           addImage(src);
  392.       }
  394.     }
  396.     /**
  397.      * Called to handle text.
  398.      *
  399.      * @param data The text.
  400.      * @param pos The position.
  401.      */
  402.     public void handleText(char[] data,int pos)
  403.     {
  404.       tempPrompt += new String(data) + " ";
  405.     }
  407.   }
  408. }
返回
【上篇】
【下篇】

作者:

抱歉!评论已关闭.

返回首页

Copyright © 2013-2018 学步园  保留所有权利.
软文销售 QQ客服：2265327166 点击这里给我发消息（其他合作也可洽谈）
必威体育
必威电竞