现在的位置: 首页 > 综合 > 正文

成功实践:半自动地将XML结点转换成JAVABEAN,再半自动地将JAVABEAN存入数据库

2013年01月07日 ⁄ 综合 ⁄ 共 12108字 ⁄ 字号 评论关闭
1.概述
    我们要将外部系统给的XML文件进行解析,并存入到数据库。但是我们并没有DTD或者Schema,只有一个WORD格式的说明文档;更离谱的是,XML结点树的结构(即XML结点与XML结点之间的关系)与业务Bean树的结构(即业务Bean与业务Bean的关系)并不完全一致,比如说,从业务角度讲,一只猪有只猪头,而在XML里,却写成了  pig --content --pighead 的三级关系,无端端多了一个content结点! 没有DTD/Schema,结构又不规范,我们就没法用自动化的第三方JAVA转换API进行解析,而只能手动地、一个一个地解析。但在手动解析的过程中,我们仍然发现各个结点的解析和入库中有很多东西是共同的,或者有共同的规律,这些东西可以抽出来作为一个准框架,然后再将结点中不同的部分开放出来,允许具体的结点做具体的实现,并最终形成一个半自动的解析/入库框架。

   为什么说它是半自动的?它有哪些限制?
    自动:不必为每个结点编写XML 解析代码和入库代码
   “半”:需手动地编写每个JAVABEAN,并手动地为每个BEAN建表
   限制:
         a.所有业务字段的类型只能设为STRING/VARCHAR,并且非业务字段的类型在BEAN中不能为STRING
             b.BEAN名与表名必须相同,或者可以进行一对一映射
         c.BEAN的成员变量名必须与XML结点的属性名/元素名相同,或者可以进行一对一映射
   这三种限制都是利用JAVA反射机制进行自动操作的前提。
   
2.基本思想
    所谓的XML解析,就是将XML结点转换成JAVABEAN实例,XML结点的ATTRIBUTE值和ELEMENT值就是JAVABEAN实例的成员变量值; 所谓的持久化,就是将JAVABEAN实例变成数据库对应表中的一条记录,JAVABEAN实例的成员变量值就是记录中某个字段的值,或者其他表中某个参考了该记录的另一条记录。
    而在XML中,JAVABEAN体系中,数据据表关系结构中,结点和结点之间的关系都是树形的关系。整体的解析和入库,就是在遍历树时执行转换动作。而我们知道,树的遍历是可以用递归算法实现的,而递归,就不用说了吧,它是实现程序“自动化”的主要途径之一。

    以下是对各“树”的具体分析:
    假设两个业务实体A和B之间存在聚合关系(父子关系)。那么具体可分三种情况:
        a.B是一个原子字段(即不可再分),并且是A的一个属性。
            XML中,B是A的XML ATTRIBUTE或者A的原子ELEMENT
                BEAN中,B是A的成员变量,并且B是一个JAVA内置的数据类型
           数据库中,B是A表的一个列
        b.B是一个复合字段,并且是A的一个属性,而且和A是1:1关系
           XML中,B是A的ELEMENT,并且B有自己的ELEMENT或者ATTRIBUTE
                BEAN中,B是A的成员变量,并且程序中有个B类
           数据库中,B表是A表的子表(即B外键参考了A表)
        c.B是一个复合字段,并且是A的一个属性,而且和A是N:1关系
           XML中,B是A的ELEMENT,并且B有自己的ELEMENT或者ATTRIBUTE
                BEAN中,B组成一个类集(List,Set)共同作为A的成员变量,并且程序中有个B类
           数据库中,B表是A表的子表(即B外键参考了A表)
        
        了解了这三种情况,接下来就好办了。程序每抓到一个结点,都要递归地进行以下处理:先处理它的原子属性(情形a),接着处理它的单个子结点(情形b),最后处理它的类集子结点( 情形c)。

3.代码实现的重点
      两个重点:
         a.如何让业务实体在三棵树内一一对应好?
         b.如何发现树形关系,比如A的属性有哪些,A的子结点有哪些?
         
      问题a很简单,就是让三棵树里相同的业务实体取相同的名字。
         a.解析XML时发现 结点X 的 属性Y 等于 值Z,则执行PropertyUtils.setProperty(结点X , 属性Y , 值Z)即可。在这里X,Y,Z是变量,程序不用关心具体的结点和属性是哪些个。需要注意的是,如果属性Y是原子字段,则要求属性Y必须为String类型,否则程序不知道将值Z转换成哪种类型(注:关于PropertyUtils, 请见apache commons Beanutils )
         b.入库时发现x.getY()=z。如果属性y是原子字段,则执行SQL insert into X(...,y,...) values (...,z,...),这里要求y字段必须为varchar/char类型, 以免发生类型转换错误.
      
        关于问题b
            XML树:JDOM, dom4j等都可以直接找到父子关系
        BEAN体系:
            I.原子属性。我们限定一个BEAN中所有有业务意义的原子字段的类型都STRING,所有String类型的字段都是业务字段
            II.单个子结点。我们让所有有业务意义的非原子字段都实现一个共同的接口BusiNode,这样一个BEAN中所有BusiNode成员都是这个BEAN的子结点
           III.类集子结点。我们也可以限定所有且只有类集子结点可以使用List或Set类型,这样可以利用过滤出所有类集子结点。然而,在JAVA1.4及以前的版本里,程序并不知道过滤出的类集子结点是哪个Class的实例(因为没有泛型),也就没办法实例化一个类集子结点(见后文),因此只能手动注册类集子结点的属性名和Class。JAVA1.5以上的版本我没用过,不知道可不可以解决这个问题。
        数据库表关系: 这就不用多说了,就是通过外键参考。因此每类结点对应的表中,都必须有个外键,以参考它的父结点;还必须有个主键,以供它的子结点参考。各表的外键名必须相同并为一常数,否则程序生成INSERT SQL时才可以不用理会具体表的具体的外键名。
       
    程序在解析时,遍历的是BEAN树;在持久化时也是。比起XML树,BEAN树代表真正的业务结构;比起数据库表关系树,BEAN树才能由父至子地进行先序遍历

4.其他问题
     a.要让程序知道,原子属性中哪些是XML结点的属性,哪些是XML结点的原子ELEMENT。代码中这是两个抽象方法,必须让具体的结点类实现
       b.回顾本文概述部分提到的“pig --content --pighead 的三级关系,无端端多了一个content结点”,因此我们要让程序知道,pighead,pigfoot等结点的子结点,究竟是pig,还是pig下的content。处理不规范XML时要注意这个问题。这也是一个抽象方法,必须让具体的结点类实现
     c.与上一条类似但更变态的,是类集结点的不规范问题。假设一个pig有多个pighead,那结构可能为 pig--pighead,pighead,...,也可能为pig--pigheads--content,content.... 必须让程序知道某个具体结点用的是哪种模式

5.代码
    核心:多态 + 递归    

a.接口BusiNode
    
import java.util.*;

import org.dom4j.Element;

/**
 * 每个结点都要实现的接口
 * 它提供了一些方法以方便实现递归的XML解析和持久化
 *
 */
public interface BusiNode {
    
    /**
     * 所有类型为不可分类型的属性
     * @return 属性名的集合
     */
    public List getAtomicPropNames();
    
    /**
     * 一些成员变量。这些成员变量是XML结点的属性
     * @return
     */
    public List getXmlAttributes();
    
    /**
     * 一些成员变量。这些成员变量是XML结点的子元素,并且类型为不可分的
     * @return
     */
    public List getXmlAtomicElements();
    
    
    /**
     * 所有类型为类集的属性,并且这些类集中每个元素的类型都是BusiNode
     * @return  key = 属性名, value = 属性类的Class对象。如果为空不返回NULL,而是空的MAP
     */
    public Map getCollectionPropsMap();
    

    /**
     * 所有类型为BusiNode的属性
     * @return 属性名的集合
     */
    public List getBusiNodePropNames();
    
    
    /**
     * 从XML中解析出来。
     * @param element
     * @return
     */
    public void parseFromXML(Element element);    
    
    
    
}

b.默认的实现

import java.lang.reflect.Field;
import java.util.*;

import org.apache.commons.beanutils.PropertyUtils;
import org.dom4j.Attribute;
import org.dom4j.Element;

/**
 * 默认的BUSI NODE。 继承此类的BUSI NODE 需满足 所有不可分属性集=String类型的属性集
 * MyUtils类的代码欠奉
 * 
 */
public abstract class DefaultBusiNode implements BusiNode {

    public List getAtomicPropNames() {
        return MyUtils.getFieldNamesOfClass(this.getClass(), String.class);
    }

    public List getBusiNodePropNames() {
        return MyUtils.getFieldNamesOfClass(this.getClass(), BusiNode.class);
    }

    /*
     * 所有子元素的父元素。有时是本结点,有时是本结点下的元素。变态
     */
    public abstract Element getXmlElementParent(Element rootElement);

    /*
     * 类集子结点根元素的Iterator 。 假设一个pig有多个pighead,那结构可能为 pig--pighead,pighead,...,也可能为pig--pigheads--content,content.... 必须让程序知道某个具体结点用的是哪种模式
     * 
  
     * 如果为空则返回一个空类集的Iterator ,不要返回NULL
     */
    public abstract Iterator getCollectionElementIterator(
            Element xmlElementParent, String attName);

    /**
     * 解析XML属性
     * 
     * @param rootElement
     */
    protected void parseAttributesFromXml(Element rootElement) {
        List xmlAttributes = this.getXmlAttributes();
        for (int i = 0; i < this.getXmlAttributes().size(); i++) {

            String attName = (String) xmlAttributes.get(i);
            Attribute att = rootElement.attribute(attName);
            if (att != null) {
                try {
                    PropertyUtils.setProperty(this, attName, att.getValue());
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }

        }
    }

    /**
     * 解析不可分的Element
     * 
     * @param rootElement
     */
    protected void parseAtomicElementFromXml(Element rootElement) {

        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        List xmlElements = this.getXmlAtomicElements();
        for (int i = 0; i < xmlElements.size(); i++) {

            String attName = (String) xmlElements.get(i);
            Element elmt = xmlElementParent.element(attName);
            if (elmt != null) {
                try {
                    PropertyUtils.setProperty(this, attName, elmt.getText());
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }

        }

    }

    /**
     * 解析BusiNode属性
     * 
     * @param rootElement
     */
    protected void parseBusiNodeElementFromXml(Element rootElement) {
        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        // 再解析BusiNode属性
        List busiNodePropNames = this.getBusiNodePropNames();
        for (int i = 0; i < busiNodePropNames.size(); i++) {
            try {
                String attName = (String) busiNodePropNames.get(i);
                Element elmt = xmlElementParent.element(attName);
                if (elmt != null) {
                    Field field = this.getClass().getDeclaredField(attName);
                    BusiNode att = (BusiNode) field.getType().newInstance();
                    att.parseFromXML(elmt);
                    PropertyUtils.setProperty(this, attName, att);
                }

            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
    }

    /**
     * 解析类集属性
     * 
     * @param rootElement
     */
    protected void parseCollectionPropsFromXml(Element rootElement) {
        // 先解析XML属性

        Element xmlElementParent = getXmlElementParent(rootElement);
        if (xmlElementParent == null) {
            return;
        }

        // 最后解析类集属性
        Map collectionPropsMap = this.getCollectionPropsMap();
        for (Iterator it = collectionPropsMap.keySet().iterator(); it.hasNext();) {
            try {
                String attName = (String) it.next();
                Collection coll = (Collection) PropertyUtils.getProperty(this,
                        attName);
                Class attType = (Class) collectionPropsMap.get(attName);

                Iterator collElementsIt = this.getCollectionElementIterator(
                        xmlElementParent, attName);
                // xmlElementParent.elementIterator(attName);
                while (collElementsIt.hasNext()) {
                    Element collElmt = (Element) collElementsIt.next();
                    BusiNode sinlgeAtt = (BusiNode) attType.newInstance();
                    sinlgeAtt.parseFromXML(collElmt);
                    coll.add(sinlgeAtt);
                }

            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
    }

    /**
     * 从XML中解析出结点。此方法可能抛出RumtimeException
     */
    public void parseFromXML(Element rootElement) {
        
        this.parseAttributesFromXml(rootElement);
        this.parseAtomicElementFromXml(rootElement);
        this.parseBusiNodeElementFromXml(rootElement);
        this.parseCollectionPropsFromXml(rootElement);

    }

}

   

/**
 * 入库
 * JdbcUtil,MyUtils的代码欠奉
 * 
 */
public class BusiNodeDAO  {

    
    private Long saveBusiNode(BusiNode node, Long parentNodeId) {

        // 先存储原子属性
        Long id = saveBareBusiNode(node, parentNodeId);

        // 再存储类集属性
        Map collectionPropsMap = node.getCollectionPropsMap();
        for (Iterator it = collectionPropsMap.keySet().iterator(); it.hasNext();) {
            String attName = (String) it.next();
            Collection coll = null;
            try {
                coll = (Collection) PropertyUtils.getProperty(node, attName);
            } catch (Exception e) {                
                throw new RuntimeException("编码错误");
            }

            for (Iterator iitt = coll.iterator(); iitt.hasNext();) {
                BusiNode subNode = (BusiNode) iitt.next();
                saveBusiNode(subNode, id);
            }

        }

        // 最后存储所有BusiNode属性
        Iterator iitt = node.getBusiNodePropNames().iterator();
        while (iitt.hasNext()) {
            BusiNode subNode = null;
            try {
                subNode = (BusiNode) PropertyUtils.getProperty(node,
                        (String) iitt.next());
            } catch (Exception e) {                
                throw new RuntimeException("编码错误");
            }
            if (subNode != null) {
                saveBusiNode(subNode, id);
            }
        }

        return id;

    }

    /**
     * 插入某个BusiNode的根结点,此方法可能抛出RuntimeException
     * 
     * @param node
     * @return
     */
    private Long saveBareBusiNode(BusiNode node, Long parentNodeId) {
        StringBuffer sbForSql = new StringBuffer();
        List paramValues = new ArrayList();
        genInsertSqlAndParam(node, parentNodeId, node.getAtomicPropNames(),
                sbForSql, paramValues);

        return new Long(JdbcUtil.queryForLong(
                sbForSql.toString(), paramValues.toArray()));
    }

    /**
     * 生成某个结点的插入语句和paramValues数组,此方法可能抛出RuntimeException
     * 
     * @param node
     * @param columnNames
     * @param sbForSql
     * @param paramValues
     */
    private void genInsertSqlAndParam(BusiNode node, Long parentNodeId,
            List columnNames, StringBuffer sbForSql, List paramValues) {

        sbForSql.append(" insert into ");
        sbForSql.append(MyUtils.getClassBareName(node.getClass()));

        List cns = new ArrayList();
        cns.addAll(columnNames);

        cns.add("parentNodeId");
        sbForSql.append(MyUtils.encloseWithCurve(MyUtils
                .joinCollectionStrings(cns,  ",")));
        sbForSql.append(" values ");

        List qms = new ArrayList(); // 问号
        for (Iterator it = columnNames.iterator(); it.hasNext();) {
            qms.add("?");
            String cn = (String) it.next();
            try {
                paramValues.add(PropertyUtils.getProperty(node, cn));
            } catch (Exception e) {
                throw new RuntimeException(e);
            }

        }
        qms.add("?"); // parentNodeId
        paramValues.add(parentNodeId);

        sbForSql.append(MyUtils.encloseWithCurve(MyUtil
                .joinCollectionStrings(qms, ",")));
        sbForSql.append(";select @@identity");
    }

}

 

抱歉!评论已关闭.