现在的位置: 首页 > 综合 > 正文

Solr学习(四)DIH全量导入并索引数据

2018年04月08日 ⁄ 综合 ⁄ 共 2368字 ⁄ 字号 评论关闭

根据前面的步骤,我们已经配置好了Solr,以及加入了中文分词器。

转载请注明出处:jiq•钦's technical Blog

下面介绍怎么利用DIH从Oracle数据库和Mysql数据库导入数据,并为数据建立索引。

(一)Oracle数据库的全量DIH

(1)数据库中创建一个表,并插入两条数据:

create table UserInfo  
(  
    userID number constraint userID_pk primary key,  
    userName varchar(30) not null,  
    userAge number not null      
)  
  
insert into UserInfo values(1,'jiyiqin',25)
INSERT INTO USERINFO VALUES ( 2, '我的名字是季义钦', 25 );
 
select USERID,USERNAME,USERAGE from USERINFO

(2)配置solrconfig.xml:

打开Solr主目录的conf文件夹下(E:\SOLR_HOME\solr\collection1\conf)的配置文件solrconfig.xml,加入一个请求处理者配置:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
	<lst name="defaults">
		<str name="config">data-config.xml</str> 
	</lst>
  </requestHandler>

(3)新建data-config.xml:

就在这个同级目录conf下新建一个配置文件data-config.xml,加入下面内容:

<dataConfig>
	<dataSource type="JdbcDataSource" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@//192.168.1.108:1521/baseinfo" user="JIYIQIN" password="passok" /> 
	<document>
		<entity name="id" query="select USERID,USERNAME,USERAGE from USERINFO">
			<field column="USERID" name="id"/> 
			<field column="USERNAME" name="userName"/> 
			<field column="USERAGE" name="userAge"/> 
		</entity>
  	</document>
</dataConfig>

file域配置数据库表的列名,到scheme.xml配置文件中配置的的索引字段名称的映射。

(4)配置schema.xml:

在schema.xml文件中加入这几个字段的配置:

<field name="userName" type="text_general" indexed="true" stored="true" /> 
<field name="userAge" type="int" indexed="true" stored="true" />

因为id字段已经配置了,所以不需要我们加了,它可是必须的,是一个唯一主键。

配置结束。

(5)加入JDBC驱动:

将oracle的JDBC驱动(ojdbc6.jar)放到部署到tomcat的webapps下的solr的lib文件夹(E:\apache-tomcat-7.0.47\webapps\solr\WEB-INF\lib)下。

我的jdk是版本7的,oracle是11.2.0.1的,到官网下载对应的这个JDBC的jar包就可以。


(6)加入导入相关的jar包:

到solr的解压包的dist目录(E:\solr-4.5.1\dist)下找到solr-dataimporthandler-4.5.1.jar和solr-dataimporthandler-extras-4.5.1.jar这两个jar包,同样放到部署到tomcat的webapps下的solr的lib文件夹(E:\apache-tomcat-7.0.47\webapps\solr\WEB-INF\lib)下。

注意:要进行增量导入还需要另外一个jar包,但是我们这里是先测试全量导入。

好了。启动Tomcat,在浏览器中输入: http://localhost:80/solr/dataimport?command=full-import 进行全量导入。

到查询界面,查询userName这个字段,包含“名字”这个中文词的记录。如图:

(一)MYSQL数据库的全量DIH

所有步骤与Oracle的一模一样,只是有些步骤有些细微差别。

(1)data-config.xml文件中指定的数据源:

<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="root" password="passwd" />

(2)引入的JDBC驱动:

引入的JDBC驱动是:mysql-connector-java-5.1.27-bin.jar

可以从我的云盘下载:http://pan.baidu.com/s/1w33ch

其他步骤就都是一样的了,配置好了之后启动Tomcat,在浏览器中输入: http://localhost:80/solr/dataimport?command=full-import 进行全量导入。

之后便可以进行查询了。


下一篇文章将介绍如何利用DIH定期增量导入MySQL中的数据并建立索引。

抱歉!评论已关闭.