现在的位置: 首页 > 综合 > 正文

处理待分析日志中特征为中英文混现的方法

2013年08月17日 ⁄ 综合 ⁄ 共 1393字 ⁄ 字号 评论关闭

如:

待分析的log信息会出现:

(a)"http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";

(b)"http://fenlei.hudong.com/特步中国大学生5人制足球联赛/"

待匹配的特征信息为:"http://fenlei.hudong.com/特步中国大学生5人制足球联赛/"

这两项怎么改变编码方式能正确的统计到流量信息呢?

1、开始使用如下方法:

将待匹配的特征的utf8编码写出来与log信息来匹配:

my $fl1 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E4%B8%AD%E5%9B%BD%E5%A4%A7%E5%AD%A6%E7%94%9F5%E4%BA%BA%E5%88%B6%E8%B6%B3%E7%90%83%E8%81%94%E8%B5%9B/";
my $fl2 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5/";
my $fl3 = "http://fenlei.hudong.com/%E7%89%B9%E6%AD%A5%E5%8D%81%E5%B9%B4/";
if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){
	$fenleiInfo{$ref}++;
	$totalpv++;
}

这种弊端是,log信息中出现的情况(b)将漏掉统计。


2、后来想到是编码问题,然后改用下面的方法

my $fl1= "http://fenlei.hudong.com/特步中国大学生5人制足球联赛/";
my $fl2= "http://fenlei.hudong.com/特步/";
my $fl3= "http://fenlei.hudong.com/特步十年/";
$ref = decode('utf8',$ref);
if($ref eq $fl1 || $ref eq $fl2 || $ref eq $fl3){
	$fenleiInfo{$ref}++;
	$totalpv++;
}

这种弊端是,log信息中出现的情况(a)将漏掉统计。

3、看来以上两种方法都无法完美的解决这种中英文混合出现的情况,于是想到了使用方法:uri_unescape。

于是问题解决了,得到了以上1、2的结果之和。

use URI::Escape;
my $fl1= "http://fenlei.hudong.com/特步中国大学生5人制足球联赛/";
my $fl2= "http://fenlei.hudong.com/特步/";
my $fl3= "http://fenlei.hudong.com/特步十年/";
my $ref1 = "";
if($ref =~ /http:\/\/fenlei.hudong.com\//){
	$ref1 = uri_unescape($ref);#decode('utf8',$ref);
	$ref1 = decode('utf8',$ref1);
}
if($ref1 eq $fl1 || $ref1 eq $fl2 || $ref1 eq $fl3){
	$fenleiInfo{$ref1}++;
	$totalpv++;
}


抱歉!评论已关闭.