学步园

代码太多，编辑的时候卡的很，于是再整个（二）

前面贴完了分类器的代码，下面主程序如下（示例仍然采用原文的例子）：

 1using System;
 2using System.Collections.Generic;
 3using System.Text;
 4
 5using AspxOn.Search.FenLei;
 6
 7namespace AspxOn.Search.ConsoleTest
 8{
 9    class Program
10    {
11        static void Main(string[] args)
12        {
13            string s = "北京时间今天凌晨3:45（欧洲当地时间24日晚20:45），欧冠联赛1/8淘汰赛的首回合较量在日尔兰球场上演焦点战，法甲霸主里昂迎战西甲领头羊巴萨，儒尼尼奥在第7分钟利用任意球破门得分，埃托奥和本泽马先后击中对方门框一次，亨利在第67分钟的俯身冲顶破门为巴萨扳平比分，最终里昂和巴萨在日尔兰球场战成1-1平，两周后的次回合将移师诺坎普。";
14            string result = ChineseSpliter.Split(s, "|");
15            Console.WriteLine(result);
16            //TrainingDataManager tdm = new TrainingDataManager();
17            //Console.WriteLine(tdm.GetFilesPath("C000020")[0]);
18
19            string[] res = result.Split('|');
20            for (int k = 0; k < res.Length; k++)
21            {
22                Console.WriteLine(res[k]);
23            }
24            
25            BayesClassifier bcf = new BayesClassifier();
26            List<ClassifyResult> crs = bcf.Classify(s);
27            Console.WriteLine(crs.Count.ToString());
28
29            for (int i = 0; i < crs.Count; i++)
30            {
31                Console.WriteLine(crs[i].classification + ":" + crs[i].probability.ToString());
32            }
33            
34
35            //string defaultDir = "D:\\SogouC.mini.20061127\\SogouC.mini\\Sample\\C000007";
36
37            //string[] filespath=System.IO.Directory.GetFiles(defaultDir);
38
39            //Console.WriteLine(filespath.Length.ToString());
40            
41            Console.ReadKey();
42        }
43    }
44}
45

 

运行后结果如下：

 

其中，样本数据同样采用搜狗实验室的mini版本，共10个分类，

冒号前是分类编码，冒号后面是概率结果。

分类编码和分类名称对应如下：

C000007    汽车
C000008    财经
C000010    IT
C000013    健康
C000014    体育
C000016    旅游
C000020    教育
C000022    招聘
C000023    文化
C000024    军事

 

因此，测试数据归到 体育 分类下。

在原来的贴来的分词器中，还对停用词进行了过滤，由于ICTCLAS分词器内置了停用词过滤，因此我对原文代码中的相关代码进行了调整。

ICTCLAS分词器对停顿词的过滤代码（见本文（一）中的ICTCLAS中文分词for Lucene.Net接口代码(实现Analyzer)）：

result = new StopFilter(result, CHINESE_ENGLISH_STOP_WORDS);

 

其原理也是基于词典的过滤，字典目录的指定见本文（一）中的ICTCLAS中文分词for Lucene.Net接口代码(实现Analyzer)）。

public string NoisePath = Environment.CurrentDirectory + "\\data\\stopwords.txt";

 

打开\data\文件夹下的stopwords.txt，可见：

这里面是一些常用停顿词。

还没有对批量数据进行分类测试，稍后贴出测试结果和代码下载。