基于汉字字频特征实现99.99%准确率的新闻文本分类器(二)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(一)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(二)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(三)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(四)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(五)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(六)

回顾

上一节中,已经下载解压了八万个文本文件在D盘的的ClassFile目录下。

本节,将提取它们的字频特征,并进行分类。我们将看到传说中的99.xx%......

源代码

点击下载生成字频特征数据文件的源代码:PreData.zip (15.57 kb)

有关此源代码的详细说明,将在后续的文章中详解。现在,先让我们抓紧看到那个传说中的99...%

首先,解压缩源代码,然后打开其中的PreData.sln项目文件

当VS加载了项目后(如果计算机是老版本的VS并且没有.Net Framework 4.5的话,点击修改为.Net Framework 4.0),保证D盘有足够的剩余空间(700M左右)点击三角形,即可编译代码,并运行汉字字频特征抽取程序。

程序将会加载D盘ClassFile目录下的文本数据,进行二次扫描。并生成特征数据。

激动人心第一次

激动人心的时刻要来临了,有了数据,就可以...

我们先用流行的libSvm工具包中的svm-train.exe工具(libsvm官网下载)进行一次训练,看看这次的特征数据能带来什么惊喜。如下图所示,输入命令 svm-train.exe -v 4 -c 1000 data.txt

参数含义:将八万条特征数据分成四份,交叉验证,惩罚系数1000。

经过漫长(在笔者的计算机上是约一个小时)的等待,我们得到了:

恩,这个结果,可是传统的词频方式的特征很难达到的。而且,是在我们对数据没有进行复杂的数据清洗的前提下,粗犷的得到的。

好吧,我承认,这个数据和99.xx%还有0.xx%的距离。那就让我们再向前迈出一小步吧。

下节预告

嗯,本节,我们生成了基于汉字字频的特征数据集,并且,我们什么都没有额外做的情况下,用SVM的训练工具,得到了一个离99%是那么近的一个模型。

下一节,我们将祭出一个五层的人工神经网络模型。他将带来....

太晚了,休息先。

基于汉字字频特征实现99.99%准确率的新闻文本分类器(三)