标 题: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:36:12 2011), 站内
正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
语料库： Reteurs21578
featurewords 100
训练集规模：6950
测试集规模:2676
（采用稀疏数据储存模式）生成的arff文件大小：trainCorpus.arff(538k),testCorpus.arff(208k)分类器采用SMO
结果报错run outof memory。
参照一位同学的方法把runWeka.ini中的maxheap=2048m,依然无效。。
请教版内的各位大神还有别的解决方案吗？
看到网络上有一些改JVM大小的方法，可是我对java不太熟悉哈，不知道如何修改。求详细步骤。
--
NLP业余爱好者一枚
※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:47:05 2011), 站内
我把我自己的数据上传了，求助电脑上装有weka的童鞋帮忙跑下，不胜感激。另外我疑心我自己的weka安装有问题。 weka官方网上有两种weka,一种是自带jvm的，一种是不带jvm的。由于我电脑上以前装过java SDK,所以我选的是不带jvm的，这样安装后的java在快捷菜单项上无法启动
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................
--
NLP业余爱好者一枚
※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]
附件: trainCorpus.arff (538KB)
附件: testCorpus.arff (207KB)
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:53:01 2011), 站内
可以试一下weka的命令行，可以设置最大内存
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................
--
※ 来源:·水木社区 http://newsmth.net/·[FROM: 211.87.234.*]
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 11:28:23 2011), 站内
我这边按照wekadoc里面调用weka命令行的方法进行调用，没有反应哈，不出分类过程。
【 在 xwild (xwild) 的大作中提到: 】
: 可以试一下weka的命令行，可以设置最大内存
--
NLP业余爱好者一枚
※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]
此主题相关图片如下：wekaSimpleCLI调用.jpg (11KB)
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 16:43:30 2011), 站内
java 在命令行下可以用 -Xms 和-Xmx来设置最小最大内存，比如
java -Xms256m -Xmx5g ...
不过在windows下运行的话，系统对内存也有限制
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................
--
※ 来源:·水木社区 http://newsmth.net/·[FROM: 125.39.171.*]
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 18:14:10 2011), 站内
这样的问题要么自己调试代码，要么发到他们的maillist比较好。
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................
--
※ 来源:·水木社区 http://newsmth.net/·[FROM: 162.105.200.*]
标 题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Mon Feb 21 21:14:03 2011), 站内
多谢xwild,这个问题目前已经解决。 方案如下：
在weka SimpleCLI窗口依次输入
java -Xmx 1024m
java weka.classifiers.lazy.IBk -K 5 -t data/trainCorpus.arff -T data/testCorpus.arff -i
此处以knn为例来说明如何利用控制台解决weka内存限制的问题。
参考资料 weka自带的WekaManual 第一章 第一节A command line primer
Morgan.Kaufmann data mining 第十三章第一节 "The command line interface"
【 在 xwild (xwild) 的大作中提到: 】
: 可以试一下weka的命令行，可以设置最大内存
--
NLP业余爱好者一枚
※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]