现在的位置: 首页 > 综合 > 正文

Hadoop JVM复用配置

2013年10月19日 ⁄ 综合 ⁄ 共 276字 ⁄ 字号 评论关闭

Hadoop默认为每个task(map task 或者 reduce task) 启动一个jvm。

鉴于目前小文件过多的问题,设置了jvm复用,即一个job内,多个task共享jvm,避免多次启动jvm,浪费资源和时间。

测试Job信息:

map:4715个

reduce:20个

input:  34G

output:  25G

优化前:1464 s

优化后:1375 s

Job运行时间减少 6%

CPU使用率情况:

*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数,修改不需要重启tasktracker,可以在提交job的shell或者代码中设置。

抱歉!评论已关闭.