现在的位置: 首页 > 操作系统 > 正文

如何查看MapReduce执行的程序中的输出日志

2020年02月13日 操作系统 ⁄ 共 646字 ⁄ 字号 评论关闭

我们开发程序的时候,好多人都喜欢用sysout输出内容来查看运行情况。但是在MR程序里写了之后,却不知道去哪里查找,可以参考这篇文章。

第一种方法,我们可以在MapReduce任务查看页面找到这些日志

1.在MapReduce任务查看页面找到任务,点击进入

2.在任务详情页最下面由执行了该任务的节点

3.在节点的web地址后面加上logs/userlogs就能看到application列表,选择自己要找的

4.依次查看container

5.从container进去之后就是最终要找的日志了

stderr:输出System.err输出的信息;stdout:输出System.out输出的信息syslog:输出日志工具(比如Slf4j,log4j)输出的信息


可以看出通过管理页面查找sysout日志是十分麻烦的,而且mapper和reducer的日志不在一起,如果有多个reducer的话查看起来更是不方便

我们的代码(mapper,reducer)是放到了Yarn上面去执行,Yarn的日志存放地址是在yarn-env.sh中配置的,如下

我们可以去节点上面查找;为了方便快捷 直接用脚本搞定

scanMRLog.sh

以上就上有关如何查看MapReduce执行的程序中的输出日志的相关介绍,要了解更多MapReduce,如何查看MapReduce执行的程序中的输出日志,编程,Linux编程,Linux Shell,Android,Android教程,JAVA,C语言,Python,HTML5内容请登录学步园。

抱歉!评论已关闭.