现在的位置: 首页 > 综合 > 正文

Hadoop学习笔记(11)-集群不稳定问题一例(内存不稳定)

2018年05月18日 ⁄ 综合 ⁄ 共 204字 ⁄ 字号 评论关闭

集群中有一台机器不稳定,在运行mapreduce和bsp任务时经常会出现IO错误,比如读取文本文件时,会出现只读出半行或者少量乱码的问题。在使用rdf3x的时候,load数据时也会出错。平时那台机器似乎又没什么异常。

一直以为是硬盘的问题,排查了很久,最后发现是内存的问题,换了内存就好了。

使用普通台式机(不带内存ECC校验)搭建集群的童鞋一定要注意,集群出现IO错误不一定是磁盘的问题,内存也是怀疑对象之一。

抱歉!评论已关闭.