现在的位置: 首页 > 综合 > 正文

hdfs文件乱码问题

2018年05月20日 ⁄ 综合 ⁄ 共 339字 ⁄ 字号 评论关闭

以前没怎么重视博客,作为一名码农,在技术的路上总会有所收获以及失败的教训,可惜以前没能好好整理出来。最近开始研究hadoop,打算探索探索大数据、云计算领域,再次找回点学习新东西的激情,同时也要将新的旅程所想所得所悟的东西记录下来,作为这一路的见证!

这两天搭好hadoop为分布式集群后,开始试着编写下MapReduce程序,做到第二个例子(算出每个人的平均成绩)时,由于文件中的名字都是中文,我WIINSCP中编写这些的时候没有设置编码格式(必须要是UTF-8)导致传送到hdfs中时出现了乱码,因此这么运行都不能得到正确结果,在输出文件中始终只有一条记录还是乱码的。修改编码格式后问题就解决了。所以大家一定要注意linux中的文件编码格式要设置为UTF-8才能避免中文乱码。

抱歉!评论已关闭.