现在的位置: 首页 > 综合 > 正文

hadoop学习笔记(6)-别拿Hadoop map key当id使

2018年05月18日 ⁄ 综合 ⁄ 共 126字 ⁄ 字号 评论关闭

在写mapreduce时,发现一个问题:

hadoop的map函数的key一般是输入文件的行号,于是乎就希望把这个当作一个unique id来用,但是确出了很严重的问题,在分布式集群中,不同map任务中可能会有很多相同的行号,千万不能把这个key当作id.

抱歉!评论已关闭.