现在的位置: 首页 > 综合 > 正文

hadoop中Map的输出文件命名与分片次序一致

2014年10月03日 ⁄ 综合 ⁄ 共 261字 ⁄ 字号 评论关闭

从后往前加

:getSpilit源码

        while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
          String[] splitHosts = getSplitHosts(blkLocations,
              length-bytesRemaining, splitSize, clusterMap);
          splits.add(new FileSplit(path, length-bytesRemaining, splitSize,
              splitHosts));
          bytesRemaining -= splitSize;
        }

抱歉!评论已关闭.