现在用的 hadoop 的版本是 0.20.2-cdh3u6。 cdh 是 Cloudera 的开源版本。
使用 local 模式的时候，会出现几个错误，记录如下：
1. java.lang.NullPointerException 异常
1
2
3
4
5
6
7
java.lang.Exception: java.lang.NullPointerException
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:349)
Caused by: java.lang.NullPointerException
at org.apache.hadoop.mapred.pipes...
阅读全文
有的时候，我们在 hadoop 上的输入可能不是一些基于行的文本，是希望自定义一些结构化的数据。这种情况，一般会选用工具将结构化的数据序列化成字节流，存储在磁盘上。然后在 maper 中读取进来，反序列化即可得到原来的数据。
我们使用 google protobuf 作为这种结构化的信息传递的工具。
首先可以先定义 person.proto 文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
...
阅读全文