资料整理
----------------------------------------------------------------------------------------------------------
Hadoop Wiki：
http://wiki.apache.org/hadoop/
Hadoop部署教程： http://cn.hadoop.org/?p=21
HDFS Architecture： http://hadoop.apache.org/common/docs/current/hdfs_design.html
Google Mapreduce 论文：
MapReduce: Simplified Data Processing on Large Clusters
速查手册
----------------------------------------------------------------------------------------------------------
1.查看hadoop的状态。
$ bin/hadoop dfsadmin -report
web方式查看： http://name.node.addr:50070/, http://job.tracker.addr:50030/
2.添加新节点。
配置好slave node,并在slave node上启动datanode和tasktracker：
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker
3.HiveServer启动。
为了使用JDBC连接Hive数据库，需要先启动HiveServer。默认使用10000端口。
$ bin/hive --service hiveserver
部署经验
----------------------------------------------------------------------------------------------------------
1.网上资料都强调使用主机名或域名进行部署，使用IP可能会出问题。
2.start-all的时候出现Name and service not known，无法启动DataNode。尚未解决。尝试在slaves文件中使用IP或域名。
3.出现端口冲突，检查是否有尚未停掉的Hadoop进程。
4.start-all的时候显示DataNode已启动，但DataNode未连接，log显示Server at [host:port] not available yet, Zzzzz...说明NameNode已连接到DataNode，但是DataNode不能连接回来。检查master文件和fs.default.name设置是否正确。尝试使用IP或域名。fs.default.name的格式为hdfs://[host]:[port]/
5.hive能启动，并且能创建table，并不代表Hadoop正确部署。我遇到一次能够load data，能够select *（没有mapreduce操作）。但是select count(1)就出现dfs错误。尚未解决。应该是mapreduce的tasktracker工作不正常。
6.新添加一个节点到集群当中时，HDFS不会自动地移动文件块到新节点当中去平衡磁盘空间。然而，新创建的文件将会使用新节点的磁盘。
有几种方法可以手动进行平衡。1）将文件复制一份，然后删掉源文件。2）将磁盘块满的节点关掉，然后等待直到文件块自动复制完成，再把节点加回去。这样，冗余数量变得过多，系统将会随机删去多余的冗余。3）运行bin/start-balancer.sh命令。
7.配置Hadoop的时候有许多路径要配置，其中一些是本地路径，而一些是HDFS的路径。