2
常用的端口配置
2.1
HDFS端口
|
参数 |
描述 |
默认 |
配置文件 |
例子值 |
|
fs.default.name namenode |
namenode RPC交互端口 |
8020 |
core-site.xml |
hdfs://master:8020/ |
|
dfs.http.address |
NameNode web管理端口 |
50070 |
hdfs- site.xml |
0.0.0.0:50070 |
|
dfs.datanode.address |
datanode 控制端口 |
50010 |
hdfs -site.xml |
0.0.0.0:50010 |
|
dfs.datanode.ipc.address |
datanode的RPC服务器地址和端口 |
50020 |
hdfs-site.xml |
0.0.0.0:50020 |
|
dfs.datanode.http.address |
datanode的HTTP服务器和端口 |
50075 |
hdfs-site.xml |
0.0.0.0:50075 |
2.2
MR端口
|
参数 |
描述 |
默认 |
配置文件 |
例子值 |
|
mapred.job.tracker |
job-tracker交互端口 |
8021 |
mapred-site.xml |
hdfs://master:8021/ |
|
job |
tracker的web管理端口 |
50030 |
mapred-site.xml |
0.0.0.0:50030 |
|
mapred.task.tracker.http.address |
task-tracker的HTTP端口 |
50060 |
mapred-site.xml |
0.0.0.0:50060 |
2.3
其它端口
|
参数 |
描述 |
默认 |
配置文件 |
例子值 |
|
dfs.secondary.http.address |
secondary NameNode web管理端口 |
50090 |
hdfs-site.xml |
0.0.0.0:50090 |
|
|
|
|
|
|
|
|
|
|
|
|
3
三个缺省配置参考文件说明
3.1
core-default.html
|
序号 |
参数名 |
参数值 |
参数说明 |
|
1 |
hadoop.tmp.dir |
/tmp/hadoop-${user.name} |
临时目录设定 |
|
2 |
hadoop.native.lib |
true |
使用本地hadoop库标识。 |
|
3 |
hadoop.http.filter.initializers |
|
http服务器过滤链设置 |
|
4 |
hadoop.security.group.mapping |
org.apache.hadoop.security.ShellBasedUnixGroupsMapping |
组内用户的列表的类设定 |
|
5 |
hadoop.security.authorization |
false |
服务端认证开启 |
|
6 |
hadoop.security.authentication |
simple |
无认证或认证设置 |
|
7 |
hadoop.security.token.service.use_ip |
true |
是否开启使用IP地址作为连接的开关 |
|
8 |
hadoop.logfile.size |
10000000 |
日志文件最大为10M |
|
9 |
hadoop.logfile.count |
10 |
日志文件数量为10个 |
|
10 |
io.file.buffer.size |
4096 |
流文件的缓冲区为4K |
|
11 |
io.bytes.per.checksum |
512 |
校验位数为512字节 |
|
12 |
io.skip.checksum.errors |
false |
校验出错后是抛出异常还是略过标识。True则略过。 |
|
13 |
io.compression.codecs |
org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec |
压缩和解压的方式设置 |
|
14 |
io.serializations |
org.apache.hadoop.io.serializer.WritableSerialization |
序例化和反序列化的类设定 |
|
15 |
fs.default.name |
file:/// |
缺省的文件URI标识设定。 |
|
16 |
fs.trash.interval |
0 |
文件废弃标识设定，0为禁止此功能 |
|
17 |
fs.file.impl |
org.apache.hadoop.fs.LocalFileSystem |
本地文件操作类设置 |
|
18 |
fs.hdfs.impl |
org.apache.hadoop.hdfs.DistributedFileSystem |
HDFS文件操作类设置 |
|
19 |
fs.s3.impl |
org.apache.hadoop.fs.s3.S3FileSystem |
S3文件操作类设置 |
|
20 |
fs.s3n.impl |
org.apache.hadoop.fs.s3native.NativeS3FileSystem |
S3文件本地操作类设置 |
|
21 |
fs.kfs.impl |
org.apache.hadoop.fs.kfs.KosmosFileSystem |
KFS文件操作类设置. |
|
22 |
fs.hftp.impl |
org.apache.hadoop.hdfs.HftpFileSystem |
HTTP方式操作文件设置 |
|
23 |
fs.hsftp.impl |
org.apache.hadoop.hdfs.HsftpFileSystem |
HTTPS方式操作文件设置 |
|
24 |
fs.webhdfs.impl |
org.apache.hadoop.hdfs.web.WebHdfsFileSystem |
WEB方式操作文件类设置 |
|
25 |
fs.ftp.impl |
org.apache.hadoop.fs.ftp.FTPFileSystem |
FTP文件操作类设置 |
|
26 |
fs.ramfs.impl |
org.apache.hadoop.fs.InMemoryFileSystem |
内存文件操作类设置 |
|
27 |
fs.har.impl |
org.apache.hadoop.fs.HarFileSystem |
压缩文件操作类设置. |
|
28 |
fs.har.impl.disable.cache |
true |
是否缓存har文件的标识设定 |
|
29 |
fs.checkpoint.dir |
${hadoop.tmp.dir}/dfs/namesecondary |
备份名称节点的存放目前录设置 |
|
30 |
fs.checkpoint.edits.dir |
${fs.checkpoint.dir} |
备份名称节点日志文件的存放目前录设置 |
|
31 |
fs.checkpoint.period |
3600 |
动态检查的间隔时间设置 |
|
32 |
fs.checkpoint.size |
67108864 |
日志文件大小为64M |
|
33 |
fs.s3.block.size |
67108864 |
写S3文件系统的块的大小为64M |
|
34 |
fs.s3.buffer.dir |
${hadoop.tmp.dir}/s3 |
S3文件数据的本地存放目录 |
|
35 |
fs.s3.maxRetries |
4 |
S3文件数据的偿试读写次数 |
|
36 |
fs.s3.sleepTimeSeconds |
10 |
S3文件偿试的间隔 |
|
37 |
local.cache.size |
10737418240 |
缓存大小设置为10GB |
|
38 |
io.seqfile.compress.blocksize |
1000000 |
压缩流式文件中的最小块数为100万 |
|
39 |
io.seqfile.lazydecompress |
true |
块是否需要压缩标识设定 |
|
40 |
io.seqfile.sorter.recordlimit |
1000000 |
内存中排序记录块类最小为100万 |
|
41 |
io.mapfile.bloom.size |
1048576 |
BloomMapFiler过滤量为1M |
|
42 |
io.mapfile.bloom.error.rate |
0.005 |
|
|
43 |
hadoop.util.hash.type |
murmur |
缺少hash方法为murmur |
|
44 |
ipc.client.idlethreshold |
4000 |
连接数据最小阀值为4000 |
|
45 |
ipc.client.kill.max |
10 |
一个客户端连接数最大值为10 |
|
46 |
ipc.client.connection.maxidletime |
10000 |
断开与服务器连接的时间最大为10秒 |
|
47 |
ipc.client.connect.max.retries |
10 |
建立与服务器连接的重试次数为10次 |
|
48 |
ipc.server.listen.queue.size |
128 |
接收客户连接的监听队例的长度为128 |
|
49 |
ipc.server.tcpnodelay |
false |
开启或关闭服务器端TCP连接算法 |
|
50 |
ipc.client.tcpnodelay |
false |
开启或关闭客户端TCP连接算法 |
|
51 |
webinterface.private.actions |
false |
Web交互的行为设定
|
|
52 |
hadoop.rpc.socket.factory.class.default |
org.apache.hadoop.net.StandardSocketFactory |
缺省的socket工厂类设置 |
|
53 |
hadoop.rpc.socket.factory.class.ClientProtocol |
|
与dfs连接时的缺省socket工厂类 |
|
54 |
hadoop.socks.server |
|
服务端的工厂类缺省设置为SocksSocketFactory. |
|
55 |
topology.node.switch.mapping.impl |
org.apache.hadoop.net.ScriptBasedMapping |
|
|
56 |
topology.script.file.name |