现在的位置: 首页 > 综合 > 正文

HBase的hbase.rpc.timeout参数引起的问题

2013年08月15日 ⁄ 综合 ⁄ 共 1382字 ⁄ 字号 评论关闭
在高并发压力测试时,发现对一个reginserver做scan操作的时,regionserver中偶尔会输出下面的错误:
2013-02-21 09:50:33,328 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcher.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:21)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:198)
        at sun.nio.ch.IOUtil.read(IOUtil.java:171)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:243)
        at org.apache.hadoop.hbase.ipc.HBaseServer.channelRead(HBaseServer.java:1731)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Connection.readAndProcess(HBaseServer.java:1137)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Listener.doRead(HBaseServer.java:722)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Listener$Reader.doRunLoop(HBaseServer.java:513)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Listener$Reader.run(HBaseServer.java:488)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
 
这个错误的引起的原因是,hbase client中的默认的rpc超时时间为60s,在高并发的时,有些请求没有得到及时处理返回,超过了时间间隔。
可以在客户端更改这个默认值hbase.rpc.timeout,客户端主动关闭了这个socket。regionserver listener线程从channel中读取的时,就会出现以上的错误。
 

抱歉!评论已关闭.