现在的位置: 首页 > 综合 > 正文

Hbase深入学习(五) 命令及查看状态

2013年01月03日 ⁄ 综合 ⁄ 共 2032字 ⁄ 字号 评论关闭

Hbase深入学习() ―― 命令及查看状态

HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作。

HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行的一些状态,非常轻巧。

HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式,这样方面读写你的大数据内容。

HBase是介于Map Entry(key &value)和DB Row之间的一种数据存储方式。就点有点类似于现在流行的Memcache,但不仅仅是简单的一个key对应一个 value,你很可能需要存储多个属性的数据结构,但没有传统数据库表中那么多的关联关系,这就是所谓的松散数据。

简单来说,你在HBase中的表创建的可以看做是一张很大的表,而这个表的属性可以根据需求去动态增加,在HBase中没有表与表之间关联查询。你只需要 告诉你的数据存储到Hbase的那个column families 就可以了,不需要指定它的具体类型:char,varchar,int,tinyint,text等等。但是你需要注意HBase中不包含事务此类的功 能。

Apache HBase 和Google Bigtable 有非常相似的地方,一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的,因此用户可以给行定义各种不同的列,对于这样的功能在大项目中非常实用,可以简化设计和升级的成本。

$ bin/hbase rest start

启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.

Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。

    Chukwa 是基于Hadoop集群中监控系统,简单来说就是一个“看门狗” (WatchDog)

    Hive 是DataWareHouse 和 Map Reduce交集,适用于ETL方面的工作。

    HBase 是一个面向列的分布式数据库。

    Map Reduce 是Google提出的一种算法,用于超大型数据集的并行运算。

    HDFS 可以支持千万级的大型分布式文件系统。

    Zookeeper 提供的功能包括:配置维护、名字服务、分布式同步、组服务等,用于分布式系统的可靠协调系统。

    Avro 是一个数据序列化系统,设计用于支持大批量数据交换的应用。

可以访问以下网站查看hbase服务状态及master等等信息,

http://retailvm1d.nam.nsroot.net:60010/zk.jsp

HBase is rooted at /hbase
Active master address: retailvm1d,39706,1377502441684
Backup master addresses:
Region server holding ROOT: retailvm1d,38110,1377502442130
Region servers:
 retailvm1d,38110,1377502442130
Quorum Server Statistics:
 localhost:2181
  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
  Clients:
   /127.0.0.1:36679[1](queued=0,recved=441,sent=448)
   /127.0.0.1:36681[1](queued=0,recved=502,sent=503)
   /127.0.0.1:36678[1](queued=0,recved=521,sent=543)
   /127.0.0.1:37218[0](queued=0,recved=1,sent=0)
  
  Latency min/avg/max: 0/0/159
  Received: 1533
  Sent: 1562
  Connections: 4
  Outstanding: 0
  Zxid: 0x49
  Mode: standalone
  Node count: 23

 

列存储不同于传统的关系型数据库,其数据在表中是按行存储的,列方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,因 此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量,一个字段的数据聚集存储,那就 更容易为这种聚集存储设计更好的压缩/解压算法。

抱歉!评论已关闭.