现在的位置: 首页 > 综合 > 正文

NoSQL 数据库 简介

2012年11月10日 ⁄ 综合 ⁄ 共 5609字 ⁄ 字号 评论关闭


. 
NoSQL

概念

 

      

开源的数据库用的最多的是
PostgreSQL

MySQL

关于这
2
者的对比,参考我的
Blog


      
MySQL



PostgreSQL
对比

      

http://blog.csdn.net/tianlesoftware/archive/2011/04/29/6371498.aspx

 

      
NoSQL

它指的是一个整体的概念,在
2009
年被提了出来。

部分

NoSQL

据库都是开源的。

NoSQL
最常见的解释是
“non-relational”

“Not Only SQL”

“NoSQL”
一词最早于
1998
年被用于一个轻量级的关系数据库的名字。

 

 
NoSQL
不使用传统的关系数据库模型

而是使用如

key-value
存储、文档型的、列存储、图型数据库、
xml
等方式存储数据的模型统称。
其中用的最多的是:
key-value

存储。

 

      

之所以不使用传统的范式,主要是在于它们存储数据的方式发生了变化。

      

例如
,当你需要存储发票的数据时,在传统的关系数据模型中,需要设计表的结构,然后使用服务器端语言将其转化为实体对象,再传递到用户端
(
这就是所谓的
ORM
对象关系映射
)
,而在
NoSQL
中,你只要保存发票数据就可以了。
      
NoSQL

不需要预
先设计表和结构就可以储存新的数值

。当然,
NoSQL
不是万能。如果项目中要保存的数据
的确需要关系型数据库模型才能完成,那么应该坚持使用关系型数据库。


 

  
NoSQL
的出现主要是为了解决数据库读写性能的问题,随着越来越庞大的
Web
应用系统的出现,如
SNS,
微博等应用需要大量对数据进行读和
写,并且要求进行分布式的部署,而传统的关系数据模型在大数据访问量和分布式环境下,由于关系模型中经常要对多表进行连接操作,因此性能有时会有所降低,
所以

NoSQL

强调的是非关系型数据,

NoSQL
数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。


      

      

目前,
Google

BigTable

Amazon

Dynamo
是非常成功的商业
NoSQL
实现。一些开源的
NoSQL
体系,如
Facebook

Cassandra

Apache

HBase
,也得到了广泛认同。

 

传统关系数据库的瓶颈

      

传统的关系数据库具有不错的性能,高稳定型,久经历史考验,而且使用简单,功能强大,同时也积累了大
量的成功案例。在互联网领域,

MySQL
成为了绝对靠前的王者,
MySQL
为互联网的发展做出了卓越的贡献。

      


90
年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付。在那个时候,更多的都是静态网
页,动态交互类型的网站不多。


      

到了最近
10
年,网站开始快速发展。火爆的论坛、博客、
sns
、微博逐渐引领
web
领域的潮流。

 

Memcached+MySQL

      

后来,随着访问量的上升,几乎大部分使用
MySQL
架构的网站在数据库上都开始出现了性能问题,
web
程序不再仅仅专注在功能上,同时也在追求性能。


程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继
续增大的时候,多台

web
机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的
IO
压力。在这个时候,
Memcached
就自然的成为一个非常时尚的技术产品。

      
Memcached

作为一个独立的分布式的缓存服务器,为多个
web
服务器提供了一个共享的高性能缓存服务,

Memcached
服务器上,又发展了根据
hash
算法来进行多台
Memcached
缓存服务的扩展,然后又
出现了一致性

hash
来解决增加或减少缓存服务器导致重新
hash
带来的大量缓存失效的弊端。

 

Mysql
主从读写分离

      

由于数据库的写入压力增加,
Memcached
只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制
技术来达到读写分离,以提高读写性能和读库的可扩展性。

Mysql

master-slave
模式成为这个时候的网站标配了。

 

分表分库

      

随着
web2.0
的继续高速发展,在
Memcached
的高速缓存,
MySQL
的主从复制,读写分离的基础之上,这时
MySQL
主库的写压力开始出现瓶颈,而数据量的持续猛增,由于

MyISAM
使用表锁
,在高并发下会出现严重的锁问题,大量的高并


MySQL
应用开始使用
InnoDB
引擎代替
MyISAM
。同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门
技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,

MySQL
推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。
     

虽然
MySQL
推出了
MySQL Cluster
集群,但是由于在互联网几乎没有成功案例,性能也不能满足互联网的要求,只是在高可靠性上提供了非
常大的保证。


 

MySQL
的扩展性瓶颈

      

在互联网,大部分的
MySQL
都应该是
IO
密集型的,事实上,如果你的
MySQL
是个
CPU
密集型的话,那么很可能你的
MySQL
设计得有性能问题,需要优化了。大数据量高并发环境下的
MySQL
应用开发越来越复杂,也越来越具有
技术挑战性。分表分库的规则把握都是需要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性,但是避免不了整个架构的
复杂性。分库分表的子库到一定阶段又面临扩展问题。还有就是需求的变更,可能又需要一种新的分库方式。


      
MySQL

数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容
易快速恢复数据库。比如

1000

4KB
大小的文本就接近
40GB
的大小,如果能把这些数据从
MySQL
省去,
MySQL
将变得非常的小。

      

关系数据库很强大,但是它并不能很好的应付所有的应用场景。
MySQL
的扩展性差(需要复杂的技术来实
现),大数据下

IO

力大,表结构更改困难,正是当前使用

MySQL
的开发人员面临的问题。

 

NOSQL
的优势


1
)易扩展

      
NoSQL

数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容
易扩展。也无形之间,在架构的层面上带来了可扩展的能力。


 


2
)大数据量,高性


      
NoSQL

数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀
。这得益于它的无关系性,数据库的结构简单。一般
MySQL
使用
Query Cache
,每次表的更新
Cache
就失效,是一种大粒度的
Cache
,在针对
web2.0
的交互频繁的应用,
Cache
性能不高。

NoSQL

Cache
是记录级的,是一种细粒度的
Cache
,所以
NoSQL
在这个层面上来说就要性能高很多
了。


 


3
)灵活的数据模型

      
NoSQL

无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件
非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的

web2.0
时代尤其明显。

 


4
)高可用

      
NoSQL

在不太影响性能的情况,就可以方便的实现高可用的架构。比如
Cassandra

HBase
模型,通过复制模型也能实现高可
用。


 

 


.  
NoSQL

的选择

 

NoSQL
的分类

      
NoSQL

仅仅是一个概念,
NoSQL
数据库根据数据的存储模型和特点分为很多种类。

 

类型

部分代表

特点

列存储

Hbase

Cassandra

Hypertable

顾名思义,是按列存储数据的。最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某
一列或者某几列的查询有非常大的

IO
优势。

文档存储

MongoDB

CouchDB

文档存储一般用类似
json
的格式存储,存储的内容是文档型的。这样也就有有机会对某些字段建立索引,实现关系数据库的某些功
能。


key-value
存储

Tokyo Cabinet / Tyrant

Berkeley DB

MemcacheDB

Redis

可以通过
key
快速查询到其
value
。一般来说,存储不管
value
的格式,照单全收。(
Redis
包含了其他功能)

图存储

Neo4J

FlockDB

图形关系的最佳存储。使用传统关系数据库来解决的话性能低下,而且设计使用不方便。

对象存储

db4o

Versant

通过类似面向对象语言的语法操作数据库,通过对象的方式存取数据。

xml
数据库

Berkeley DB XML

BaseX

高效的存储
XML
数据,并支持
XML
的内部查询语法,比如
XQuery,Xpath


 

      

以上
NoSQL
数据库类型的划分并不是绝对,只是从存储模型上来进行的大体划分。它们之间没有绝对的分界,也有交差
的情况,比如

Tokyo Cabinet / Tyrant

Table
类型存储,就可以理解为是文档型存储,
Berkeley
DB XML

数据库是基于
Berkeley DB
之上开发的。

 

选择合适的
NoSQL

      

如此多类型的
NoSQL
,而每种类型的
NoSQL
又有很多,选择也可能有多种,随着业务场景,需求的变更可能选择又会变化。我们常常需要根据如下情
况考虑:


(1).
     


数据结构特点。包括结构化、半结
构化、字段是否可能变更、是否有大文本字段、数据字段是否可能变化。


(2).
     


写入特点。包括
insert
比例、
update
比例、是否经常更新数据的某一
个小字段、原子更新需求。


(3).
     


查询特点。包括查询的条件、查询
热点的范围。比如用户信息的查询,可能就是随机的,而新闻的查询就是按照时间,越新的越频繁。


 

NoSQL
和关系数据库结合

      

如果关系数据库在你的应用场景中,完全能够很好的工作,而你又是非常善于使用和维护关系数据库的,那
么我觉得你完全没有必要迁移到

NoSQL
上面,除非你是个喜欢折腾的人。如果你是在金融,电信等以数据为王的关键领域,目前使用的是
Oracle
数据库来提供高可靠性的,除非
遇到特别大的瓶颈,不然也别贸然尝试

NoSQL


      

然而,在
WEB2.0
的网站中,关系数据库大部分都出现了瓶颈。在磁盘
IO
、数据库可扩展上都花费了开发人员相当多
的精力来优化,比如做分表分库(

database sharding
)、主从复制、异构复制等等,然而,这些工作需要的技术能力越来越高,也越来越具有挑战性。如果你正
在经历这些场合,那么我觉得你应该尝试一下

NoSQL
了。

 

      

其实
NoSQL
数据库仅
仅是关系数据库在某些方面(性能,扩展)的一个弥补,单从功能上讲,

NoSQL
的几乎所
有的功能,在关系数据库上都能够满足,所以选择

NoSQL
的原因并不在功能上。

 

      

所以,我们一般会把
NoSQL
和关系数据库进行结合使用,各取所长,需要使用关系特性的时候我们使用关系数据库,需要使用
NoSQL
特性的时候我们使用
NoSQL
数据库,各得其所。

 

      

举个简单的例子,比如用户评论的存储,评论大概有主键
id
、评论的对象
aid
、评论内容
content
、用户
uid
等字段。我们能确定的是评论内容
content
肯定不会在数据库中用
where content=’’
查询,评
论内容也是一个大文本字段。那么我们可以把

主键
id
、评论对象
aid
、用户
id
存储在数据库,评论内容存储在
NoSQL
,这样数据库就节省了存储
content
占用的磁盘空间,从而节省大

IO
,对
content
也更容易做
Cache


 

//

MySQL
中查询出评论主键
id




commentIds=DB.query("SELECT id FROM comments where aid='
评论对象
id' LIMIT
0,20");


//
根据主键
id
列表,从
NoSQL
取回评论实体数据


CommentsList=NoSQL.get(commentIds);

 

NoSQL
代替
MySQL

      

在某些应用场合,比如一些配置的关系键值映射存储、用户名和密码的存储、
Session
会话存储等等,用
NoSQL
完全可以替代
MySQL
存储。不但具有更高的性能,而且
开发也更加方便。


 

NoSQL
作为缓存服务器

      
MySQL+Memcached

的架构中,我们处处都要精心设计我们的缓存,包括过期时间的设计、缓存的实时性设计、缓存内存大小评
估、缓存命中率等等。


      
NoSQL

数据库一般都具有非常高的性能,在大多数场景下面,你不必再考虑在代码层为
NoSQL
构建一层
Memcached
缓存。
NoSQL
数据本身在
Cache
上已经做了相当多的优化工作。

      
Memcached

这类内存缓存服务器缓存的数据大小受限于内存大小,如果用
NoSQL
来代替
Memcached
来缓存数据库的话,就可以
不再受限于内存大小。虽然可能有少量的磁盘

IO
读写,可能比
Memcached
慢一点,但是完全可以用来缓存数据库的查询操作。

 

规避风险

      

由于
NoSQL
是一个比较新的东西,特别是我们选择的
NoSQL
数据库还不是非常成熟的产品,所以我们可能会遇到未知的风险。

      

为了得到
NoSQL
的好处,又要考虑规避风险,


现在业内很多公司的做法就是数据的备
份。在往

NoSQL

面存储数据的时候还会往

MySQL
里面存储一份。
NoSQL
数据库本身也需要进行备份(冷备和热备)。或者可以考虑使用两种
NoSQL
数据库,出现问题后可以进行切换
(避免出现

digg
使

Cassandra
的悲剧)。

 

 

原文地址:http://blog.csdn.net/tianlesoftware/archive/2011/04/29/6371897.aspx

【上篇】
【下篇】

抱歉!评论已关闭.