现在的位置: 首页 > 综合 > 正文

Greenplum数据库系统硬件配置介绍

2013年12月12日 ⁄ 综合 ⁄ 共 2245字 ⁄ 字号 评论关闭

Segment处理数据库中大多数的数据库进程,因此特别注意采用好的配置尽可能获得最好的greenplum数据库系统性能。

Greenplum数据库的性能由一组segment服务中最慢的segment决定; 因此要确保基本的运行greenplum数据的硬件与操作系统在同一个性能级别,同样建议在greenplum数据系统中的所有的segment机器有一样的资源与配置;

下面的示图给了一个greenplum数据库segment机器硬件堆栈的实例,在一个机器上的cpu数据决定部署多少个greenplum数据库segment;这个实例显示一个有两个cpu或一个双核cpu机器,注意一个有效的cpu只有一个主segment实例。

clip-image002.jpg

每一个cpu应该对应一个逻辑磁盘,一个逻辑磁盘由一组通过I/O通道或磁盘控制器访问一批物理磁盘的文件系统组成。逻辑磁盘与文件系统由操作系统提供。大多数操作系统有提供逻辑磁盘驱动一组RAID物理磁盘的能力;

clip-image004-thumb.jpg

最优的磁盘阵列方式:

在查询期间,在segment机器上的所有主segment实例用同样的模式同时访问数据,意思是说它们用同样的方式访问同样数量的数据。原因是
table上的数据均匀的分布到segment上,并且greenplum数据库的查询执行计划划分工作量到每一个segment上。

在一个segment机器上做磁盘阵列的目标是:

一台segment机器有一致的访问模式;

最大的segment并行数;

顺序存取数据;

其它要考虑的是:

性能与容量需求

数据安全性需求;

CPU的数量;

网络配置

有代表性的,用于greenplum数据库由一组带有多个网卡的硬件系统,greenplum数据库互联的性能由segment上的网卡的网络负载来提升。

为了区分一个机器上所有网卡的网络跨越负载,你必须配置机器上的每一块网卡,便于分配它自已的子网,一个子网分配一个常用的网络掩码和IP地址组
件,举一个例子,由从192.168.1.X开始的IP地址和网络掩码255.255.255.0的接口将是同一个子网,
参考网卡提供商的文档和操作系统指南配置每一个网络接口。

为了达到最好的性能,greenplum建议segment机器上的每一个主segment配一个网卡。如果用镜像,一个主/镜像对将分享一个网卡,为了greenplum数据库追加额外的扩展网卡,master同样需要四个网卡。

在每一个greenplum数据库segment机器上,你将为每个网卡创建不同的机器名;举一个例子:如个一个机器有四个网卡,那么它将有四个相
近的机器名,每一个机器名将映射到一个主segment实例,对master你也可以同样配置,然而当你初始化你的greenplum数据库时,只有一个
master机器名使用。

使用这个配置,操作系统的TCP/IP协议将选择最好的路径,为了最大的并行性greenplum数据库自动均衡负载网络终点。

多交换配置

如果在你的greenplum数据中使用多个千兆网络交换机,你将在交换机之间均衡的分配子网的数量。在我们的实例配置中,如果我们有两个交换机,
每个机器上的网卡1和2将用1号交换机,网卡3与4使用2号交换机,对于master机,绑定到网卡1的机器名是这个master的名子,因此,如果部署
一个热备master,这个热备master将用不同的脚换机与主master。

考虑与采购你自已的硬件

Segment机器硬件

CPU

为了达到最优的性能,考虑用双核的CPU。一个双核CPU本质上是在一个微处理芯片上的两个独立的处理器,当处理多线程的应用时,两个处理器能够剩
过一个单核处理器,一个应用有多个软件线程,比如greenplum数据库,将运行得更快在双核的处理器上,因为操作系统能够分配单个线程在每一个处理器
上,一个机器上CPU的数量决定部团到机器上的greenplum数据库segment实例的数量,推荐是一个主segment(或主/镜像对)一个
CPU(或core)。

文件系统

每一个CPU应当与一个逻辑磁盘对应,在逻辑磁盘上,主数据与镜像数据应该放在不同的文件系统上,主数据文件系统可以使用磁盘最快的部分,如果在linux上使用XFS,多个segment实例在没有性能省失的情况下分享一个文件系统。

Greenplum数据库能够很好的运行在传统的UNIX文件系统上,比如BSD/UFS/FFS文件系统上,很多操作系统支持,在linux操作系统上,XFS是被推荐的,在solaris操作系统上,ZFS是被推荐的。

磁盘与I/O带宽

为了获得更大的带宽你将尽可能的获取更多的物理磁盘数量。考虑磁盘不仅仅使用时间速度(RPMs),而且要有高的持续不变的内部带宽(64M/s或更大)。

确认你选择的磁盘控制器能够包括磁盘带宽之和。举一个例子,如果你有8个有65M/s内部带宽的磁盘,为了获得磁盘最的性能你将需要能支持最少
520M/s的磁盘控制器,举一个例子,一个SATA RAID卡能够对付800M/s;一个SCSI
U320通道能对付320M/s。greenplum推荐SATA2硬件RAID控制器,如果用一个SCSI接口,为了获得更好的I/O应该考虑控制卡有
多个I/O通道。

内存

通用的原则是内存越大越好。

网络

Greenplum推荐每一个segment机器至少两个千兆网卡,从网络带宽来说,你应当计划磁盘带宽与网络带宽之比为5:1的比率。为了得到更好的性能,考虑在一个segment机器上一个网卡一个主segment实例。

抱歉!评论已关闭.