现在的位置: 首页 > 综合 > 正文

BI笔记:增量方式处理多维数据集

2013年10月06日 ⁄ 综合 ⁄ 共 868字 ⁄ 字号 评论关闭

本文将模拟一个数据仓库系统,其中有用户数据,产品数据以及订单数据。根据这些数据结构建立多维数据集,并且以增量更新的方式对其进行处理。

之所以强调增量的方式,是考虑到事实表中数据的增长,假设以后增长到几十亿,全量处理就变得很不现实,所以方案中着重演示以增量方式处理多维数据集的方案。

增量处理多维数据集的关键是要将事实数据分为两部分处理,一个是增量事实表,一个是历史事实表,多维数据集第一次处理历史事实表中的数据,以后每次周期性的处理都是处理增量表中的数据。

本文中提及的SQLServer和Visual Studio都是2008版本,2005版本同样也适用。

数据假设:一张用户表,一张产品表,一张订单表,订单里记录的是谁买了什么。多维数据集统计的需求就是根据订单统计谁买过什么。

 

由于多图文章,详见:BI笔记:增量方式处理多维数据集 ,讲的很不错.

 

通过以上透视表可以清晰的看到谁买了什么样的产品。

再次运行Rubbish往增量表里灌几条数据,然后重新运行此SSIS包,可以发现新增的数据已经被聚合到多维数据集中了,注意处理的方式是增量的。

本文提及的数据结构模型都很简单,主要介绍的是多维数据集处理的流程以及方法,重点阐述增量部分的方案,以及需要注意的问题。希望有知道更好方法的兄弟一起交流探讨。

 

本文提及的相关数据库,项目文件以及程序下载

 

FAQ:

1.增量数据是怎么来的?

笔者个人认为这个需要跟业务系统配合来做,比如加入触发器等。或者通过时间戳,到业务系统中能提取到。

2.如果有更新和删除怎么办?

通常是在本文提到的方案之上,再加一个度量值位,标识为1,代表新增。对于删除的记录,实际上是加入了一个同样的记录,并且表示为为-1。更新则是加入了两条记录,一条记录为-1跟删除差不多,一条就为1代表修改后的记录,三个一样的记录靠时间戳来标记哪一个是修改后的记录。主要就是以这个标识位作为度量进行统计。

---------------------------------------------------------------

来自博客园aspnetx

抱歉!评论已关闭.