支持增量式数据仓库建设的多维数据模型
付燕燕,蒋代梅,周小兵
(北京工业大学 计算机学院,北京 !"""##)
摘 要:由于数据仓库很难做到从建模初期就完全考虑到多维分析的所有维及其层次,需要一个易于实现模式
演变的数据模型及建模工具来支持增量式数据仓库的建设,因而提出了一个可以支持模式演变的数据模型,并
给出其形式定义及在关系数据库上的设计与实现 $ 该模型将数据立方体与复杂维模式分开并将度量维度化,其
简单灵活的多维数据立方体结构有效地避免了因度量或维路径层次增减造成的数据立方体重建,在实际应用中
取得了良好的效果,满足了复杂多样、不断变化的 %&’(()*+,-*. /*/,01-2/, 34)-*6)需求 $
关键词:数据仓库;数据模型;多维数据库;多维立方体
中图分类号:7( 8!! 文献标识码:’ 文章编号:"#9: ; ""8<(#""9)": ; "8== ; ">
收稿日期:#"":+!"+8"$
作者简介:付燕燕(!=<= ;),女,辽宁本溪人,助教 $
基于数据仓库[!](?/1/ @/)B5.)的 %&’([#]()*+,-*. /*/,01-2/, 34)-*6)技术要求维及层次在数据仓库
建模初期就完全考虑到,这往往很难做到 ! 某些解决方案中提到的虚拟维和层的技术只能解决部分问题 !
因此,需要一个易于实现模式演变的数据模型及建模工具来支持增量式数据仓库的建设 !
数据模型是数据仓库研究的核心问题[8],早期提出的数据模型中没有维层次结构[:],而后的讨论强调
维层次,定义了具有复杂维层次结构的多维数据立方体[:]及其上的运算[8]! 这些模型虽然能够较充分地
表达数据仓库的复杂数据结构和语义,但由于数据立方体建立在复杂维结构之上,难于支持模式的演变 !
现有的大多数数据模型将数据集合的属性分为维和度量 #类[8],例如在基于关系的星型 "雪花模型中,增
加一个度量必须修改事实表的结构 !
分析比较这些数据模型优缺点后,作者提出了一种较灵活的多维数据模型,并讨论了该模型在关系数
据库上的实现 !
! 问题的提出
!"! 度量的设计
没有一个通用规则决定哪一种属性应是维,哪一种属性应是度量属性[9]! 在实际应用中,度量的种类
很多,各自并非完全独立,许多度量之间存在某种逻辑关系 ! 将传统意义上的度量进行归纳,提取其共性,
转化为维度,使多个度量转化为 !个度量 !
以财务主题为例(见图 !),有“时间”、“部门”、“科目”维,及“借方本期发生金额”、“贷方本期发生金
额”、“借方累计发生金额”、“贷方累计发生金额”等度量(图 !(/))! 分析度量属性,发现它们可由“借贷标
志”(借方、贷方)和“金额类别”(发生金额、累计金额等)的笛卡儿集表示 ! 抽取“借贷标志”形成一维,度量
种类减少 ! " #(图 !(C));再将“金额类别”转化成维(图 !(2)),度量种类变为 !个,即“金额”! 两维进行组
合可以得到相当于原度量属性的财务指标 !
将度量维度化有很多好处:!)多个度量变 !个度量,使数据模型大大简化(参见第 #节);#)使增减度
量由数据模式(结构)的修改变成数据的增减;8)利用维模式展现度量之间固有的多维和层次逻辑,从而
更科学地管理度量,实现更灵活、更智能的 %&’( !
第 8!卷 第 :期
#""9年 <月
北 京 工 业 大 学 学 报
D%EFG’& %H IJKDKGL EGKMJFNK7O %H 7JPQG%&%LO
M),$8! G)$:
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
DB, $ #""9
图 ! 模型的改造
"#$%! &’()*’+ ),’*,)-)./
!"# 维度的共享
在一个领域内进行多维分析时,多个主题中可能会出现相同的维度 ! 如分散管理,容易造成数据不一
致 ! 因此,本文对维度及其所有可能的向上综合路径的设计采取了统一管理、共享维度的观点,将维度的
管理从数据立方体提升到整个数据仓库的层面,为维的引用和演变提供了很大的方便 !
图 0 数据立方体的类与维之间的关系
"#$%0 1)*2/#’.+3#4 5)/6)). (2/2 785)’+ 3#)92973: 2.( (#-).+#’.
!"$ 维层次与数据立方体
在许多 ;<=>建模工具中,数据立方体的定义与维层次绑定在一起,在 ;<=>中对维路径的引用通常
是自上而下的,即从粗粒度到细粒度 ! 实际上,在数据仓库早期设计阶段,许多数据综合的需求是不清楚
的,但可以确定数据的粒度,即维路径的最下层,可以根据需要从各个角度向上进行综合 ! 因此本文认为
维模式的设计是一个自下而上的过程,也是随着 ;<=>应用不断完善的过程 !
为避免维模式演变过程中数据立方体的反复重建和查询程序的反复修改,本文将数据立方体模式定
义与复杂维模式分开,一个数据立方体中的一维仅对应维模式中某一维的某一条路径的某一个层次 ! 如
图 0所示“客户主题”的一个立方体在客户维只包含客户单店,当增加客户总店(或客户业态)的综合需求
时,可以沿维路径直接计算(相当于虚拟层),也可以将计算结果实体化[?](生成另一个立方体)! 通过共享
维度管理,维模式中的每个层次节点都有全局唯一标识,因此立方体中的数据的引用不需要自上而下的路
径限定 !
@@? 北 京 工 业 大 学 学 报 0@@A年
! 数据模型
作者借鉴文献[!,"],给出了一个体现上述特点的多维数据模型 !
!"# 维、维层次和类
定义 # 设!#{"$,"%,⋯,"#}是一个有限集族,"$($! $!#)是任意集合,"是如下定义的二元关
系:对于!中任意集合 "$ 和 "%,如果存在 $个函数 &:"#"%("是 "$ 的划分),则称 "$ 和 "% 满足",记作 "$
""%,& 称为分组(聚集)函数 ! 如果"满足下列条件,则称"为!上的聚集关系:对于!中任意集合 "$ 和
"%,如果 "$""%,"%""$,则 "$ # "% !
引理 # 集族!上的聚集关系"是一个偏序 !
证明:略 !
为了方便讨论,增加 $个元素 &’’ #{())}对应于全体 !
定义 ! 集族!的扩充!* #!${&’’}! 若"是!上的偏序关系,则 &’’是(!*,")上的最大元 !
以下称"为聚集偏序,称(!*,")为聚集偏序集族 ! 在数据仓库中,聚集偏序规定了数据集合的抽象
级别,&’’在聚集偏序集族中具有最高抽象级别 ! 为了方便讨论,如不作特殊声明,!表示!* !
定义 $ $个维是 $个聚集偏序集族,’ #(!,")定义了维的路径和层次结构 ! 集族!#{"$,"%,⋯,
"(},!中存在 $个聚集偏序",!中的集合 "$($! $!()称为维 ’ 的一个维层次属性,称之为类 !
例如,前面提到的客户维及其 +个类:客户柜组、客户单店、客户总店、客户集团、客户业态 !
定义 % ’ #(!,")是一个维 ! 如果下列条件成立,则{"$,"%,⋯,"(,&’’}%!称为维 ’ 的一个层次
链(记作 "$""%"⋯""("&’’):$)"$""%"⋯""("&’’;%)!中不存在满足条件 $)的子集合#&{"$,
"%,⋯,"(,&’’}!
例如,‘客户柜组"客户单店"客户总店"客户集团’是一条层次链,‘客户柜组"客户单店"客户业
态’是另一条层次链 !
!"! 数据立方体和多维数据库
定义 & $个 ) 维数据立方体是 $个 +元组 * #(’,+,,,-,(,,-),其中:$)’ #{’$,’%,⋯⋯,’)},)
. /,是维的集合,其中 ’$ #(!$,"),($! $!)),是上面定义的维;%)+ #{+$,+%,⋯⋯,+)},) . /,+$($!
$!))表示维 ’$ 的一个层次属性(类),即对于任意 $! $!),+$’!$;012(+)# 012(+$)3⋯ 3 012(+)),
其中 012(+$)是类 +$ 的值域;!), 称为度量属性,012(,)是度量的域,通常为数值;")函数 -:012
(+)#012(,),是 012(+)到 012(,)上的部分映射;+)(,,-是 012(,)上的聚集函数 !
与其他模型不同的是只有 $个度量属性,且 - 不是 012(’)#012(,),这种简化的数据立方体结构
便于度量的增减和维模式的变化 !
定义 ’ ) 维数据立方体集 . #{*$,*%,⋯,*#},其中 *$ #(’,+$,, $,- $,(,,-$),($! $!#),是上面
定义的 ) 维数据立方体,即 . 是具有相同维集合’ 的 ) 维数据立方体的集合 !
这里规定了多个数据立方体可以共享同一个维模式(’)!
定义 ( 多维数据库 04#(’.,*.),其中:$)’. #{’$,’%,⋯⋯,’/},称为维集合,’0($! 0! /)是
维;%)*. #{*$,*%,⋯⋯,*1},称为数据立方体集合;!)*2 #(’2,+2,, 2,- 2,(,,-2),($!2! 1)是多维数
据立方体,其中 ’2%%’. !
!"$ 多维计算
定义 )(切片 5)678) * #(’,+,,,-,(,,-),+ #{+$,+%,⋯,+$,⋯,+)},通常认为切片操作就是在多
维立方体的某一类上取定值,因此,在 * 的第 $ 类上的切片操作表示为 5)678(*,+$ # 3$)#(’,+5)678,
$/"第 "期 付燕燕等:支持增量式数据仓库建设的多维数据模型
!!"#$%,",&’’(),#!"#$% ){#*,#+,⋯,$%,⋯,#&}’ 其中:$% 是常量;,-.(!!"#$%)){( /!( )*,⋯,$%,⋯,)&),
()*,⋯,$%,⋯,)&)",-.(#*)0⋯ 0 ,-.(#%)0⋯ 0 ,-.(#&)# "()*,⋯,$%,⋯,)&)) (}’
定义 !(切块 ,#$#1’) * )(+,#,!,",&’’(),# ){#*,#+,⋯,#%,⋯,#&},通常认为切块操作就是在
多维立方体的某一类上的取值为一个范围,因此,在 * 的第 % 类上的切块操作表示为 ,#$#1’(*,$%$#%$
,%))(+,#,#$#1’,!,#$#1’,",&’’(),#,#$#1’ ){#*,#+,⋯,$%$ #%$ ,%,⋯,#&}’ 其中:$%、,% 是常量;,-.
(!,#$#1’)){( /!()*,⋯,)%,⋯,)&),$%$ )%$,%#( )*,⋯,)%,⋯,)&)",-.(#*)0⋯ 0 ,-.(#%)0⋯ 0
,-.(#&)# "()*,⋯,)%,⋯,)&)) (}’
更加广义的切块操作在某一维上的取值可能不只是一个简单的范围,而是一个条件,因此一个更广义
的切块定义如下:* )(+,#,!,",&’’(),# ){#*,#+,⋯,#%,⋯,#&},在 * 的第 % 类上的切块操作表示为
,#$#1’(*,23%(%(#%)))(+,#,#$#1’,!,#$#1’,",&’’(),#,#$#1’ ){#*,#+,⋯,23%(%(#%),⋯,#&},23%(%(#%)是在
第 % 类上的切块条件表达式;,-.(!,#$#1’)){( /!()*,⋯,)%,⋯,)&),23%(%( )%)) 4567#( )*,⋯,)%,⋯,
)&)",-.(#*)0⋯ 0 ,-.(#%)0⋯ 0 ,-.(#&)# "()*,⋯,)%,⋯,)&)) (}’
定义 "#(维聚集) 数据立方体 * )(+,#,!,",&’’(),设 # ){#*,#+,⋯,#%,⋯ #&},#- ){#*,⋯,
#% 8 *,9::,#% ; *,⋯,#&},9<<为聚集函数 &’’(的值域 ’ * 在 #%(*$ %$ &)上的维聚集操作 ,65(*,#%,
9::,&’’())(+,#-,!,"-,&’’(),其中 "-是如下 #-到 ! 的映射,"-:,-.(#*)0⋯ 0 ,-.(#% 8 *)0 9:: 0
,-.(#% ; *)0⋯ 0 ,-.(#&)%9<<,对于&( )*,⋯,)% 8 *,)% ; *,⋯,)&)",-.(#*)0 ⋯ 0 ,-.(#% 8 *)0
,-.(#% ; *)0⋯ 0 ,-.(#&),"-(( )*,⋯,)% 8 *,&"",)% ; *,⋯,)&))) &’’(({( /!)%",-.(#%),"(( )*,⋯,
)% 8 *,)%,)% ; *,⋯,)&))) (})’
定义 ""(层次聚集) 数据立方体 * )(+,#,!,",&’’(),设 # ){#*,#+,⋯,#%,⋯#&},#- ){#*,⋯,
#% 8 *,#-%,#% ; *,⋯,#&},其中 #%"!%,#-%"!%,#%’#-%,即存在分组(聚集)函数 .,满足 #-% ) .(#%),9<<为
聚集函数 &’’(的值域 ’ * 在 #%(*$ %$&)上的层次聚集操作 =65(*,#%,#-%,&’’())(+,#-,!,"-,&’’(),其
中 "-是如下 #-到! 的映射,"-:,-.(#*)0⋯ 0 ,-.(#% 8 *)0 ,-.(#-%)0 ,-.( )% ; *)0⋯ 0 ,-.(#&)%
9<<,对于&()*,⋯,)% 8 *,)-%,)% ; *,⋯,)&)",-.(#*)0⋯ 0 ,-.(#% 8 *)0 ,-.(#-%)0 ,-.( )% ; *)0⋯ 0
,-.(#&),"-(()*,⋯,)% 8 *,)-%,)% ; *,⋯,)&))) &’’(({( /!)%",-.(#%),)-% ) .( )%)# "(( )*,⋯,)% 8 *,)%,
)% ; *,⋯,)&))) (})’
$ 基于关系数据库的设计与实现
由于大多数企业在实施业务信息系统时已经对数据库及其服务器做了很大投资,因此上述数据模型
的实现采用了关系型数据库系统 ’
$%" 元数据结构和元数据
为了方便维及其向上综合路径的管理,定义 >中引入 的“类(维的层次属性)”被统一编码标识,每个
类有 *个类表 ’ +个类之间的综合路径存储在结构为(上类,下类)的表中,类间的综合映射关系(定义 *中
的划分")存储在“类综合对照表”中 ’
$%& 数据的存储
数据的物理存储采用类似星型 /雪花型结构 ’ *个数据立方体(+,#,!,",&’’()的事实数据存储在 *
个结构为(#*,#+,⋯⋯,#&,!)的关系表中,其中每个 #% 直接对应 *个类表,根据维模式 + 中定义的路径
层次,每个 #% 又可能间接对应若干类综合对照表和类表 ’ 连接这些维表与事实表,可生成向上的聚集数
据,根据需要将聚集结果实体化,即存储在另一个结构为(#-*,#-+,⋯⋯,#-(,!)的关系表中 ’
$%$ 聚集算法
在数据仓库数据加载时常常需要同时对许多维和层次进行综合;在数据查询分析时,也可能要求事先
+?@ 北 京 工 业 大 学 学 报 +??A年
未经实体化的聚集结果,这都要求 !"#$系统能够支持高效灵活的聚集运算 % 通常认为关系数据库语言
&’"不能直接、有效地支持 !"#$操作[(],因此对 &’"做了不同程度的扩充(&’"())[(]、*)+等)%
研究了基于 &’"的各种 !"#$操作算法后,作者认为在本数据模型中,切片、切块、旋转、聚集等多维
分析操作可以用 &’"实现 % 因为 &’"是关系数据库上的标准语言,可以最高效地访问关系数据库,它还是
一种真正的交叉平台语言,不会受到数据库、操作系统平台的限制 %
下面是用 &’"实现的在某维上进行维聚集和在某层上进行层次聚集的一般方法 %
在第 ! 维上进行维聚集(,--.为聚集函数):
&/"/01 "2,⋯,"! 3 2,‘#""’,4 "!,"! 5 2,⋯,"#,,--.($)
67!* 6#01
87!9$ :; "2,⋯,"! 3 2,"! 5 2,⋯,"#;
在第 ! 维的 "! 层向 "%! 层进行层次聚集:
&/"/01 "2,⋯,"! 3 2,&(’!),4 "!,"! 5 2,⋯,"#,,--.($)
67!* 6#01,(!
<=/7/ 0!>)?
87!9$ :; "2,⋯,"! 3 2,&(’!),"! 5 2,⋯,"#;
其中:" 表示‘类’;,--.为聚集函数;& 是层次"! 综合到层次"%! 的映射关系;0!>)?是事实表 6#01与表示
映射关系 & 的表 (! 的连接条件 %
@ A@A2 维聚集
如果只在一维上进行维聚集,如上所述一般方法即可;如同时对所有维进行维聚集运算,一种可行的
直观方法是将所有维的聚集运算并起来,那么 2个 ) 维数据立方体将有维数 ) 的幂集———B) 种聚集方
式[C],就需要生成 B) 个 &’",然后拼接起来,再做“并”运算 % 这种方式显然不可取,因为 B) 个 &’"语句将
导致 B) 次对事实表的检索 % 本文算法只需检索 2次事实表 %
算法的关键是借助“维聚集表”)3 87!9$,该表的列属性是由各个维组成的,每维可能的取值有 B个
(#""和!!),所有的组合将产生 B) 条记录,如表 2所示 % 计算 2个 ) 维数据集合的所有聚集数据的通
用 &’"语句为如下形式(其中 )/0!)/表示判断选择):
&/"/01 )/0!)/(8% "2,‘#""’,DEFF,6% "2),4 "2,
)/0!)/(8% "B,‘#""’,DEFF,6% "B),4 "B,
⋯,
)/0!)/(8% "#,‘#""’,DEFF,6% "#),4 "#,
,--.(*),4 G#"
67!* 6#01 6,
(&/"/01 )H&1H>01 "2,"B,⋯,"# )3 87!9$)8
87!9$ :; )/0!)/(8% "2,‘#""’,DEFF,6% "2),
)/0!)/(8% "B,‘#""’,DEFF,6% "B),
⋯,)/0!)/(8% "#,‘#""’,DEFF,6% "#);
@A@AB 层次聚集
层次聚集借助一个与“维聚集表”类似的“层聚集表”,与事实表连接生成层次聚合 % 一个 $ 层的维的
层聚集表应该有 B$ 3 2行数据 % 例如,一个有 @个层次的维的层聚集表如表 B所示(具体 &’"略)%
表 ! 维聚集表
"#$%! &’($)*#+)’*, ’- .)(/*,)’*,’
"""
#001/0#+)’*
序号 "2 "B "@ 序号 "2 "B """ @
2 !! !! !! L !! !!"" #""
B #"" !! !! ( #"" !!"" #""
@ !! #"" !! M !!"" #"" #""
C #"" #"" !! N #"" #"" #""
表 2 层聚集表
"#$%2 &’($)*#+)’*, ’- 3)/1#143)/,’
"/G2 "/GB "/G@
!! !! !!
!! !! #""
!! #"" #""
#"" #"" #""
@OC第 C期 付燕燕等:支持增量式数据仓库建设的多维数据模型
同一维的多路径视为多个维 ! 维与层聚集表联合使用可实现所有维、路径和层次的同时完全聚集 !
实际应用中通常只需要在若干维上进行若干层的向上综合,将维(层)聚集表的列适当取舍即可实现部分
聚集 !
" #"#" 其他
目前一些数据库系统已经提供了包含 $%&’子句(或函数)的扩充 ()*,例如 +,-$*’! 但这些语句
(函数)在低版本和不同数据库之间缺乏通用性,在多维计算的灵活性和对部分维(层次)聚集的支持上也
有所欠缺 ! 因此,本文提出的聚集算法更具有实用性 !
! 结束语
作者提出的多维数据模型和实现技术已在大型商业批发物流企业的数据仓库中成功应用,灵活的维、
度量与数据立方体结构有效地支持了数据仓库的增量式建设,满足了复杂多样、不断变化的 +*-.需求 !
参考文献:
[/]012+1 3 4! &567869: ;<= >?;? 3?@=<A5B=[2]! C98 =8! 1=D EA@F:GA<9 367=H I (A9B,09J,/KKL! CM!
[C]王珊 ! 数据仓库技术与联机分析处理[2]! 北京:科学出版社,/KKK! NO!
3-1P (<?9! Q<= Q=J<96R5= AS >?;? 3?@=<A5B= ?98 +9T769= -9?7H;6J?7 .@AJ=BB69:[2]! &=6U69::(J6=9J= .@=BB,/KKK! NO!(69 $<6T
9=B=)
["]李建中,高宏 ! 一种数据仓库的多维数据模型[G]! 软件学报,CMMM,//(V):KMNTK/V!
*0 G6?9TW<A9:,P-+ 4A9:! 257;686X=9B6A9?7 8?;? XA8=769: SA@ 8?;? D?@=<A5B=B[G]! GA5@9?7 AS (AS;D?@=,CMMM,//(V):KMNTK/V!(69
$<69=B=)
[Y]裴健,柴玮,赵畅,等 ! 联机分析处理数据立方体代数[G]! 软件学报,/KKK,/M(L):OL/TOLK!
.’0 G6?9,$4-0 3=6,Z4-+ $<?9:,=; ?7 ! -9 ?7:=[@? SA@ A9 769= ?9?7H;6J?7 \@AJ=BB69: 8?;? J5[=[G]! GA5@9?7 AS (AS;D?@=,/KKK,/M
(L):OL/TOLK!(69 $<69=B=)
[O],-]’(4 -:@?D?7,-(40(4 P5\;?,(%10Q- (?@?D?:6 ! 2A8=769: X57;686X=9B6A9?7 8?;?[?B=B[-]! .@AJ==869:B AS ;<= Q<6@;==9;< 09T
;=@9?;6A9?7 $A9S=@=9J= A9 >?;? ’9:69==@69:[$]! 3?B<69:;A9 > $:0’’’ $AX\5;=@ (AJ6=;H,/KKV! C"CTCY"!
[L]李琪,白英彩 ! 数据仓库中维的建模和查询[G]! 计算机研究与发展,CMMC,"K(O):L/CTL/N!
*0 )6,&-0 E69:TJ?6 ! 2A8=769: ?98 R5=@H AS 86X=9B6A9 SA@ 88?;? D?@=<A5B=B[G]! GA5@9?7 AS $AX\5;=@ ,=B=?@J< ?98 >=^=7A\X=9;,
CMMC,"K(O):L/CTL/N!(69 $<69=B=)
"#$%&’&()*+&,*-$ .-%- ",’)$ %/) 0#&$’&*1 ,2 3*45)()*%-$ .-%- 6-5)/,#+)
_% E?9TH?9,G0-1P >?6TX=6,Z4+% ‘6?AT[69:
($A77=:= AS $AX\5;=@ (J6=9J=,&=6U69: %96^=@B6;H AS Q=J<9A7A:H,&=6U69: /MMMCC,$<69?)
78+%5-4%:09 ^6=D AS ?77 86X=9B6A9B ?98 7?H=@B AS X57;6T86X=9B6A9 ?9?7HW69: ?; ;<= [=:69969: AS XA8=769: 8?;? D?@=T
<A5B= BHB;=X! - 8?;? XA8=7 =^A7^=8 =?B67H,?B D=77 ?B JA@@=B\A9869: XA8=769: ;AA7B ?@= 9==8=8 SA@ ;<= [567869: AS 69T
J@=X=9;?7 8?;? D?@=<A5B=! 09 ;<6B \?\=@,? 8?;? XA8=7 B5\\A@;69: XA8=7 =^A7^69: 6B \@=B=9;=8! Q<= XA8=7’B SA@X?76W=8
8=S696;6A9,?B D=77 ?B 6;’B 8=B6:9 ?98 6X\76X=9; A9 ,>&,6B 69;@A85J=8! Q<= 8?;? XA8=7 B=\?@?;= 8?;? J5[=B ?98 JAXT
\76J?;=8 86X=9B6A9 \?;;=@9B,?98 X?F= ;<= X=?B5@=B 86X=9B6A9=8! Q<= S7=a6[7= B;@5J;5@= AS X57;6T86X=9B6A9?7 8?;?
J5[= ?^A68 @=[5678 8?;? J5[=B J?5B=8 [H ;<= J<?9:= AS X=?B5@=B ?98 7?H=@B =SS6J6=9;7H ! Q<= XA8=7 B;=;6BSH ;<= @=R56@=T
X=9; AS ;<= JAX\76J?;=8 ?98 JA9;695A5B7H J<?9:=8 +*-.!
9): ;,5’+:8?;? D?@=<A5B=;8?;? XA8=7;X57;6T86X=9B6A9 8?;?[?B=;X57;6T86X=9B6A9 8?;? J5[=
YMY 北 京 工 业 大 学 学 报 CMMO年
支持增量式数据仓库建设的多维数据模型
作者: 付燕燕, 蒋代梅, 周小兵, FU Yan-yan, JIANG Dai-mei, ZHOU Xiao-bing
作者单位: 北京工业大学,计算机学院,北京,100022
刊名: 北京工业大学学报
英文刊名: JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY
年,卷(期): 2005,31(4)
被引用次数: 2次
参考文献(6条)
W H Building the Data Warehouse 1996
2.王珊 数据仓库技术与联机分析处理 1999
3.李建中.高宏 一种数据仓库的多维数据模型[期刊论文]-软件学报 2000
4.裴健.柴玮.赵畅 联机分析处理数据立方体代数[期刊论文]-软件学报 1999
Sarawagi Modeling multidimensional databases 1997
6.李琪.白英彩 数据仓库中维的建模和查询[期刊论文]-计算机研究与发展 2002
相似文献(10条)
1.学位论文 郑志刚 基于本体的海洋时空数据仓库数据模型研究 2008
针对已有海洋数据仓库数据模型较少包含空间数据、时间支持较为单一、研究中很少考虑数据模型标准值构建的问题,本论文重点研究了海洋时
空数据仓库数据模型设计的三个问题:包含空间数据、多种时间支持和标准值的设计。最后根据提出的海洋时空数据仓库数据模型设计方法构建了多
维模型原型。<br>
海洋数据仓库空间分析需要空间数据的支持。在已有海洋空间数据仓库研究中,尽管均包含空间维,但空间维一般采用包含文字与数字的方式表达
,并没有涉及空间数据以及相关的拓扑关系。本论文将海洋空间数据库领域的研究成果应用到海洋数据仓库数据模型研究中,使海洋数据仓库数据模
型包含空间数据,以利用GIS强大的空间分析功能。<br>
多种时间支持可增强海洋数据仓库分析能力。海洋数据具有时间变化特性强、动态性等特点。为分析海洋数据随时间的变化,海洋数据仓库一般均有
时间维。然而已有时间维不能反映数据模型其它元素的变化,例如其它维度、层次等的变化,而且时间类型也较为单一。本论文将时间数据仓库的研
究与海洋数据仓库数据模型研究相结合,允许用户跟踪海洋数据仓库数据模型其它元素的变化,并引入了多种时间类型,例如有效时间、事务时间、
加载时间、生命周期。<br>
利用海洋本体为数据仓库数据模型提供标准值。本论文将海洋数据仓库多维模型标准值与海洋本体相结合,提出了基于海洋本体建立标准值的思路。
数据仓库设计阶段不仅要考虑如何集成已有数据源的数据,还应考虑到将来的集成问题。构建支持已有标准的数据仓库数据模型不仅是各级数据集成
的关键步骤之一,同时也为将来的数据共享、互操作和语义Web服务打下了良好的基础。
2.期刊论文 周冬婉.周伟.叶涛.ZHOU Tao 企业数据仓库多维数据模型的建立 -微机发展
2005,15(6)
数据仓库是一种新的数据管理技术,能将企业内分散的原始操作型数据和来自外部的数据汇集和整理,为企业提供完整、及时和准确的决策信息.构
建数据仓库系统的核心问题是如何建立复杂的企业数据模型.商务数据的本质是多维的,传统的ER模型已无法满足要求,而多维数据建模技术从维度、层
次建模的角度有效地弥补了传统数据模型的不足.文章以多维数据建模技术为中心通过实例讨论了数据仓库中数据模型的一般建立方法,为解决构建企
业信息系统提供了一种切实可行的方案.
3.学位论文 陈芳利 胜利油田地震资料数据仓库建设之数据模型及界面研究 1999
该文综述了数据模型的发展情况,结合关系模型和面向对象模型的优点分析了在油田勘探行业中,对地震资料数据进行描述的方法.根据实验和综述
结果,提出了油田地震资料数据仓库的数据模型及数据组织、访问方法,并结合油田地震数据特点,对相关空间对象进行了描述,针对其定义了空间运算
方法.最后通过对胜利石油管理局地震资料数据仓库的建立方案进行描述,应用和验证了自己的研究成果.
4.学位论文 胡璟超 电信经营分析系统数据模型的研究与应用 2007
近年来,我国通讯市场的拆分、重组使得通讯企业之间的竞争越来越激烈,企业的决策对通讯行业格局的影响显得越来越重要。通讯企业的经过
近年的发展,逐步建立了比较完善的计费系统、结算系统、渠道系统、客服系统、网管系统、财务系统、统计系统等各种业务支撑系统,积累了庞大
数量的各类数据。如何整合历史数据、构建商业智能(Business Intelligence,BI)平台,发挥对企业决策的支持作用,成为通讯行业普遍面临的一个
重要课题。
整个BI体系结构,从简单的报表输出和领导信息系统(Executive InformationSystem,EIS)、多维分析统计和数据挖掘,到探索能力以及可定制
的分析应用技术等,有了相当的发展。支持和维护任何BI环境的基础是建立一个高质量、可信赖的数据仓库。数据仓库技术的不断发展,给电信BI建
设带来了前所未有的机遇和挑战。面对巨大的市场潜力和激烈的竞争,如何为电信企业构建一个先进、完善的数据仓库系统一即经营分析系统一进行
决策支持,从而提升核心竞争力、进一步增强客户满意度已经成为国内电信企业发展的当务之急。
本文在比较研究了典型的、流行的数据仓库架构的基础上,提出了适于大型企业的数据仓库集线器与轮辐式架构的改良方案一基于数据中间层的
数据仓库体系架构,它可以增强数据仓库的可用性、易用性和可扩展性,实现各数据集市间的数据共享,降低脚本开发的难度,以空间换时间的方式
,提高系统的访问速度,减少系统资源的消耗。本文以省级电信公司经营分析系统为例,对其实施背景、业务目标进行了综述。重点论述了利用数据
仓库技术、结合商业逻辑,构建电信数据仓库的中央数据仓库数据模型、中间层数据模型及数据集市层数据模型的设计思路、原则、约定和方法等。
5.期刊论文 何秉姣 数据仓库中两种数据模型的分析比较 -中南民族大学学报(自然科学版)2002,21(4)
指出了数据决策支持系统是当今数据库领域的研究热点,而数据仓库和联机分析处理是该领域中的2个重大的技术,数据模型又是数据仓库的核心和
基础,在数据仓库中,常用的数据模型是立方体数据模型和星型数据模型.在分析比较这2种数据模型优、缺点的基础上,提出了组织数据仓库中的数据时
应灵活选择模型,做到优势互补,扬长避短,以设计出高性能的商业决策支持系统.
6.学位论文 张子法 面向银行业务分析的双层数据模型设计与实现 2007
本课题的研究是笔者在参与中国交通银行银行某分行(在本文中以下简称:“ABOCOM银行”)决策支持系统项目开始的。ABOCOM银行经营理念正逐
步向注重以盈利能力为中心,通过对业务系统数据进行量化统计分析,实现向产品创新、服务创新、流程创新、经营模式创新和管理创新转变。为此
,该行急需建设一套完整的应用分析系统,以满足管理和决策的需要。同时,该行也认识到要想在竞争中取胜,获得更人的收益,至关重要的是,必
须充分利用现有业务系统数据,对当前利历史上业务系统产生的数据进行深层次地挖掘、分析,从人量数据中提取信息,为企业管理层和各级业务层
提供快速、准确和方便的决策支持,为此提出了建立本行企业级数据仓库平台,并在数据仓库平台的基础上建立业务的决策支持系统,进行相关业务
分析和数据挖掘,做到真正的基于数据的决策支持。
建立ABOCOM银行决策支持系统的重点和难点是“数据组织”和“数据使用”两个问题。“数据组织”解决的是如何集成该行8个异构的数据源系统
数据和以及数据扩展的问题;“数据使用”解决的是数据应用的效率问题。两个问题的核心也就是ABOCOM银行企业级数据仓库平台数据模型设计和实
现的问题。
在本项目的数据模型设计和实施过程中,采用面向银行业务分析的双层数据什模方法,该方法是在银行数据仓库和数据集市两个层面上进行数据
建模,数据仓库数据模型是存储业务流程中产生的基础数据,是面向流程式的设计方式,其设计满足数据库第二范式模式,解决数据组织问题;数据
集市数据模型是直接面向业务主题、业务需求的,采用多维建模方式,解决数据使用的效率问题。
统一的银行业数据仓库和数据集市双层数据模型的建立,高效地组织和存储了ABOCOM银行业务流程所产生的业务数据,实现了ABOCOM银行统一数
据视图以及在之基础上的业务执行结果视图,为ABOCOM银行建设和实施了资产负债管理、客户关系管理、利润贡献度分析、财务管理、风险管理、绩
效考核等智能化相关的内容,并且在实际的经营管理和决策支持过程中发挥着积极的作用。
本文所述面向银行业务分析的双层数据模型是符合当前和未来商业银行进行业务分析所需的数据的组织模式,其设计结果是一种可产品化的IT应
用研发成果,本论文的研究成果作为一种软件产品,已经成功地应用在了ABOCOM银行和中国建设银行的某些分支机构、某些城市商业银行的数据仓库
或决策支持系统项目应用中。该数据模型是经过持续的概括总结、扩展、工程实践、优化,最后经领域专家评价和肯定后形成的,具有一定的在商业
银行领域推广价值。
7.学位论文 徐柏林 数据仓库在国际结算领域的应用 2005
中国加入世贸协定以后,中国银行业面临着外国银行的强大竞争压力,市场份额日渐萎缩,在管理、资本金、规模、经验上处于劣势的国资银行
要想确保自己的市场份额,甚至收复失地,就必须提高核心竞争力。信息化是商业银行提高服务质量、塑造核心竞争力的必经之路,为达到这个目的
要解决资源共享和信息利用问题,而数据仓库就是解决之道。数据仓库是一种语义一致的数据存储体系,用来充当决策支持系统数据模型的物理实现
,并存放企业决策信息的工具。实施数据仓库项目的意义在于构建从数据到信息的转换平台,为从海量的数据中提取有用的信息做准备。
本文包含以下内容:Ⅰ.本文综述了数据仓库的结构、开发的方法论和建立数据模型的方法,重点介绍了目前数据建模领域应用最广的维度建模技
术,并将其与传统的ER关系建模技术进行了比较,对二者的技术特色进行分析,指出它们各自的适用领域。
Ⅱ.本文指出在解决数据集市整合时遇到的数据模型互不兼容的问题时,采用目前通常采用的一致性维的方法存在局限性。本文提出采用ER建模技
术和维度建模技术相结合的方法,发掘业务数据相关性,从系统规划的角度解决数据模型互不兼容的问题,降低不一致的程度。
Ⅲ.本文以银行国际结算数据仓库系统为例,本文以国际结算系统为例展示了数据仓库系统在开发时应采取的方式与流程,着重展示了建立数据模
型的过程,对数据建模过程的各个阶段所应采用的方法和需要注意的问题进行讨论,在最后部分给出了具体的数据模型。
8.期刊论文 何秉姣 关于数据仓库中数据模型构建的研究 -国外建材科技2002,23(3)
在比较支持OLAP的立方体数据模型和星型数据模型的基础上,提出针对数据的本质特性应该有机结合这两种数据模型来构建数据仓库的数据模型
,同时认为维和度量在该两种模型上是可相互转化的.
9.学位论文 陈颖棠 数据模型变换的研究 2002
虚拟数据仓库克服了解决传统关系型数据仓库的缺点,实现了跨平台跨系统的数据综合访问.要实现虚拟数据仓库,需要解决许多的技术难点.该文
主要讨论了其中的技术难点之一--数据模型的变换.只有解决了数据模型变换的问题,虚拟数据仓库才可以实现异构数据仓库之间的综合访问,才可以实
现数据仓库结构的灵活变换.该文为数据仓库的数据模型定义了数学表示方式.为了方便而灵活地实现数据模型变换,该文提出了以XML语言描述数据子
仓库的数据模型以及具体数据内容的方案,并提出以XSLT语言实现数据模型转换的方法.结合PowerGate信息发布系统,该文给出了虚拟数据仓库的基本
实现方案,并讨论数据模型变换在虚拟数据仓库系统中的实际应用.最后该文简单讨论了使用XSLT语言进行数据模型变换的实现方案.
10.学位论文 章发太 侨务数据仓库及其METL工具的研究与实现 2003
本文阐述了数据仓库系统的技术特点和开发方法,分析了当前的数据仓库建模工具与ETL工具的特点,提出结合两种工具为一体的思路,给出侨务
数据仓库METL工具的设计思想,并介绍了其详细的设计与实现过程。接着分析了侨务数据仓库的特点,提出采用数据集市来部署侨务数据仓库,并确
定侨务数据仓库的主题和数据模型。然后利用侨务数据仓库METL工具完成了侨务数据仓库的建造。最后详细阐述了侨务数据仓库管理和DSS应用的几个
主要方面的实现。本论文由六章组成。第一章分析课题研究的相关背景和内容。第二章介绍数据仓库的概念、体系结构、详细的设计方法与步骤,以
及成功实施数据仓库的关键问题。第三章介绍本论文所实现系统的设计目标、功能、系统工作流程,也简单介绍了开发的环境和工具,以及开发所采
用的软件技术。第四章分析METL工具提出的背景,阐述METL工具的设计目标和功能,METL工具实现的技术难点以及整个METL工具的详细实现。第五章
分析侨务数据仓库的特点,提出了侨务数据仓库的解决方案,并实现了整个部门级侨务数据仓库的建造,提供了侨务数据仓库的管理和DSS应用平台。
第六章总结本文所做的工作,指出本文存在的不足。
引证文献(2条)
1.曹丹阳.杨炳儒.李晋宏.宋威 多维分析技术在铝电解生产中的应用研究[期刊论文]-冶金自动化 2010(1)
2.王秀娟.曹宝香 基于面向对象原型法的N层数据仓库设计[期刊论文]-计算机技术与发展 2009(1)
本文链接:
授权使用:复旦大学图书馆(fddxlwxsjc),授权号:17dddf4a-cbf2-4bb2-befb-9e6a00e4a9d2
下载时间:2011年1月13日