信息存储技术
1/98
信息资源管理 第06讲
引言
什么信息需要存储?
采用什么技术实现信息存储?
有怎样的信息存储的设备?
2/98
信息资源管理 第06讲
引言
思考:
假如有假如有100T100T数据,买数据,买 100G100G大小的磁盘,需要大小的磁盘,需要10001000个!个!
如何把如何把10001000个磁盘连接起来?个磁盘连接起来?
如果用一般的如果用一般的PCPC,需要,需要250250台!台!
数据存放起来了,如何管理和使用?数据存放起来了,如何管理和使用?
性能如何?性能如何?
当设备损坏或发生事故时如何应对?当设备损坏或发生事故时如何应对?
3/98
信息资源管理 第06讲
内容提要
. 信息存储的需求
. 信息存储技术
. 存储容灾和备份
4/98
信息资源管理 第06讲
. 信息存储的需求
信息存储需要解决的几个主要问题
容量容量
速度速度
易于管理易于管理
安全:安全:容灾与备份容灾与备份
可扩展性可扩展性
7/98
信息资源管理 第06讲
. 信息存储的技术
信息存储设备
目前,常用的信息存储设备有:
磁带、磁带库磁带、磁带库
磁盘、磁盘阵列磁盘、磁盘阵列
光盘、光盘塔、光盘库光盘、光盘塔、光盘库
9/98
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-磁带库
10/9
8
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-磁带库
广义的磁带库产品包括自动加载磁带机和磁带库。
自动加载磁带机和磁带库实际上是将磁带和磁带机有机结合组成
的。
自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换
装置,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器
中,或执行相反的过程。它可以备份PB=106GB数量级的数据。
自动加载磁带机能够支持例行备份过程,自动为每日的备份工作
装载新的磁带。
一个拥有工作组服务器的小公司或分理处可以使用自动加载磁带
机来自动完成备份工作。
11/9
8
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-磁盘阵列
12/9
8
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-磁盘阵列
磁盘阵列简称RAID(Redundant Arrays of
Inexpensive Disks,RAID),有“价格便宜且多余
的磁盘阵列”之意。
其原理是利用数组方式来作磁盘组,配合数据分散排
列的设计,提升数据的安全性。
磁盘阵列主要针对硬盘,磁盘阵列是由很多便宜、容
量较小、稳定性较高、速度较慢磁盘,组合成一个大型
的磁盘组。
利用个别磁盘提供数据所产生的加成效果来提升整个
磁盘系统的效能。同时,在储存数据时,利用这项技术,
将数据切割成许多区段,分别存放在各个硬盘上。
13/9
8
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-光盘库
14/9
8
信息资源管理 第06讲
. 信息存储的技术
信息存储设备-光盘库
光盘库是一种带有自动换盘机构(机械手)
的光盘网络共享设备。
光盘库一般由放置光盘的光盘架、自动换盘
机构(机械手)和驱动器三部分组成。
光盘库一般配置有1~14台驱动器,可容纳
45~690片光盘,每个盘仓可容纳15或50片光盘,
分为智能热插拔式盘仓和普通盘仓,这样一是
可方便光盘的存放和取用,二是直接构成了三
级存储的近线和离线的搭配结构。
光盘库通过高速SCSI端口与网络服务器相联,
光盘驱动器通过自身接口与主机交换数据。
用户访问光盘库时,自动换盘机构首先将驱
动器中的光盘取出并放置到盘架上的指定位置,
然后再从盘架中取出所需的光盘并送入驱动器
中。自动换盘机构(机械手)的换盘时间通常
在秒级。
15/9
8
信息资源管理 第06讲
. 信息存储的技术
常用的存储设备接口
IDE: Integrated Drive ElectronicsIDE: Integrated Drive Electronics,,电电子集子集
成成驱动驱动器器
SCSI: Small Computer System InterfaceSCSI: Small Computer System Interface,,
小型小型计计算机系算机系统统接口接口
FC:Fiber Channel FC:Fiber Channel 光光线线通道通道
16/9
8
信息资源管理 第06讲
. 信息存储的技术
•• SCSISCSI接口技术接口技术
–– SCSISCSI((Small Computer System InterfaceSmall Computer System Interface),小型),小型计计算机系算机系统统接口;接口;
–– 并行并行SCSISCSI使得使得I/OI/O总线总线不再是系不再是系统统的瓶的瓶颈颈,可以使系,可以使系统统具有更高的具有更高的
输输入入//输输出性能;出性能;
–– SCSISCSI提供的高提供的高质质量信号支持可靠、持量信号支持可靠、持续续的数据的数据传输传输速率;速率;
–– SCSISCSI比比IDEIDE速度快,因速度快,因为为SCSISCSI接口卡中自接口卡中自带带CPUCPU;;
–– SCSISCSI支持支持热热插拔;插拔;
–– SCSISCSI支持多硬支持多硬盘盘。。
17/9
8
信息资源管理 第06讲
. 信息存储的技术
硬盘接口技术-硬盘接口技术-光纤通道光纤通道((Fibre ChannelFibre Channel):):
和和SCSISCSI接口一接口一样样光光纤纤通道最初也不是通道最初也不是为为硬硬盘设计开发盘设计开发的接口技的接口技术术,,
是是专门为专门为网网络络系系统设计统设计的,但随着存的,但随着存储储系系统对统对速度的需求,才逐速度的需求,才逐
渐应渐应用到硬用到硬盘盘系系统统中。光中。光纤纤通道硬通道硬盘盘是是为为提高多硬提高多硬盘盘存存储储系系统统的的
速度和灵活性才速度和灵活性才开发开发的,它的出的,它的出现现大大提高了多硬大大提高了多硬盘盘系系统统的通信的通信
速度。光速度。光纤纤通道的主要特性有:通道的主要特性有:热热插拔性、高速插拔性、高速带宽带宽、、远远程程连连接、接、
连连接接设备设备数量大等。数量大等。
光光纤纤通道是通道是为为在像服在像服务务器器这样这样的多硬的多硬盘盘系系统环统环境而境而设计设计,能,能满满足足
高端工作站、服高端工作站、服务务器、海量存器、海量存储储子网子网络络、外、外设间设间通通过过集集线线器、交器、交
换换机和点机和点对对点点连连接接进进行双向、串行数据通行双向、串行数据通讯讯等系等系统对统对高数据高数据传输传输
率的要求。率的要求。
18/9
8
信息资源管理 第06讲
. 信息存储的技术
FC特点
光纤通道技术是结合了通道技术和网络技术的优点。通
道技术是硬件密集型技术,可以在缓冲区间快速传输大
量的数据。网络技术是软件密集型技术,数据包可以在
网络上被路由到许许多多设备中的某一个上;
性能高:目前最高速度是10Gb/s;
传输距离更远,一般可以达到10km以上,而SCSI才25m
;
可扩展能力强;
稳定性和可靠性好。
19/9
8
信息资源管理 第06讲
. 信息存储的技术
直接连接存储
直接连接存储(直接连接存储(DASDAS,,Direct Attached StorageDirect Attached Storage)是数据存)是数据存
储领域产生最早、发展时间最长的传统数据存储方式。储领域产生最早、发展时间最长的传统数据存储方式。
直接连接存储是将磁盘存储设备直接通过电缆连接到服务直接连接存储是将磁盘存储设备直接通过电缆连接到服务
器的方式。器的方式。
它主要应用于单机或两台主机的集群环境中。它主要应用于单机或两台主机的集群环境中。
主要优点是存储容量扩展简单,投入成本少,见效快。主要优点是存储容量扩展简单,投入成本少,见效快。
21/9
8
信息资源管理 第06讲
图:传统的客户图:传统的客户//服务器结构服务器结构
22/9
8
网络
客户机
网络接口
SCSI主机
网络接口 存储接口 存储子系统
虚框虚框为为服服务务器器
SCSISCSI
. 信息存储的技术
信息资源管理 第06讲
. 信息存储的技术
23/9
8
SCSI Disk Array (SCSISCSI Disk Array (SCSI磁磁盘阵盘阵列列)
UsedUsed
Not UseNot Use
SCSI ChannelSCSI Channel
Web ServerWeb Server
IP NetworkIP Network
Windows Windows
DesktopDesktop
PCPC
IDE Disk Array (IDEIDE Disk Array (IDE磁磁盘阵盘阵列列))
UsedUsed
Not UseNot Use
File ServerFile Server
SCSI ChannelSCSI Channel
Fiber Disk Array (Fiber Disk Array (光光纤磁盘阵纤磁盘阵列列))
Fiber ChannelFiber Channel
Exchange Exchange
Mail ServerMail Server
SQL SQL
Database Database
Server Server
UsedUsed
Not UseNot Use
Fiber SwitchFiber Switch
Fiber ChannelFiber Channel
信息资源管理 第06讲
. 信息存储的技术
企业存储大容量的装
置就是磁盘阵列
(Disk Array)
SAN = Fiber Disk
Array
DAS, SAN, NAS皆
以Disk Array为核心
技术。
DAS, SAN, NAS的
分类,并非企业考虑
存储应用的关键。
24/9
8
PCI, PCI-X PCI, PCI-X 总线总线
光纤光纤HBAHBA卡卡
FiberFiber
DiskDisk
(SAN)(SAN)
SCSISCSI
DiskDisk
IDEIDE
DiskDisk
Disk Array ControllerDisk Array Controller
(CPU, Firmware Cache)(CPU, Firmware Cache)
SCSI SCSI 连结器连结器
SCSI ChannelSCSI ChannelFiber ChannelFiber Channel
SQL, Exchange, Web ServerSQL, Exchange, Web Server
图:图:大容量存储装置大容量存储装置- Disk Array- Disk Array
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– 由于磁由于磁盘盘的存取速度跟不上的存取速度跟不上CPUCPU的的处处理速度理速度..从而使磁从而使磁盘盘成成为为提提
高服高服务务器器I/OI/O能力的一个瓶能力的一个瓶颈颈。。为为解决解决计计算机算机CPUCPU的高速和磁的高速和磁盘盘
的低速之的低速之间间日益加日益加剧剧的矛盾,的矛盾,19871987年美国加利福尼年美国加利福尼亚亚大学伯克大学伯克
利分校的帕特森教授等人提出了利分校的帕特森教授等人提出了RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)的概念。的概念。
–– 其技其技术术思想是思想是::利用利用现现有的小型廉价磁有的小型廉价磁盘盘,把多个磁,把多个磁盘盘按一定的按一定的
方法方法组组成一个磁成一个磁盘阵盘阵列,通列,通过过一些硬件技一些硬件技术术和一系列的和一系列的调调度算法,度算法,
使得整个磁使得整个磁盘阵盘阵列列对对用用户户来来说说,就像是在使用一个容量很大、而,就像是在使用一个容量很大、而
可靠性和速度非常高的大型磁可靠性和速度非常高的大型磁盘盘。。
25/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– RAIDRAID有有许许多特点。首先,提高了存多特点。首先,提高了存储储容量,可以将多容量,可以将多
块块硬硬盘组织盘组织起来,就像起来,就像对对一一块块硬硬盘盘那那样进样进行行读读取操作取操作;;
其次,多台磁其次,多台磁盘驱动盘驱动器可并行工作,提高了数据器可并行工作,提高了数据传输传输率,率,
可以成倍地提高硬可以成倍地提高硬盘盘的数据的数据读读取速率,取速率,满满足并足并发发的数据的数据
访问请访问请求求;;第三,由于有校第三,由于有校验验技技术术,提高了可靠性。,提高了可靠性。
26/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– 对对于于RAID1RAID1和和RAID5RAID5阵阵列而言,当有一列而言,当有一块块硬硬盘损盘损坏坏时时,,
利用其他利用其他盘盘可以重新恢可以重新恢复复出出损损坏坏盘盘上原来的数据,而不上原来的数据,而不
影响系影响系统统的正常工作,并可以在的正常工作,并可以在带电带电状状态态下更下更换换已已损损坏坏
的硬的硬盘盘((即即热热插拔功能插拔功能)),,阵阵列控制器会自列控制器会自动动把重把重组组数据数据
写入新写入新盘盘,或写入,或写入热备热备份份盘盘而将新而将新盘盘用做新的用做新的热备热备份份盘盘。。
另外,磁另外,磁盘阵盘阵列通常配有冗余列通常配有冗余设备设备,如,如电电源和源和风风扇,以扇,以
保保证证磁磁盘阵盘阵列的散列的散热热和系和系统统的可靠性。目前,常用的的可靠性。目前,常用的
RAIDRAID类类型可分型可分为为RAID0RAID0、、RAID1RAID1、、RAID3RAID3、、RAID5RAID5等。等。
27/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– RAIDRAID技技术术是一是一种种工工业标业标准,各厂商准,各厂商对对RAIDRAID级别级别的定的定
义义也不尽相同。目前也不尽相同。目前对对RAIDRAID级别级别的定的定义义可以可以获获得得业业界界
广泛广泛认认同的有同的有44种种,,RAID 0RAID 0、、RAID 1RAID 1和和RAID 5RAID 5。。
28/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– RIAD 0RIAD 0,数据分割,数据分割
–– RIAD 1RIAD 1,磁,磁盘镜盘镜像像
–– RIAD 5RIAD 5,硬,硬盘盘分割分割
29/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– RAID 0RAID 0是无数据冗余的存是无数据冗余的存储储空空间间条条带带化,具有成本低、化,具有成本低、
读读写性能极高、存写性能极高、存储储空空间间利用率高等特点;利用率高等特点;
–– 适用于适用于Video/AudioVideo/Audio信号存信号存储储、、临时临时文件的文件的转储转储等等对对速速
度要求极其度要求极其严严格的特殊格的特殊应应用;用;
–– 但由于没有数据冗余,其安全性大大降低,构成但由于没有数据冗余,其安全性大大降低,构成阵阵列的列的
任何一任何一块块硬硬盘盘的的损损坏都将坏都将带带来灾来灾难难性的数据性的数据损损失。失。
30/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-硬盘阵列技术-RAID(Redundant Array of RAID(Redundant Array of
Independent Disks)Independent Disks)
–– RAID 1RAID 1是两块硬盘数据完全镜像,安全性好,技术简是两块硬盘数据完全镜像,安全性好,技术简
单,管理方便,读写性能均好。单,管理方便,读写性能均好。
–– 但它无法扩展(单块硬盘容量),数据空间浪费大,严但它无法扩展(单块硬盘容量),数据空间浪费大,严
格意义上说,不应称之为格意义上说,不应称之为““阵列阵列””。。
31/9
8
信息资源管理 第06讲
. 信息存储的技术
•• 硬盘阵列技术-RAID(Redundant Array of
Independent Disks)
–– RIAD 5RIAD 5,硬,硬盘盘分割,分割,RAID 5RAID 5是目前应用最广泛的是目前应用最广泛的RAIDRAID技术。技术。
–– 各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验(异各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验(异
或运算),校验数据平均分布在每块硬盘上。以或运算),校验数据平均分布在每块硬盘上。以nn块硬盘构建的块硬盘构建的
RAID 5RAID 5阵列可以有阵列可以有nn--11块硬盘的容量,存储空间利用率非常高。块硬盘的容量,存储空间利用率非常高。
–– 任何一块硬盘上的数据丢失,均可以通过校验数据推算出来。任何一块硬盘上的数据丢失,均可以通过校验数据推算出来。
–– RAID 5RAID 5具有数据安全、读写速度快,空间利用率高等优点,应用具有数据安全、读写速度快,空间利用率高等优点,应用
非常广泛,但不足之处是如果非常广泛,但不足之处是如果11块硬盘出现故障以后,整个系统的块硬盘出现故障以后,整个系统的
性能将大大降低。性能将大大降低。
32/9
8
信息资源管理 第06讲
. 信息存储的技术
直接连接存储模式存在诸多弊端:
存储设备只能与一台服务器直接连接,只由这台服务器
使用。
用户要备份数据和存储数据,都要占用服务器CPU的时
间,从而降低了服务器的管理效能。
随着服务器的增多,数据管理会越来越复杂,工作量不
断增加。
如果增加存储设备,扩展存储容量,需要对服务器进行
重新配置,这样做容易中断业务连续性,造成数据丢失。
33/9
8
信息资源管理 第06讲
图:直接存储(图:直接存储(DASDAS,,DIRECTLY ATTACHED STORAGEDIRECTLY ATTACHED STORAGE))
34/9
8
Application
Server 1
disk disk
Application
Server 2
disk disk
Application
Server 3
disk disk
Data IslandData Island Data IslandData Island
. 信息存储的技术
信息资源管理 第06讲
. 信息存储的技术
网络存储技术
自二十世纪末开始,存储技术的发展进
入 “存储网络”(Storage Network)时代。它
将存储设备从应用服务器中分离出来,进行
集中管理。存储网络具有以下特点:
存储设备与主机之间是多对多的关系存储设备与主机之间是多对多的关系
统一性:在逻辑上是完全一体的,实现数据的集中管理统一性:在逻辑上是完全一体的,实现数据的集中管理
面向网络应用,容易扩充,伸缩性强面向网络应用,容易扩充,伸缩性强
共享存储系统共享存储系统
关键技术:带宽关键技术:带宽
35/9
8
信息资源管理 第06讲
. 信息存储的技术
网络存储
36/9
8
我校邮件服务器提供的网络存储功能
信息资源管理 第06讲
. 信息存储的技术
网络存储与传统存储的比较
存存储储系系统统的独立性的独立性
数据共享的数据共享的难难易程度易程度
高速的数据高速的数据传输传输
更大的存更大的存储储容量容量
中心化数据管理中心化数据管理
多多种种多多样样的存的存储储介介质质
37/9
8
信息资源管理 第06讲
. 信息存储的技术
网络数据存储方式
网络连接存储网络连接存储((NASNAS))
存储区域网络存储区域网络((SANSAN))
38/9
8
信息资源管理 第06讲
. 信息存储的技术
39/9
8
主机 网络存储控制器 网络存储控制器
Switch
客户机 客户机
虚框为服务器虚框为服务器
图:网络连接存储(图:网络连接存储(NASNAS)的系统结构)的系统结构
信息资源管理 第06讲
. 信息存储的技术
40/9
8
磁带机
Fiber Disk Array (Fiber Disk Array (光纤磁盘阵列光纤磁盘阵列))
SCSI Disk Array (SCSISCSI Disk Array (SCSI磁盘阵列磁盘阵列))
Unix/ Novell/ Unix/ Novell/
MacintoshMacintosh
NetworkNetwork
Fiber ChannelFiber ChannelIP IP
NetworkNetwork
File LevelFile Level
传输方式传输方式
异质网络异质网络
Web Server Web Server
Exchange Exchange
Mail Server Mail Server
SQL SQL
Database Database
Server Server
Windows Windows
DesktopDesktop
UsedUsed
Not UseNot Use
UsedUsed
Not UseNot Use
IDE Disk Array (IDEIDE Disk Array (IDE磁盘阵列磁盘阵列))
UsedUsed
Not UseNot Use
Storage GatewayStorage Gateway
控制管理平台控制管理平台
SCSI ChannelSCSI Channel
FiberFiber Channel Channel
图:图:简化存储管理的关键简化存储管理的关键-Windows Storage Server-Windows Storage Server
信息资源管理 第06讲
. 信息存储的技术
网络连接存储
NAS存储方式具有如下特点:
可附加大容量存储,内嵌操作系统。可附加大容量存储,内嵌操作系统。
仅仅提供存储服务,降低了存储设备的成本。仅仅提供存储服务,降低了存储设备的成本。
特别适合于处理来自网络的特别适合于处理来自网络的I/OI/O请求,不仅响应速度快,请求,不仅响应速度快,
而且数据传输速率也很高。而且数据传输速率也很高。
可以提供完全跨平台文件混合存储功能。可以提供完全跨平台文件混合存储功能。
其安装简便,友好的图形管理界面以及在线扩容能力,其安装简便,友好的图形管理界面以及在线扩容能力,
大大方便了网络管理人员的工作。大大方便了网络管理人员的工作。
41/9
8
信息资源管理 第06讲
. 信息存储的技术
网络连接存储网络连接存储
网络连接存储(NAS,Network Attached Storage)是一种基于局
域网的,在存储设备端提供基于网络访问的文件级服务的网络存储技
术。其体系结构如图所示。图中,RAID(Redundant Array of
Inexpensive Disk)是廉价磁盘冗余阵列,此外也可根据需要采用前
述其它存储设备。
42/98
图图:: NAS NAS体系结构体系结构
信息资源管理 第06讲
. 信息存储的技术
存储区域网络存储区域网络
存存储储区域网区域网络络((SANSAN,,Storage Area NetworkStorage Area Network)位于服)位于服务务器后端,器后端,
为连为连接服接服务务器、存器、存储设备储设备而建立起一个而建立起一个专专用数据网用数据网络络,提供数据存,提供数据存
储储服服务务。其体系。其体系结结构如下构如下图图所示。所示。
43/98
图: SAN体系结构
SAN SAN特别特别适合适合于服务器集群、灾难恢复等大数据量传输的领域。于服务器集群、灾难恢复等大数据量传输的领域。
44/9
8
LANLAN
磁磁
盘盘
阵阵
列列
磁磁
盘盘
阵阵
列列
光纤交换机光纤交换机光纤交换机光纤交换机
服务器服务器
服务器服务器
磁带库磁带库
图:存储局域网(图:存储局域网(SANSAN)的基本结构)的基本结构
. 信息存储的技术
45/9
8
图:存储局域网图:存储局域网SANSAN的一般应用的一般应用
88
TBTB
HPHP
磁磁
盘盘
阵阵
列列
44
TBTB
delldell
磁磁
盘盘
阵阵
列列
客户端客户端
备份磁带库备份磁带库
Windows ServersWindows Servers Unix ServersUnix Servers
DellDell
HpHp
数据数据
服务服务
器器
. 信息存储的技术
信息资源管理 第06讲
. 信息存储的技术
46/9
8
DASDAS NASNAS SANSAN
存储装置种类存储装置种类 SectorsSectors shared filesshared files blocksblocks
传输方式传输方式 IDE/SCSIIDE/SCSI TCP/IP, ethernetTCP/IP, ethernet fibre channelfibre channel
使用端使用端 clients or serversclients or servers clients or serversclients or servers serversservers
容量容量 GigabytesGigabytes terabytesterabytes petabytespetabytes
安装难度安装难度 EasyEasy EasyEasy DifficultDifficult
管理成本管理成本 HighHigh LowLow LowLow
DAS 、 NAS 、 SAN比较
DAS (Direct Attached Storage)DAS (Direct Attached Storage)
NAS (Network Attached Storage)NAS (Network Attached Storage)
SAN (Storage Area Network)SAN (Storage Area Network)
47/9
8
DAS
IP
SCSI
Direct-
Attached
Storage
NAS和SAN
FC
Storage
Area
Network
SCSI
IP
Network-
Attached
Storage
图:几种存储模式的比较图:几种存储模式的比较
. 信息存储的技术
信息资源管理 第06讲
. 信息存储的技术
48/9
8
SERVERS &
STORAGE
DESKTOPS
网络连接存网络连接存
储储 (NAS)(NAS) LANLAN
直联存储直联存储
(DAS)(DAS)
SANSAN
存储区域网存储区域网
(SAN)(SAN)
图:连接存储的三种方式的比较图:连接存储的三种方式的比较
信息资源管理 第06讲
. 信息存储的技术
49/9
8
入门级 PowerVault 725N
中等 PowerVault 770N (塔式)
PowerVault 775N (机架式)
存储区域网SAN网络连接存储
直接连接存储磁带机磁带机
驱动器 PowerVault 100T/110T
机架式磁带机 PowerVault 112T
自动加载磁带机 PowerVault 120T/122T
磁带库 PowerVault 132T/136T/160T
SCSI PowerVault 220S/221S
光纤通道 DELL | EMC CX300
DELL | EMC CX500
DELL | EMC CX700
入门级 DELL/EMC CX300
中等 DELL/EMC CX500
企业级 DELL/EMC CX700
扩展柜 DELL/EMC FC DAE2, ATA
DAE2
交换机 DELL/EMC 8, 16, 24, 32 端口
DELL DELL 存储系统产品组合存储系统产品组合
信息资源管理 第06讲
. 信息存储的技术
50/9
8
外部存储外部存储
整合存储整合存储
内部存储内部存储
容量 可管理性 可用性便利
第第 1 1 阶段阶段 第 2 阶段 第 3 阶段 第 4 阶段
灾难恢复存储灾难恢复存储
图:存储方案的经济扩展架构图:存储方案的经济扩展架构
信息资源管理 第06讲
. 存储容灾和备份
备份和容灾的概念
备份和容灾的相关技术
备份和容灾的解决方案
51/9
8
信息资源管理 第06讲
为什么要考虑备份和容灾?为什么要考虑备份和容灾?数据数据:: 企业的生命企业的生命
52/9
8
DATADATA
制造制造远程办公远程办公
客户客户
投资投资
市场市场
日常运作日常运作 供应商供应商
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
53/9
8
信息资源管理 第06讲
. 存储容灾和备份
为什么要考虑备份和容灾
硬件故障
软件故障
误操作
病毒入侵
保留历史记录
发生灾难性事件
54/9
8
信息资源管理 第06讲
完整备份和容灾系统的组成
55/9
8
备份和灾难恢复系统
执行备份的硬件和介质 备份管理软件
备份策略 灾难恢复计划
信息资源管理 第06讲
56/9
8
图:方正服务器数据备份解决方案图:方正服务器数据备份解决方案
SecuStor存储功能服务器上预装了Veritas专业的服务器备份软件,用户只需在需要备份的服务器上安装相应的备份代理程序,并且设
置好备份内容和备份时间,系统就会按照计划的时间完成备份工作,当数据出现任何问题以后,用户只要选择数据的指定备份就可把
系统恢复到备份时刻,从而保证了业务系统的连续性,让企业的基石真正的为我们提供服务。
57/9
8
数据备份的概念
数据备份就是将数据以某种方式加以保留,以便在系统
遭受破坏或其他特定情况下,重新加以利用的一个过程。
数据备份是存储领域的一个重要组成部分。
通过数据备份,一个存储系统乃至整个网络系统,完全
可以回到过去的某个时间状态,或者重新“克隆”一个指
定时间状态的系统,只要在这个时间点上,我们有一个完
整的系统数据备份。
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
备份概念误区一:将硬盘备份等同于数据备份
58/9
8
磁盘阵列
双机热备份
磁盘镜像
增强了系统连续运行时的性能
与可靠性,这些硬件备份与真
正的备份概念还相差很多。因
为从导致数据失效的因素可以
看出,大部分造成整个硬件系
统瘫痪的原因,硬件备份是无
能为力的。
信息资源管理 第06讲
. 存储容灾和备份
备份概念误区二:拷贝等于备份
备份不能仅仅通过拷贝完成,因为拷贝不能留下
系统的注册表等信息;而且也不能将历史记录保存
下来,以便追踪;当数据量很大时,手工的拷贝工
作又是何其麻烦。备份=拷贝+管理。管理包括备份
的可计划性、备份设备的自动化操作、历史记录的
保存以及日志记录等等。
59/9
8
信息资源管理 第06讲
. 存储容灾和备份
备份概念误区三:数据备份等同于系统备份
60/9
8
在网络环境中,系统文件和一些应用程序的安装
相当麻烦,而且需要重新设置各种参数和地址,这个
过程通常会持续好几天,在这些系统环境恢复之前,
数据文件是无法使用的。
61/9
8
容灾的概念
容灾:系统容灾:系统容灾计划包括一系列应急计划容灾计划包括一系列应急计划,具体有:
业务持续计划(BCP-Business Continuity Plan)
业务恢复计划(ERP-Business Recovery Plan)
运行连续性计划(COOP-Continuity of Operations
Plan)
事件响应计划(IRP-Incident Response Plan)
场所紧急计划(OEP-Occupant Emergency Plan)
危机通信计划(CCP-Crisis Communication Plan)
灾难恢复计划(DRP-Disaster Recovery Plan)
. 存储容灾和备份
62/9
8
1、业务持续计划(BCP-Business Continuity Plan)
业务持续计划(BCP)是一套用来降低组织的重要营运功能遭
受未料的中断风险的作业程序,它可能是人工的或系统自动的。
业务持续计划的目的是使一个组织及其信息系统在灾难事件发
生时仍可以继续运作。
. 存储容灾和备份
63/9
8
2、业务恢复计划(ERP-Business Recovery Plan)
业务恢复计划(BRP)也叫业务继续计划,涉及紧急事件
后对业务处理的恢复,但与BCP不同,它在整个紧急事件
或中断过程中缺乏确保关键处理的连续性的规程。BRP的
制定应该与灾难恢复计划及BCP进行协调。BRP应该附加
在BCP之后。
. 存储容灾和备份
64/9
8
3、运行连续性计划(COOP-Continuity of
Operations Plan)
操作连续性计划(COOP)关注位于机构(通常是总部
单位)备用站点的关键功能以及这些功能在恢复到正常
操作状态之前最多30天的运行。
. 存储容灾和备份
65/9
8
4、事件响应计划(IRP-Incident Response Plan)
事件响应计划(IRP)建立了处理针对机构的IT系统攻
击的规程。这些规程用来协助安全人员对有害的计算机
事件进行识别、消减并进行恢复。
. 存储容灾和备份
66/9
8
5、场所紧急计划(OEP-Occupant Emergency
Plan)
场所紧急计划(OEP)在可能对人员的安全健康、环
境或财产构成威胁的事件发生时,为设施中的人员提
供反应规程。 OEP在设施级别进行制定,与特定的地
理位置和建筑结构有关。
. 存储容灾和备份
67/9
8
6、危机通信计划(CCP-Crisis Communication
Plan)
机构应该在灾难之前做好其内部和外部通信规程的准
备工作。危机通信计划(CCP)通常由负责公共联络的机构
制定。危机通信计划规程应该和所有其他计划协调,以
确保只有受到批准的内容公之于众,它应该作为附录包
含在BCP中。
. 存储容灾和备份
68/9
8
7、灾难恢复计划(DRP-Disaster Recovery Plan)
灾难恢复计划(DRP)应用于重大的、通常是灾难性的、
造成长时间无法对正常设施进行访问的事件。通常,
DRP指用于紧急事件后在备用站点恢复目标系统、应用
或计算机设施运行的IT计划。
. 存储容灾和备份
69/9
8
数据容灾与数据备份的联系
1.数据备份是数据容灾的基础
数据备份是数据高可用的最后一道防线,其目的是为了系
统数据崩溃时能够快速地恢复数据。
2.容灾不是简单备份
真正的数据容灾就是要避免传统冷备份所具有先天不足,
它能在灾难发生时,全面、及时地恢复整个系统。容灾按其
容灾能力的高低可分为多个层次。
3.容灾不仅是技术
容灾是一个工程,不仅包括容灾技术,还应有一整套容灾
流程、规范及其具体措施。
. 存储容灾和备份
70/9
8
常用的备份方式
1.全备份
全备份(Full Backup)是指用一盘磁带对整个系统进行
包括系统和数据的完全备份。
2.增量备份
增量备份(Incremental Backup)是指每次备份的数据
只是相当于上一次备份后增加的和修改过的数据。
3.差分备份
差分备份(Differential Backup)就是每次备份的数据
是相对于上一次全备份之后新增加的和修改过的数据。
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
备份的方法和技术备份的方法和技术
直联备份直联备份
最适合于小型商务最适合于小型商务
性能良好性能良好
设备成本高,由于每个服设备成本高,由于每个服
务器都拥有自己的磁带驱务器都拥有自己的磁带驱
动器动器
网络备份网络备份
最适合于工作组最适合于工作组
适于共享磁带驱动器和磁适于共享磁带驱动器和磁
带库带库
需要一个备份服务器需要一个备份服务器
由于网络瓶颈,不适合大由于网络瓶颈,不适合大
型备份型备份
网络数据传输方面较差网络数据传输方面较差 71/9
8
直联备份直联备份
网络备份网络备份
客户端
客户端
备份备份
服务器服务器
信息资源管理 第06讲
. 存储容灾和备份
72/9
8
Application
Server
LAN
RAID
Tape Library
Backup
Server
传统LAN环境下直连备份
信息资源管理 第06讲
NAS的备份
73/9
8
NAS ServerNAS Server
TapeTape
BackupBackup
ServerServer
NDMP Communication
NDMP - Network Data Management Protocol - is a
storage specific communications protocol that allows
NAS systems to backup to local tape libraries under
the control of a remote backup server
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
备份方法和技术备份方法和技术
SANSAN备份备份
是最好的备份和存储方法是最好的备份和存储方法
提供良好的性能提供良好的性能
有利于磁带驱动器和磁带库的集中有利于磁带驱动器和磁带库的集中
共享共享
无需备份服务器无需备份服务器
备份不占用网络传输备份不占用网络传输
光纤通道需要更高的价格光纤通道需要更高的价格
74/9
8
专用备份 SAN
136T LTO 磁带库
光纤通道桥
交换机
集中SAN 备份
信息资源管理 第06讲
SAN环境下磁带驱动器的共享
75/9
8
Tape
Local
Area
NetworkSAN Fibre
Channel
信息资源管理 第06讲
. 存储容灾和备份
备份系统的设计
网络备份实际上不仅仅是指网络上
各计算机的文件备份,它实际上包含了整
个网络系统的一套备份体系。
1.系统现状分析及备份要求
系统的现状分析的内容包括:
(1)网络系统的操作平台;
(2)网络所采用的数据库管理系统;
(3)网络上运行的应用系统;
(4)网络系统结构以及所选用的服务
器等。
76/9
8
信息资源管理 第06讲
. 存储容灾和备份
备份系统的设计
11.系统现状分析及备份要求.系统现状分析及备份要求
对网络备份系统的对网络备份系统的要求要求主要有:主要有:
((11)备份的数据需要保留的时间;)备份的数据需要保留的时间;
((22)对数据库的备份是否要求在线备份;)对数据库的备份是否要求在线备份;
((33)对不同操作平台服务器要求以低成本实现备份;)对不同操作平台服务器要求以低成本实现备份;
((44)是否需要一套自动恢复的机制;)是否需要一套自动恢复的机制;
((55)对恢复时间的要求;)对恢复时间的要求;
((66)对系统监控程序运行的要求;)对系统监控程序运行的要求;
((77)对备份系统自动化程度的要求;)对备份系统自动化程度的要求;
((88)对网络前台工作站信息备件要求;)对网络前台工作站信息备件要求;
((99)说明现已采用的备份措施等。)说明现已采用的备份措施等。
77/9
8
信息资源管理 第06讲
. 存储容灾和备份
备份系统的设计
2.备份方案的设计
(l)备份软件
备份软件的选择对一个网络备份系统来说是至关重要的,它的选择
必须满足用户的全部需求。
(2)备份介质
常见的备份介质首选是磁带,当然,根据实际情况也可以考虑其它
的介质,如磁光盘、可读CD等。
(3)日常备份制度
如果决定采用磁带作为备份的介质,那么,可以根据“磁带轮换
”中所介绍的几种模式,选择其中的一种或几种模式作为日常备份制
度。
78/9
8
信息资源管理 第06讲
. 存储容灾和备份
备份系统的设计备份系统的设计
3.备份方案的实现
备份方案的实现包括下列几个方面:
(1)安装。包括应用系统,备份软件以及磁带机的安装;
(2)制定日常备份策略;
(3)文件备份;
(4)数据库备份;
(5)网络操作系统备份;
(6)工作站内容的备份。
79/9
8
80/9
8
数据容灾技术-数据容灾等级
第0级:本地备份、本地保存的冷备份。这一级容灾备份,实际上就是上面所指
的数据备份。它的容灾恢复能力最弱,它只在本地进行数据备份,并且被备份的数
据磁带只在本地保存,没有送往异地。
第1级:本地备份、异地保存的冷备份。在本地将关键数据备份,然后送到异地
保存,如交由银行保管。灾难发生后,按预定数据恢复程序恢复系统和数据。
第2级:热备份站点备份。在异地建立一个热备份点,通过网络进行数据备份。
也就是通过网络以同步或异步方式,把主站点的数据备份到备份站点。备份站点一
般只备份数据,不承担业务。当出现灾难时,备份站点接替主站点的业务,从而维
护业务运行的连续性。
第3级:活动互援备份。主、从系统不再是固定的,而是互为对方的备份系统。
这两个数据中心系统分别在相隔较远的地方建立,它们都处于工作状态,并进行相
互数据备份。当某个数据中心发生灾难时,另一个数据中心接替其工作任务。
. 存储容灾和备份
81/9
8
容灾技术
在建立容灾备份系统时会涉及多种技术,如SAN或NAS技
术、远程镜像技术、虚拟存储、基于IP的SAN的互连技术、
快照技术等。
1.远程镜像技术
2.基于IP的SAN互连技术
CDP(连续数据保护)
新技术:
WAFS(Wide Area File Service,广域网文件服务)
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
远程镜像
远程镜像又叫远程复制,是容灾备份的核心技术,同时
也是保持远程数据同步和实现灾难恢复的基础。
它利用物理位置上分离的存储设备所具备的远程数据连
接功能,在远程维护一套数据镜像,一旦灾难发生时,
分布在异地存储器上的数据备份并不会受到波及。远程
镜像按请求镜像的主机是否需要远程镜像站点的确认信
息,
可分为同步远程镜像和异步远程镜像。
82/9
8
信息资源管理 第06讲
. 存储容灾和备份
基于IP的SAN互连技术
目前基于IP的SAN互连技术的核心技术是iSCSI(IP
Small Computer System Interface),这是一种开放协
议,其基本结构是在SCSI的数据包上加入TCP/IP协议。
基于IP的SAN互连技术结合了NAS和SAN两者的优点:一
方面它采用TCP/IP作为网络协议,使得它具有NAS易于访
问的特点;另一方面它又有独立专用的存储网络结构,基
于IP的存储网络可以使用以太网技术和设备来构建专用的
存储网络。
83/9
8
信息资源管理 第06讲
. 存储容灾和备份
iSCSI技术
iSCSI(互联网小型计算机系统接口)是一种在Internet协议网络上,
特别是以太网上进行数据块传输的标准。它是由Cisco和IBM两家发
起的,并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备
使用的可以在IP协议上层运行的SCSI指令集。简单地说,iSCSI可以
实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上
进行路由选择。
ISCSI的工作流程:iSCSI协议就是一个在网络上封包和解包的过程,
在网络的一端,数据包被封装成包括TCP/IP头、iSCSI识别包和
SCSI数据三部分内容,传输到网络另一端时,这三部分内容分别被
顺序地解开。
84/9
8
信息资源管理 第06讲
标准备份及恢复解决方案标准备份及恢复解决方案
85/9
8
网络可能成为瓶径网络可能成为瓶径
需要高容量磁带解决方案需要高容量磁带解决方案
高性价比高性价比————多个服务器可多个服务器可
以共享同一个磁带设备以共享同一个磁带设备
网络备份网络备份
内部或外部;每个服务器都需要内部或外部;每个服务器都需要
磁带备份磁带备份
高性能高性能 & & 本地化本地化
各个服务器磁带分别管理各个服务器磁带分别管理
服务器 磁带机
磁带机或磁带库磁带机或磁带库 服务器
LAN
备份服务器备份服务器
. 存储容灾和备份
信息资源管理 第06讲
. 存储容灾和备份
86/9
8
可在附带可在附带 磁带库上备份合并统一存储磁带库上备份合并统一存储
SAN SAN 上的一级与二级存储上的一级与二级存储
最全面的备份解决方案最全面的备份解决方案
减少备份与存储窗口减少备份与存储窗口
FC 交换机
CX300/500/700
磁带库
PowerEdge
服务器
存储区域网络备份解决方案
信息资源管理 第06讲
. 存储容灾和备份
87/9
8
磁带机
PV100T/110T
-DDS4/DLTVs80
PV112T DDS4 或 DLT vs80
-机架安装 1U 磁带阵列
带 1 或 2 个驱动器
-适合于空间有限的用户
-于DDS4中服务器容量最高80GB,
DLTvs80 中最高160GB
PV122T DLT1 vs 80 或 LTO
-机架安装或独立
2 U 磁带自动装载机,带1个驱动器
及最多 8 个盒式磁带
-中等规模企业的理想自动入门点 远程办
公室或工作组的卓越分布式备份解决方案
-用于服务器容量最高 640GB
PV132T SDLT 或 132T LTO
-全自动 4U 库,最多带 2 SDLT/LTO 磁带机和最多
24SDLT /LTO 盒式磁带
-用于大型远程服务器备份
-带嵌入式2 Gb/秒光纤通道
路由器(可选),用于 LAN-free SAN 备份
- 用于服务器容量最高 4 .8TB
PV136T SDLT / LTO
-全自动 14U 库,最多带 6 SDLT 或 LTO 磁带机
-最多 60SDLT 盒式磁带或 70 LTO 盒式磁带
-对于大容量远程服务器备份
-带嵌入式 2Gb/秒光纤通道路由器
(可选),用于LAN -free SAN 备份
-用于服务器容量最高 14TB
支持 (计算机相关——Tapeware,Veritas
Backup Exec, Netbackup, Legato Networker,
Commvault) 磁带备份软件
节省空间 空间 + 价格 / 性能
性能
性
能
/
容
量
戴尔磁带备份解决方案戴尔磁带备份解决方案
信息资源管理 第06讲
企业面临的问题
服务器与存储空间分配不均之间的矛盾
服务器数据安全问题
预算、维护资金紧张
经济型SAN解决方案
——方正基于iSCSI的IP SAN数据存储解决方案
应用网络与数据网络完全基于TCP / IP 架构,易维护
充分利用客户现有网络和存储设施,减少投资
虚拟化、智能化数据存储管理 ,可以实现快照、卷管理、数据远
程复制、跨盘阵间的数据镜像等智能管理;
VERITAS备份软件
88/9
8
方正经济型SAN解决方案
信息资源管理 第06讲
89/9
8
此方案只要在网络中加入ISCSI的switch,就可以实现SAN架构,它与服务器的连
接是通过网线,而与盘阵连接可以是SCSI,还可以是光纤。
在数据管理方面,我们可以实现存储的虚拟化,可以实现快照、卷管理、数据远程
复制、跨盘阵间的数据镜像等智能管理,结合VERITAS软件方便实现数据的备份。
此方案最大的特点就是不改变大家熟悉的IP网络,实现存储区域网。
方正经济型SAN解决方案
信息资源管理 第06讲
90/9
8
方正异地容灾解决方案
计算机系统灾难的发生是多方面的:
小到操作人员的误操作导致系统的破坏、数据库的丢失;
中到计算机硬盘的损坏、存储介质的损坏;
大到非计算机系统因素如火灾、地震、水灾等等。
保持业务的持续性是当今用户进行数据存储需要考虑的一个重要方
面。采取远程的数据灾难恢复手段,能够提高系统的高可靠性,真正
保护业务持续性。
容灾包括数据容灾和应用容灾两类:
数据容灾是指建立一个异地的数据系统,该系统是本地关键应
用数据的一个实时复制。在本地数据及整个应用系统出现灾难时,
系统至少在异地保存有一份可用的关键业务的数据。
应用容灾是在数据容灾的基础上,在异地建立一套完整的与本
地生产系统相当的备份应用系统(可以是互为备份)。建立这样一个
系统是相对比较复杂的,不仅需要一份可用的数据复制,还要有
包括网络、主机、应用、甚至IP等资源,以及各资源之间的良好
协调。
信息资源管理 第06讲
91/9
8
主数据中心采用高可靠性集群解决方案设计,备份数据中心与主数据中心通过
DDN/VPN相连接,当使用远程镜像时需要使用光纤连接两地光存储设备。
主数据中心系统配置主机包括两台或多台服务器以及其他相关服务器,通过安装HA
软件组成多机高可靠性环境。
数据存储在主数据中心存储磁盘阵列中。同时,在异地备份数据中心配置相同结构的
存储磁盘阵列和一台或多台备份服务器。通过专用的灾难恢复软件可以自动实现主数据
中心存储数据与备份数据中心数据的实时完全备份。
在主数据中心,按照用户要求,还可以配置磁带备份服务器,用来安装备份软件和磁
带库。备份服务器直接连接到存储阵列和磁带库,控制系统的日常数据的磁带备份。
方正异地容灾解决方案
92/9
8
重庆大学数据中心框架
93/9
8
信息资源管理 第06讲
. 存储容灾和备份
94/9
8
信息资源管理 第06讲
思考与练习
题题.复习复习::连连接存接存储储的三的三种种方式是什方式是什么么??
题题.调调研:研:EMCEMC公司有哪些信息存公司有哪些信息存储产储产品?品?
95/9
8
本讲结束
谢谢!
96/9
8