大型企业全国广域网项目
详细设计方案
Version 2
Combat-lab
2010 年 10 月
目 录
第一章 项目概述..............................................................................................................................5
项目目标 .................................................................................................................................5
总体目标..........................................................................................................................5
阶段目标..........................................................................................................................5
设计原则 .................................................................................................................................6
第二章 应用分析..............................................................................................................................8
应用分类 .................................................................................................................................8
应用系统总体框架..........................................................................................................8
业务系统应用分类..........................................................................................................9
信息管理系统应用分类................................................................................................10
数据中心及分行定位 ...........................................................................................................11
阶段一............................................................................................................................11
阶段二............................................................................................................................11
阶段三............................................................................................................................12
第三章 设备配置............................................................................................................................13
基本原则 ...............................................................................................................................13
命名规范........................................................................................................................13
端口分配........................................................................................................................14
北京数据中心 .......................................................................................................................15
设备配置........................................................................................................................15
端口分配........................................................................................................................15
上海数据中心 .......................................................................................................................16
设备配置........................................................................................................................16
端口分配........................................................................................................................16
一级分行 ...............................................................................................................................16
设备配置........................................................................................................................16
端口分配........................................................................................................................17
第四章 网络结构............................................................................................................................18
网络结构设计原则 ...............................................................................................................18
网络结构阶段分析 ...............................................................................................................18
阶段一............................................................................................................................18
阶段二............................................................................................................................20
阶段三............................................................................................................................22
分行接入标准 .......................................................................................................................23
阶段一............................................................................................................................23
阶段二............................................................................................................................24
阶段三............................................................................................................................24
第五章 冗余策略............................................................................................................................26
拓扑冗余策略 .......................................................................................................................26
拓扑冗余策略设计原则................................................................................................26
拓扑冗余策略(阶段一)............................................................................................26
拓扑冗余策略(阶段二)............................................................................................28
拓扑冗余策略(阶段三)............................................................................................30
运营商、设备、板卡冗余策略 ...........................................................................................33
运营商、设备、板卡冗余策略设计原则....................................................................33
运营商、设备、板卡冗余策略阶段一、二、三(核心骨干网)............................33
运营商、设备、板卡冗余策略阶段一、二(一级骨干网)....................................35
运营商、设备、板卡冗余策略阶段三(一级骨干网)............................................36
第六章 路由策略............................................................................................................................40
路由总体规划 .......................................................................................................................40
路由协议选择................................................................................................................40
路由协议部署(阶段一、二)....................................................................................41
路由协议部署(阶段三)............................................................................................42
广域网路由策略 ...................................................................................................................43
阶段一、二....................................................................................................................43
阶段三............................................................................................................................46
广域区路由策略 ...................................................................................................................48
阶段一、二....................................................................................................................48
阶段三............................................................................................................................52
局域网路由策略 ...................................................................................................................56
阶段一、二....................................................................................................................56
阶段三............................................................................................................................56
第七章 流量工程............................................................................................................................58
流量分布 ...............................................................................................................................58
阶段一............................................................................................................................58
阶段二............................................................................................................................58
阶段三............................................................................................................................59
QOS 策略 ...............................................................................................................................60
总体策略........................................................................................................................60
阶段一、二....................................................................................................................62
阶段三............................................................................................................................63
第八章 网络安全............................................................................................................................65
网络安全原则 .......................................................................................................................65
设备安全 ...............................................................................................................................65
业务安全 ...............................................................................................................................68
阶段一、二....................................................................................................................68
阶段三............................................................................................................................69
第九章 IP 地址分配.......................................................................................................................71
IP 地址分配原则 ...................................................................................................................71
IP 地址具体分配 ...................................................................................................................71
第十章 网络管理............................................................................................................................74
网管系统选择 .....................................................................................................................74
选择原则......................................................................................................................74
网元管理软件..............................................................................................................74
网管系统部署 .....................................................................................................................75
第一章 项目概述
项目目标
总体目标
随着中南民族大学信息化建设的进行,到目前为止,中已经建成以北京数据
中心为核心连接 36 个一级分行的一级骨干网,在一级分行以下,建成了连接各
二级分行的二级网和连接县支行的三级网,网络覆盖所有营业网点,从而形成了
覆盖 X 行所有机构的全国网整体架构。
本次 X 行广域网项目,主要是对 X 行现有 MGX 一级骨干网的替换更新以
及北京、上海之间核心骨干网的建设,将一级骨干网从基于 ATM 交换的传输网
络升级成纯 IP 路由的数据网络,以更好的满足 X 行业务发展的需要。
中国 XX 银行广域网的建设范围包括:
北京数据中心和上海数据中心之间的核心骨干网络。
一级分行与北京数据中心、上海数据中心之间的全国一级骨干网。
广域网建设的总体目标是,在统筹考虑 X 行全行业务需求和发展的基础上,
兼顾远期发展目标,满足上海生产中心及北京备援中心建设需要,构建两个数据
中心间以及以两个数据中心为核心、连接 36 个一级分行的高效、稳定、安全可
靠的广域网络。
阶段目标
中国 XX 银行广域网建设是一个长期的过程,本着统一规划、分步实施的基
本原则,总体上分为三个阶段, 各阶段的具体目标如下:
阶段一(分行上连北京)
北京数据中心与上海数据中心之间高速骨干网物理连通,由于上海中心
尚未投入运行,核心骨干网并不承载实际的业务数据。
36 个一级分行完成到北京数据中心的广域上连,所有生产业务从原有的
MGX 网切换至分行到北京的广域链路上,实现生产业务直接上连北京数据
中心。
阶段二(分行上连北京上海)
上海数据中心正式投入运行,核心骨干网为两个数据中心之间生产业务
的通讯提供高速互连通道。
36 家一级分行完成到上海数据中心的广域上连,生产业务(除开发测试
以外)从分行到北京的广域链路切换至分行到上海的广域链路上,实现生产
业务直接上连上海数据中心,测试业务直接上连北京数据中心。
阶段三(业务整合和链路优化)
广域网区合并,办公业务接入广域网,实现生产办公融合。
北京数据中心为全行的管理决策中心,上海中心为生产运行中心,核心
骨干网同时承载生产和办公业务。
一级骨干网链路进行优化,减少一级分行上连北京数据中心和上海数据
中心的广域链路,使网络结构趋于完善,原先用于承载办公业务的 MGX 网
络退出使用,实现广域网建设的最终目标。
设计原则
中国 XX 银行广域网建设作为中国 XX 银行网络建设的重要组成部分,应遵
循以下基本原则:
规范性
设计方案遵从 X 行相关网络规范,包括广域网建设规范、IP 地址规范、数
据中心建设规范等,保证广域网建设与其他系统建设的一致性。
标准性
技术标准化,使用开放、标准的主流技术及协议,确保网络的开放互连和升
级扩展。
可靠性
网络高可用性,网络架构必须能够达到/超过业务系统对服务级别的要求。
通过多层次的冗余连接考虑,以及设备自身的冗余支持使得整个架构在任意部分
都能够满足业务系统不间断的连接需求。
安全性
集成安全手段,网络安全同时考虑生产系统和办公系统数据的完整和安全。
网络架构需要具有支持整套安全体系实施的能力,以确保用户、合作伙伴和员工
生产、办公的安全。
扩展性
可伸缩的网络架构,网络架构在功能、容量、覆盖能力等各方面具有易扩展
能力,以适应快速的业务发展对基础架构的要求。
易管理性
高效网络管理,网络架构采用分层模块化设计,同时配合整体网络/系统管
理,优化网络/系统管理和支持维护。
第二章 应用分析
应用分类
应用系统总体框架
X 行应用系统总体框架如下图所示:
X 行网络所承载的应用系统有两大类:
第一类是业务系统应用,是 XX 银行对外开展业务的应用系统的集合,包括
核心银行系统、中间业务系统、国际业务系统等:
核心银行系统:这是 X 行最重要的业务系统,支持银行大部分服务的渠
道,包括 ABIS 系统、交换系统、网上银行。现在核心银行系统已经在
大多数省份推广使用,有部分省份的数据已经上收到北京中心。
中间业务系统:支持各类代理业务(代缴费、代发工资等),各类投资
业务(保险、证券等),各类地方性联行交换业务(同城交换等)。
国际业务系统:包括 SWIFT 、外汇宝系统等。
客服中心。
针对以上应用,一级分行放置了以下前置系统:
综合应用前置系统:MIDS 是分行各前置应用系统与总行数据中心主机
之间的应用网关。
金融服务前置系统:Tulip 是一个开发和运行银行延伸应用的平台。支
持各类代理业务(代缴费、代发工资等),各类投资业务的前置应用(保
险、证券等),各类地方性联行交换业务(同城交换等)。
综合业务系统中间层前置:AIPS 包括银行卡受理应用(联网联合、贷
记卡受理、国际卡受理)、现金管理系统前置应用(CMF)、支付结算类
应用(大额支付 、跨中心汇兑、漫游汇款、银行汇票系统、西联汇
款)。
第二类是信息管理类应用,是 XX 银行支持企业信息管理、企业决策的应用
系统和办公自动化系统的集合,是企业管理的核心应用平台,包括:
信贷管理系统(CMS)
电子邮件系统
远程教育系统
数据采集系统
数据分析系统
财务管理系统
视频会议系统
IP 电话
业务系统应用分类
根据应用所使用网络连接的特点,可以将业务系统的应用分为两类:
联机类
联机类指实时交互的应用,如 ABIS、网上银行、交换系统等,这类应用
的特点是对时延要求比较敏感,需要在短时间内完成数据的传递和确认,但
是数据通讯量较小。
联机类应用的保障等级要求很高,大部分核心应用属于联机性质,部署
QoS 时需要给联机应用分配较高的优先级,并且通过相应的 QoS 机制保证
联机业务的时延和带宽。
批量类
批量类指非实时交互的应用,如 FTP、报表传递等,这类应用的特点是
数据量大,有一定突发性,允许一定的时延,但需确保在一段时间内完成数
据的传输。
批量类应用的保障等级要求较高,一般是非核心的业务应用,部署 QoS
时给批量应用分配较低的优先级,通过相应的 QoS 机制保证批量业务的带
宽。
信息管理系统应用分类
根据应用所使用网络连接的特点,可以将信息管理系统的应用分为两类:
联机类
联机类指实时交互的应用,如视频、语音、notes、email、信贷管理系统
等,这类应用的特点是对时延要求比较敏感,需要在短时间内完成数据的传
递和确认,但是数据通讯量较小。
联机类应用的保障等级要求很高,大部分核心应用属于联机性质,部署
QoS 时需要给联机应用分配较高的优先级,并且通过相应的 QoS 机制保证
联机业务的时延和带宽。尤其对于视频、语音类应用,对时延和抖动非常敏
感,应该将它们放入最高优先级队列,以获得最佳的网络服务。
批量类
批量类指非实时交互的应用,如 FTP、报表传递等,这类应用的特点是
数据量大,有一定突发性,允许一定的时延,但需确保在一段时间内完成数
据的传输。
批量类应用的保障等级要求较高,一般是非核心的业务应用,部署 QoS
时给批量应用分配较低的优先级,通过相应的 QoS 机制保证批量业务的带
宽。
数据中心及分行定位
在广域网建设的不同阶段,北京、上海数据中心和一级分行所承担的职责会
发生相应的变化,最终北京中心将成为管理决策中心,上海成为生产运行中心。
阶段一
数据中心及分行的功能定位如下:
北京数据中心
所有业务(生产、办公)的运行中心,也是一级骨干网的接入中心。各一级
分行完成到北京数据中心的广域上连,生产业务切换至分行到北京的广域链路。
上海数据中心
上海数据中心还在建设之中,不对外提供任何服务,各一级分行至上海数据
中心的广域链路也没有到位。
一级分行
各一级分行将生产业务切换至广域网,办公业务仍然运行在 MGX 网上。部
分一级分行完成局域网改造和广域网区的建设,以规范组网方式接入广域网,其
他分行局域网尚未改造,以简单模式接入广域网。
阶段二
数据中心及分行的功能定位如下:
北京数据中心
办公业务、测试业务的运行中心,是全行的管理决策中心,生产业务的备援
中心。生产联机业务从北京数据中心迁移至上海数据中心,其他生产业务也会陆
续迁移到上海数据中心,最后北京数据中心只留下办公业务和测试业务。
上海数据中心
生产联机业务的运行中心,也是全行生产业务的广域接入中心。上海数据中
心正式投入运行后,北京数据中心的主要生产业务会逐渐搬迁过来,随着上海数
据中心提供服务的增加,最终成为全行所有生产业务的运行中心。
一级分行
各一级分行的生产业务从上连北京的广域链路切换至上连上海的广域链路
上,办公业务仍然运行在 MGX 网上。尚未完成局域网改造的分行开始进行局域
网改造工作,实现所有分行以统一的规范组网模式接入广域网。
阶段三
数据中心及分行的功能定位如下:
北京数据中心
办公业务、测试业务的运行中心,是全行的管理决策中心,同时也是生产业
务的备援中心。
上海数据中心
生产业务的运行中心,为全行提供生产服务。
一级分行
各一级分行的生产业务、办公业务一起运行在广域网上,广域网区合并,上
连北京和上海数据中心的广域链路进行优化,MGX 设备停用。
第三章 设备配置
基本原则
命名规范
本次广域网项目所涉及设备的命名规范遵循《中国 XX 银行全国数据中心及
灾备中心网络建设管理规范》的相关规定,设备命名规则将采用字母与数字结合
的方法,具体规则为:
字段 1_字段 2_字段 3nn
各字段的含义如下表:
字段名称 字段含义
字段 1 字段 1 用于标识设备安装地点,对 X 行全国数据中心和灾备中心为:
城市+大楼+行级+楼层
其中:
城市
北京:BJ
上海:SH
大楼
北京丰台大楼:FT
上海 XX 大楼:XX (具体大楼待定)
楼层
一楼:01
二楼:02
…
其余类推
行级
数据中心:0
一级分行:1
二级分行:2
三级支行:3
4 保留
网点:5
下挂 ATM:6
字段 2 字段 2 用于标识功能区,根据 X 行全国数据中心和灾备中心的整体网络架构,
定义为:
核心区:CO
生产区:PR
主机单机/开放平台子区:PH
主机 Sysplex 子区:PS
字段名称 字段含义
测试区 TE
主机单机/开放平台子区:TH
主机 Sysplex 子区:TS
运行管理区:OM
MIS 服务区:MS
生产外联区:EX
Internet 接入子区:EI
合作伙伴接入子区:EP
办公接入区:OA
广域网区:WN
字段 3 字段 3 用于标识设备功能,,根据 X 行全国数据中心和灾备中心的整体逻辑层
次,定义为:
核心层交换机:CS
分布层交换机:DS
接入层交换机:AS
接入层路由器:AR
防火墙:FW
Sniffer:SNF
VPN 网关:VG
四层交换机:LB
流量管理设备:PS
IDS 入侵检测:IDS
F5 智能 DNS:DNS
ALO 四层交换机:ALO
nn nn 用于标识网络设备编号,范围为 01 – 99
端口分配
设备端口的分配遵循以下原则:
端口分配遵循板卡冗余的基本原则,尽可能分布在不同的板卡上。
同一块板卡内部,端口根据端口编号从低到高分配。
同一层次设备的端口分配策略尽可能一致。
北京数据中心、上海数据中心一级骨干路由器下连 36 家一级分行,每
台路由器上分配 4 个端口,分别下连 ABCD 四类分行,总带宽均匀的分
布在 4 个物理端口上,ABCD 与一级分行的 ID 号对应关系如下:
A:2M(101、104-105、107),4M(102-103、106、108),6M(110),
总带宽为 30M。
B:2M(112、114、121、123、125),4M(109、113、116),6M
(111),总带宽为 28M。
C:2M(126-129),4M(117-118、120、122、),6M(115),总带宽为
30M。
D:2M(130、134、138-140),4M(124、131、141),6M(119),总
带宽为 28M。
北京数据中心
设备配置
核心骨干路由器为 2 台 NE80,一级骨干路由器也为 2 台 NE80,设备详细
配置如下:
名称 详细描述 数量
核心骨干路由器 Quidway NE80 路由器(4 端口 GBIC 光接口线路板、2
端口 622M POS 单模光接口线路板、)
2
一级骨干路由器 Quidway NE80 路由器(4 端口 GBIC 光接口线路板、4
端口 155M ATM 单模光接口线路板 、 )
2
网管工作站 Sun Fire V490 Server 2
网元管理软件 Quidview DM 2
端口分配
每台核心骨干路由器通过 1 个 POS 端口与上海数据中心的核心骨干路由器
互连,2 个 1000M 光口分别与 2 台广域区交换机互连。
每台一级骨干路由器通过 2 个 1000M 光口分别与 2 台广域区交换机互连,
4 个 ATM 端口与 36 个一级分行互连。
具体的端口互连方式参见方案附件表格。
上海数据中心
设备配置
核心骨干路由器为 2 台 NE80,一级骨干路由器也为 2 台 NE80,设备详细
配置如下:
名称 详细描述 数量
核心骨干路由器 Quidway NE80 路由器(4 端口 GBIC 光接口线路板、2
端口 622M POS 单模光接口线路板、)
2
一级骨干路由器 Quidway NE80 路由器(4 端口 GBIC 光接口线路板、4
端口 155M ATM 单模光接口线路板 、 )
2
网管工作站 Sun Fire V490 Server 2
网元管理软件 Quidview DM 2
端口分配
每台核心骨干路由器通过 1 个 POS 端口与北京数据中心的核心骨干路由器
互连,2 个 1000M 光口分别与 2 台广域区交换机互连。
每台一级骨干路由器通过 2 个 1000M 光口分别与 2 台广域区交换机互连,
4 个 ATM 端口与 36 个一级分行互连。
具体的端口互连方式参见方案附件表格。
一级分行
设备配置
18 个使用 NE80 路由器的一级分行,一级骨干路由器为 2 台 NE80,设备详
细配置如下:
名称 详细描述 数量
一级骨干路由器 Quidway NE80 路由器(4 端口 GBIC 光接口线路板、4
端口 155M ATM 单模光接口线路板 、 )
2
18 个使用 NE40 路由器的一级分行,一级骨干路由器为 2 台 NE40,设备详
细配置如下:
名称 详细描述 数量
一级骨干路由器 Quidway NE40 路由器(4 端口 GBIC 光接口线路板、8 2
端口 155M ATM 单模光接口线路板 、 )
端口分配
每台一级骨干路由器通过 2 个 ATM 端口分别与北京、上海数据中心互连,
2 个 1000M 光口分别与 2 台广域区交换机互连。
具体的端口互连方式参见方案附件表格。
第四章 网络结构
网络结构设计原则
中国 XX 银行广域网建设总体上分为三个阶段,网络结构随着阶段的递进逐
渐完善,每个阶段的网络结构设计原则如下:
链路设计原则
核心骨干网使用 POS 链路,一级骨干网使用 ATM 链路。
带宽设计原则
核心骨干网使用高带宽链路,保证数据中心之间的高速数据交换,一级骨干
网根据一级分行实际业务量分配带宽。
拓扑设计原则
广域网建设初期(阶段一、二),拓扑设计以链路冗余可靠为主,一级分行
双链路分别上连北京数据中心和上海数据中心,广域网建设后期(阶段三),网
络已经运行稳定,考虑到核心骨干链路的充分利用和一级骨干网的链路优化,逐
步减少一级分行上连北京数据中心和上海数据中心的链路数量。
网络结构阶段分析
在广域网建设的三个阶段,广域网建设逐步深入,网络结构持续优化。网络
结构主要包括链路、带宽、拓扑三个方面,每个阶段的网络结构都围绕这三个方
面进行设计。
阶段一
生产和办公相互独立,广域网由生产网和办公网两部分组成,由于上海中心
并未投产,核心骨干网并不承载实际业务数据。广域网网络结构如下:
链路设计
在生产网中,核心骨干网使用 2 条 POS 链路互连北京数据中心和上海数据
中心,一级骨干网中每家一级分行使用 2 条 ATM 链路上连北京数据中心。
核心骨干网互连北京、上海两个数据中心,网络流量很大,需要使用高速链
路互连。SDH 是高速广域链路技术的唯一选择,能够提供高于 155M(STM-1)
的带宽。
一级骨干网互连北京数据中心和 36 家一级分行,为中心、分支网络结构,
网络流量中等,适合采用 ATM 链路技术。ATM 是一种基于虚电路(VC)交换
的链路技术,能够在单个物理接口上配置多条 VC,特别适用于中心、分支的网
络结构,而且 ATM 可以提供非常灵活的带宽单位,从 2M 到 155M 不等。
在办公网中,核心骨干网使用 2 条 POS 链路互连北京数据中心和上海数据
中心,一级骨干网使用原来的 MGX 网络。
带宽设计
在生产网中,核心骨干网 2 条 POS 链路的带宽为每条 622M(STM-4),一
级骨干网中每家一级分行 2 条 ATM 链路的带宽为每条 2M、4M、6M 不等。
核心骨干网的 2 条 622M 链路主要用于两个数据中心的高速数据交换,其上
承载生产联机和生产批量数据。
一级骨干网中,每家分行通过 2 条等值带宽的 ATM 链路上连北京数据中心,
分别用于承载生产联机、生产批量(测试)数据。根据每个一级分行的实际业务
流量,具体带宽分配如下:
2M:西藏、宁夏、厦门、大连、宁波、海南、青岛、甘肃、山西、贵州、
新疆、青海、北京、内蒙、吉林、江西、安徽、陕西。
4M:深圳、广西、河南、福建、上海、河北、四川、天津、黑龙江、辽宁、
重庆、云南、湖北、湖南。
6M:浙江、山东、江苏、广东。
在办公网中,核心骨干网 2 条 POS 链路的带宽为每条 155M,一级骨干网使
用原来的 MGX 网络。
拓扑设计
在生产网中,北京数据中心和上海数据中心通过高速链路互连,形成完整的
核心骨干网结构。一级分行完成与北京数据中心的互连,一级骨干网结构初步形
成。
生产业务从 MGX 网全部切换至分行至北京的一级骨干网上,MGX 网不再
承载任何生产数据。由于上海中心尚未投产,所有生产业务仍然位于北京数据中
心,一级分行的生产联机和生产批量(测试)等业务通过广域网直接上连北京数
据中心。
在办公网中,北京数据中心和上海数据中心通过高速链路互连,用于两个中
心之间的办公业务通讯,一级骨干网使用 MGX 网络。
阶段二
生产和办公相互独立,广域网由生产网和办公网两部分组成,上海中心正式
投入运行,主要生产业务迁移至上海数据中心。广域网网络结构如下:
链路设计
在生产网中,核心骨干网使用 2 条 POS 链路互连北京数据中心和上海数据
中心,一级骨干网中每家一级分行使用 4 条 ATM 链路上连北京和上海数据中心。
一级骨干网中每家一级分行增加了 2 条上连上海中心的 ATM 链路,使一级
骨干网的网络结构更加完善。
在办公网中,核心骨干网使用 2 条 POS 链路互连北京数据中心和上海数据
中心,一级骨干网使用原来的 MGX 网络。
带宽设计
在生产网中,核心骨干网 2 条 POS 链路的带宽为每条 622M,一级骨干网中
每家一级分行 4 条 ATM 链路的带宽为每条 2M、4M、6M 不等。
核心骨干网 2 条 622M 链路不仅提供两个数据中心的高速数据交换,而且为
一级分行提供迂回通讯路径。
一级骨干网中,每家分行通过 4 条等值带宽的 ATM 链路上连北京和上海数
据中心,上连上海数据中心的 2 条 ATM 链路用于承载生产联机、生产批量数据,
上连北京数据中心的链路用于承载测试数据。每个一级分行 ATM 链路的带宽分
配值与阶段一相同。
在办公网中,核心骨干网 2 条 POS 链路的带宽为每条 155M,一级骨干网使
用原来的 MGX 网络。
拓扑设计
在生产网中,北京数据中心和上海数据中心通过高速链路互连,形成核心骨
干网结构。一级分行增加与上海数据中心的连接,实现同时与北京和上海数据中
心的互连,形成完整的一级骨干网结构。
一级分行直连上海数据中心后,数据通讯路径发生改变,一级分行的生产联
机通讯直接上连上海数据中心,生产批量通讯经上海数据中心到达北京数据中心,
测试通讯直接上连北京数据中心。
在办公网中,北京数据中心和上海数据中心通过高速链路互连,用于两个中
心之间的办公业务通讯,一级骨干网使用 MGX 网络。
阶段三
生产和办公实现业务整合,办公网并入生产网,统一成一个广域网。广域网
网络结构如下:
链路设计
核心骨干网使用 2 条 POS 链路互连北京和上海数据中心,一级骨干网中每
家一级分行使用 3 条(或 2 条)ATM 链路上连北京和上海数据中心。
一级骨干网链路会逐渐减少,一级分行上连北京和上海数据中心的链路从 4
条减至 3 条,甚至 2 条。通过减少一级骨干链路可以优化网络结构,提高核心骨
干网的利用率。
带宽设计
核心骨干网 2 条 POS 链路的带宽为 2 条 622M,一级骨干网中每家一级分行
的 ATM 链路的带宽总量不变。
核心骨干网的 2 条 622M 链路分别用于承载生产和办公业务,在故障情况下
能够互相备份。
一级骨干网中,每家分行通过 3 条(或 2 条)链路上连北京和上海数据中心,
带宽总量不变,减少链路的带宽增加至同个数据中心(北京或上海)的剩余广域
链路上。
拓扑设计
北京数据中心和上海数据中心通过高速链路互连,形成核心骨干网结构。一
级分行同时上连北京数据中心和上海数据中心,形成一级骨干网结构。
一级骨干网将对链路进行优化,每个一级分行的上连链路从 4 条逐步精简
到 3 条,最后 2 条。一级分行的所有生产类通讯直接上连上海数据中心,所有办
公类通讯直接上连北京数据中心。
生产、办公二网融合,全部业务切换至广域网。MGX 网上不再承载任何数
据,在广域网运行一段时间后,MGX 网络将退出使用。
分行接入标准
北京、上海数据中心的局域网建设是完全符合数据中心建设规范要求的,达
到了广域网接入的全部条件。一级分行的局域网改造工作相对滞后,无法在广域
网建设之前完全达到规范组网的要求,因此在广域网建设的不同阶段制定不同的
分行接入标准,以保证所有的分行具备广域网接入条件。
阶段一
一级分行广域接入的网络结构如下:
一级分行的广域网接入标准如下:
局域网结构
一级分行的生产局域网尚未改造完成,没有形成统一的生产局域网核心,生
产上连区直接与广域区相连。
广域区结构
由分行提供 2 台三层交换机,完成广域区内部的网络互连,广域区交换机直
接与生产上连区交换机相连。
阶段二
一级分行广域接入的网络结构如下:
一级分行的广域网接入标准如下:
局域网结构
生产局域网改造完成,生产上连区回归生产核心区,通过生产核心区接入广
域区。
广域区结构
广域区交换机直接与生产局域网的核心交换机相连。
阶段三
一级分行广域接入的网络结构如下:
一级分行的广域网接入标准如下:
局域网结构
办公局域网改造完成,整个局域网结构达到一级分行数据中心建设规范要求。
将办公局域网也接入广域区,实现二网融合。
广域区结构
生产和办公的广域区合并,广域区交换机同时与生产局域网核心交换机和办
公局域网核心交换机相连。
第五章 冗余策略
拓扑冗余策略
拓扑冗余策略设计原则
拓扑冗余策略是指网络拓扑结构所提供的冗余能力,通过合理设计网络拓扑
结构可以提高网络的可靠性和使用效率,网络拓扑冗余策略的设计原则如下:
数据分流
广域链路正常情况下,不同类别的应用运行在不同的广域链路上,以充分利
用广域网络带宽。
北京数据中心为管理决策中心,所有办公类业务(包括测试)运行在上连北
京数据中心的广域链路上,上海数据中心为生产业务中心,所有生产类业务
运行在上连上海的广域链路上,与应用实际所在的位置(北京数据中心或上
海数据中心)无关。
冗余备份
广域链路故障情况下,原先运行在故障链路上的应用能够迅速切换到其他正
常的广域链路上,保证业务的不间断运行。
冗余备份策略分为两个层次,包括数据中心内部的冗余和数据中心之间的冗
余。当链路发生故障时,首先在数据中心内部查找备份链路,如果本中心内
没有任何可用链路,再查找跨数据中心的备份链路。
拓扑冗余策略(阶段一)
核心骨干网
核心骨干网网络拓扑结构如下:
核心骨干网由 2 条 POS 622M 链路构成,由于上海数据中心还在建设之中,
核心骨干网上并没有数据流量。
一级骨干网
一级骨干网网络拓扑结构如下:
一级骨干网中每个一级分行由 2 条 ATM 链路构成,上连北京数据中心,分
别承载生产联机和生产批量(测试)等业务,业务与链路的对应关系如下:
业务类型
线路序号
生产联机 生产批量
(测试)
一级分行到北京数据
中心链路一
1 2
一级分行到北京数据
中心链路二
2 1
注:表格中的数字标识链路选择的顺序,数字小的优先。
在网络正常条件下,生产联机业务运行在一级骨干网链路一(一级分行到北
京数据中心链路一)上,生产批量(测试)业务运行在一级骨干网链路二(一级
分行到北京数据中心的链路二)上。
当一级骨干网链路一发生故障时,其上承载的生产联机业务切换至一级骨干
网链路二。
当一级骨干网链路二发生故障时,其上承载的生产批量(测试)业务切换至
一级骨干网链路一。
拓扑冗余策略(阶段二)
核心骨干网
核心骨干网网络拓扑结构如下:
核心骨干网由 2 条 POS 622M 链路构成,分别承载生产联机和生产批量(测
试)等业务,业务与链路的对应关系如下:
业务类型
线路序号
生产联机 生产批量
北京数据中心到上海
数据中心链路一
1 2
北京数据中心到上海
数据中心链路二
2 1
在网络正常条件下,生产联机业务运行在核心骨干网链路一上,生产批量业
务运行在核心骨干网链路二上。
当核心骨干网链路一发生故障时,其上承载的生产联机业务切换至核心骨干
网链路二。
当核心骨干网链路二发生故障时,其上承载的生产批量业务切换至核心骨干
网链路一。
一级骨干网
一级骨干网网络拓扑结构如下:
一级骨干网中每个一级分行由 4 条 ATM 链路构成,分别承载生产联机和生
产批量、测试等业务,业务与链路的对应关系如下:
业务类型
线路序号
生产联机 生产批量 测试
一级分行到北京数据
中心链路一
3 4 2
一级分行到北京数据
中心链路二
4 3 1
一级分行到上海数据
中心链路一
1 2
一级分行到上海数据
中心链路二
2 1
在网络正常条件下,生产联机业务运行在一级骨干网链路三(一级分行到上
海数据中心链路一)上,生产批量业务运行在一级骨干网链路四(一级分行到上
海数据中心的链路二)上,测试业务运行在一级骨干网链路二(一级分行到北京
数据中心链路二)上,一级骨干网链路一(一级分行到北京数据中心链路一)作
为其他链路的备份。
对于上海数据中心,当一级骨干网链路三发生故障时,其上承载的生产联机
业务切换至一级骨干网链路四。当一级骨干网链路四发生故障时,其上承载的生
产批量业务切换至一级骨干网链路三。如果两条链路均发生故障,则生产联机切
换至一级骨干网链路一,生产批量切换至一级骨干网链路二。
对于北京数据中心,当一级骨干网链路二发生故障时,其上承载的测试业务
切换至一级骨干网链路一。如果两条链路均发生故障,不将测试业务切换至上海
数据中心。
拓扑冗余策略(阶段三)
核心骨干网
核心骨干网网络拓扑结构如下:
核心骨干网由 2 条 POS 622M 链路构成,分别承载生产联机、生产批量和办
公(测试)等业务,业务与链路的对应关系如下:
业务类型
线路序号
生产联机
生产批量
办公
测试
北京数据中心到上海
数据中心链路一
1 2
北京数据中心到上海
数据中心链路二
2 1
在网络正常条件下,生产联机、生产批量业务运行在核心骨干网链路一上,
办公(测试)业务运行在核心骨干网链路二上。
当核心骨干网链路一发生故障时,其上承载的生产联机、生产批量业务切换
至核心骨干网链路二。
当核心骨干网链路二发生故障时,其上承载的办公(测试)业务切换至核心
骨干网链路一。
一级骨干网
一级骨干网网络拓扑结构如下:
(3 条链路)
(2 条链路)
注:阶段三中,一级骨干网链路可能经历两次调整,广域网链路从 3 条减少到 2 条。
一级骨干网中每个一级分行由 3 条(或 2 条)ATM 链路构成,分别承载生
产联机、生产批量和办公、测试等业务,在 3 条链路情况下,业务与链路的对应
关系如下:
业务类型
线路序号
生产联机 生产批量 办公(测试)
一级分行到北京数据中
心链路二
3 3 1
一级分行到上海数据中
心链路一
1 2
一级分行到上海数据中
心链路二
2 1 2
在 2 条链路情况下,业务与链路的对应关系如下:
业务类型
线路序号
生产联机
生产批量
办公(测试)
一级分行到北京数据中
心链路二
2 1
一级分行到上海数据中
心链路一
1 2
在网络正常条件下,生产联机、生产批量业务运行在上连上海数据中心的广
域链路上,办公(测试)业务运行在上连北京数据中心的广域链路上。
上连上海数据中心的广域链路发生故障时(如果本中心内没有冗余链路),
其上承载的生产联机、生产批量业务切换至上连北京数据中心的广域链路上。
上连北京数据中心的广域链路发生故障时(如果本中心内没有冗余链路),
其上承载的办公(测试)业务切换至上连上海数据中心的广域链路上。
运营商、设备、板卡冗余策略
运营商、设备、板卡冗余策略设计原则
运营商、设备、板卡冗余也是冗余策略的重要组成部分,它们的设计原则如
下:
运营商冗余
分行与北京数据中心(上海数据中心)的两条链路必须由 2 家运营商提供。
每台设备尽可能使用多家运营商链路。
设备冗余
设备本身必须高度冗余,包括电源冗余、主控板冗余、交换网板冗余等。
板卡冗余
一台设备内的多条链路尽可能均匀分布在不同的板卡上。
运营商、设备、板卡冗余策略阶段一、二、三(核心骨干网)
核心骨干网的设备互连情况如下:
运营商冗余
核心骨干网使用 2 条 POS 622M 链路,分别由 2 家运营商提供,确保单个运
营商链路的故障不会导致核心骨干网全部中断。
设备冗余
核心骨干网所使用的设备为 4 台 NE80 路由器,关键部件都提供了冗余备份。
电源冗余:NE80 路由器的电源系统采用 N+1 备份,NE40 路由器的电源系
统采用 1+1 备份,支持双路电源输入,保证电源的稳定供给。
主控板冗余:NE80 路由器配置双主控板,主控板为路由器的协议处理中心,
两个主控板之间可以平滑切换,保证业务的持续转发。
交换网板冗余:所有 NE80 路由器配置双交换网板,交换网板为板卡之间通
讯提供交换通道,两块交换网板可以协同工作,提高背板容量。
板卡冗余
每台核心骨干网设备配置了 2 块 POS 622M 板卡,一块为主用板卡(接 POS
链路),另一块为备用板卡,当主用板卡出现故障时,可以人工将 POS 链路
转接至备用板卡。
运营商、设备、板卡冗余策略阶段一、二(一级骨干网)
一级骨干网的设备互连情况如下:
运营商冗余
一级骨干网中每家一级分行使用 4 条 ATM 链路上连北京和上海数据中心,
上连北京数据中心的 2 条 ATM 链路分别由 2 家运营商(SP1 和 SP2)提供,
上连上海数据中心的 2 条 ATM 链路也由 2 家运营商(SP1 和 SP2)提供,
确保单个运营商链路的故障不会导致某个数据中心的一级骨干网链路全部
中断。
设备冗余
一级骨干网所使用的设备包括 NE80(北京和上海数据中心、一级分行)和
NE40(一级分行)路由器,关键部件都提供了冗余备份。
电源冗余:NE80 路由器的电源系统采用 N+1 备份,NE40 路由器的电源系
统采用 1+1 备份,支持双路电源输入,保证电源的稳定供给。
主控板冗余:NE80 和 NE40 路由器均配置双主控板,主控板为路由器的协
议处理中心,两个主控板之间可以平滑切换,保证业务的持续转发。
交换网板冗余:所有 NE80 路由器配置双交换网板,交换网板为板卡之间通
讯提供交换通道,两块交换网板可以协同工作,提高背板容量。
板卡冗余
北京和上海数据中心的每台一级骨干路由器配置 2 块 ATM 板卡,每台路由
器需要与 36 家一级分行互连,将 36 家分行平均分布在 2 块 ATM 板卡上,
每块接入 18 家一级分行。单块板卡故障只影响一半分行单条链路的连通性,
经过路由收敛后,受影响分行的业务会迅速切换至其他路由器上。
一级分行的每台一级骨干路由器配置 2 块 ATM 板卡,分别与北京和上海数
据中心的一级骨干路由器互连。单块板卡故障只影响单条链路的连通性,其
余 3 条链路不受影响。
运营商、设备、板卡冗余策略阶段三(一级骨干网)
一级骨干网的设备互连情况如下:
(3 条链路)
(2 条链路)
运营商冗余
一级骨干网中每家一级分行使用 3 条(或 2 条)ATM 链路上连北京和上海
数据中心。
在 3 条 ATM 链路的情况下,一级分行通过 1 条 ATM 链路上连北京数据中
心,2 条 ATM 链路上连上海数据中心。上连北京数据中心的 1 条 ATM 链
路分别由运 SP2 提供,上连上海数据中心的 2 条 ATM 链路由 2 家运营商
SP1 和 SP2 提供。单个运营商链路的故障(如 SP2)不会导致一级骨干网链
路全部中断。
在 2 条 ATM 链路的情况下,一级分行通过 1 条 ATM 链路上连北京数据中
心,另 1 条 ATM 链路上连上海数据中心。上连北京数据中心的 1 条 ATM
链路由运 SP2 提供,上连上海数据中心的 1 条 ATM 链路由 SP1 提供,运营
商的线路是完全冗余的。
设备冗余
一级骨干网所使用的设备包括 NE80(北京和上海数据中心、一级分行)和
NE40(一级分行)路由器,关键部件都提供了冗余备份。
电源冗余:NE80 路由器的电源系统采用 N+1 备份,NE40 路由器的电源系
统采用 1+1 备份,支持双路电源输入,保证电源的稳定供给。
主控板冗余:NE80 和 NE40 路由器均配置双主控板,主控板为路由器的协
议处理中心,两个主控板之间可以平滑切换,保证业务的持续转发。
交换网板冗余:所有 NE80 路由器配置双交换网板,交换网板为板卡之间通
讯提供交换通道,两块交换网板可以协同工作,提高背板容量。
板卡冗余
将北京数据中心的一级骨干网链路减为 1 条后,板卡布局需要进行调整,否
则会出现其中一台路由器没有任何 ATM 接入的情况。北京数据中心一级骨
干路由器二的 2 块 ATM 板卡上各有一个 ATM 端口链路需要迁移到一级骨
干路由器一上,调整后的板卡布局如下:
如果将上海数据中心的广域链路也减为 1 条,板卡布局也需要进行调整,调
整后布局如下(与北京数据中心的板卡布局完全相同):
北京数据中心(上海数据中心)一级骨干路由器板卡布局经过调整后,布局
规则没有变化,所用 ATM 端口都分布在 2 块板卡上,单块板卡故障,只影
响一半分行单条链路的连通性。
一级分行骨干路由器上每台路由器的 2 块 ATM 板卡为主备关系,正常情况
下,通过主板卡上连,主板卡故障时,可以将 ATM 链路人工迁移到备用板
卡上。
第六章 路由策略
路由总体规划
路由协议选择
路由协议用于学习和维护路由,为网络通讯提供最佳路径,路由协议选择原
则如下:
开放性和标准化
必须使用国际标准的路由协议,保证网络的开放性,支持不同厂商设备的路
由互连。
可扩展性
使用的路由协议必须具备良好的扩展能力,能够支持网络规模的持续增长。
支持数据分流
路由协议应该支持灵活的路由策略,通过调整路由策略,可以实现数据分流。
基于以上三点选择原则,广域网建设宜采用 BGP+OSPF 的双层路由体系,
BGP、OSPF 都是 IETF 制定的通用路由协议,具备良好的扩展能力,而且结合
BGP 和 OSPF 各自的优势,非常容易实现数据分流。
BGP 是一种外部网关路由协议,主要用于大型网络之间的路由交换。BGP
能够处理超大容量的路由信息,支持丰富的路由属性,能够实现灵活的路由策略。
OSPF 是一种内部网关路由协议,用于自治系统内部的路由交换。OSPF 是
目前最为流行的 IGP 路由协议,支持层次化路由体系,具备良好的扩展能力。
路由协议部署(阶段一、二)
路由协议总体部署如下图所示:
广域网
广域网包括核心骨干网和一级骨干网,都使用 BGP 路由协议。
核心骨干网中,北京数据中心的核心骨干路由器与上海中心的核心骨干路由
器之间建立 eBGP 邻居关系,相互交换生产联机、生产批量路由,eBGP 路由边
界在核心骨干路由器上。
一级骨干网中,北京数据中心的一级骨干路由器与一级分行的一级骨干路由
器之间建立 eBGP 邻居关系,相互交换生产联机、生产批量、测试路由,上海数
据中心的一级骨干路由器与一级分行的一级骨干路由器之间建立 eBGP 邻居关
系,相互交换生产联机、生产批量路由,eBGP 路由边界在北京、上海数据中心
和一级分行一级骨干路由器上。
广域区
北京、上海数据中心和一级分行的广域区使用 BGP+OSPF 的双层路由结构。
广域区的 OSPF 300 为独立的 OSPF 进程,用于广域区内部的网络互连,为
BGP 邻居关系的建立提供路由。
广域区的 BGP 用于交换实际的业务路由(生产联机、批量、测试等),广域
区设备使用 loopback 建立 iBGP 邻居关系,OSPF 300 和 iBGP 的路由边界包括广
域区的所有设备(路由器和交换机)。
局域网
生产局域网与广域区交换机相连,使用 OSPF 100 进程。广域区交换机为局
域网与广域网的路由边界点,负责 OSPF 100 与 BGP 的路由再发布。
将 BGP 的路由导入 OSPF 100,使生产局域网学到外部路由。
同时也将 OSPF 100 的路由以 network 的方式导入 BGP,使广域网学到生产
局域网的路由。
路由协议部署(阶段三)
路由协议总体部署如下图所示:
广域网
广域网包括核心骨干网和一级骨干网,都使用 BGP 路由协议。
核心骨干网中,北京数据中心的核心骨干路由器与上海中心的核心骨干路由
器之间建立 eBGP 邻居关系,相互交换生产联机、生产批量、办公路由,eBGP
路由边界在核心骨干路由器上。
一级骨干网中,北京数据中心的一级骨干路由器与一级分行的一级骨干路由
器之间建立 eBGP 邻居关系,相互交换生产联机、生产批量、办公、测试路由,
上海数据中心的一级骨干路由器与一级分行的一级骨干路由器之间建立 eBGP
邻居关系,相互交换生产联机、生产批量、办公路由,eBGP 路由边界在北京、
上海数据中心和一级分行一级骨干路由器上。
广域区
北京、上海数据中心和一级分行的广域区使用 BGP+OSPF 的双层路由结构。
广域区的 OSPF 300 为独立的 OSPF 进程,用于广域区内部的网络互连,为
BGP 邻居关系的建立提供路由。
广域区的 BGP 用于交换实际的业务路由(生产联机、批量、办公、测试
等),广域区设备使用 loopback 建立 iBGP 邻居关系,OSPF 300 和 iBGP 的路由
边界包括广域区的所有设备(路由器和交换机)。
局域网
生产、办公局域网分别与广域区交换机相连,生产使用 OSPF 100 进程,办
公使用 OSPF 200 进程。广域区交换机为局域网与广域网的路由边界点,负责
OSPF 100、200 与 BGP 的路由再发布。
将 BGP 中的生产路由导入 OSPF 100,办公路由导入 OSPF 200,使生产局
域网学到外部生产路由,办公局域网学到外部办公路由。
同时也将 OSPF 100、200 的路由以 network 方式导入 BGP,使广域网学到
生产、办公局域网的路由。
广域网路由策略
阶段一、二
广域网的具体路由策略部署如下图所示:
路由发布
北京、上海数据中心的核心骨干路由器之间相互发布生产联机和生产批量
(测试)路由,包括本中心和分行的路由。
北京数据中心的一级骨干路由器与一级分行一级骨干路由器之间相互发布
生产联机、生产批量、测试路由,北京数据中心只发布北京和上海数据中心的路
由,分行只发布本行的路由,保证分行之间不会互相学到生产路由,分行也不会
成为中转区域。
上海数据中心的一级骨干路由器与一级分行一级骨干路由器之间相互发布
生产联机、生产批量路由,上海数据中心只发布北京和上海数据中心的路由,分
行只发布本行的路由,保证分行之间不会互相学到生产路由,分行也不会成为中
转区域。
数据分流
LP(Local Preference)为 BGP 选路规则中最重要的参数,通过调整 LP 可以
控制路由的选择顺序,LP 值大的路由优先。在广域网上,为了实现数据分流目
的,LP 的数值需满足以下条件:
生产联机:(LP1>LP2) > (LP3>LP4) > (LP5>LP6)
生产批量:(LP1<LP2) > (LP3<LP4) > (LP5<LP6)
测试:(LP5<LP6) > (LP3<LP4)
在核心骨干路由器和一级骨干路由器上,针对 eBGP 邻居应用入方向的路由
策略,根据路由的类型设置 LP 值,LP 的具体数值分配如下:
业务类型
线路序号
生产联机 生产批量 测试
北京数据中心到上海数
据中心链路一(LP3)
400 300 300
北京数据中心到上海数
据中心链路二(LP4)
300 400 400
一级分行到北京数据中
心链路一(LP5)
200 100 500
一级分行到北京数据中
心链路二(LP6)
100 200 600
一级分行到上海数据中
心链路一(LP1)
600 500
一级分行到上海数据中
心链路二(LP2)
500 600
路由标识
广域区在发布本地路由时会使用 Community 标识路由的类别,通过
Community 可以简化路由的识别过程,路由策略可以直接调用 Community 属性,
根据 Community 设置 BGP 的其他属性,达到灵活选路的目的。
针对实际的路由分布情况,我们采用两级 Community 结构,第一级为行级
和 ID Community,前两个字节表示行级,后两个字节表示总行或分行的 ID,第
二级为业务类型 Community,前两个字节表示路由类别(生产、办公、广域网),
后两个字节表示具体的业务类型,两级 Community 具体数值分配如下:
行级和 ID 一级 Community
北京数据中心 100:1
上海数据中心 100:2
一级分行 101:101-141
(行级和 ID Community 分配)
业务类型 二级 Community
生产联机 201:1
国际业务 201:2
生产批量 201:3
测试 201:4
运行管理 201:5
办公 202:1
广域网 203:1
(业务类型 Community 分配)
比如北京数据中心的生产联机路由的 Community 值为 100:1 201:1,山东分
行一级骨干路由器管理地址路由的 Community 值为 101:115 203:1。
阶段三
广域网的具体路由策略部署如下图所示:
路由发布
北京、上海数据中心的核心骨干路由器之间相互发布生产联机、生产批量和
办公(测试)路由,包括本中心和分行的路由。
北京数据中心的一级骨干路由器与一级分行一级骨干路由器之间相互发布
生产联机、生产批量、办公(测试)路由,北京数据中心发布北京和上海数据中
心的生产路由和全部的办公路由,分行只发布本行的生产和办公路由,保证分行
之间不会互相学到生产路由,但可以学到所有的办公路由,分行也不会成为中转
区域。
上海数据中心的一级骨干路由器与一级分行一级骨干路由器之间相互发布
生产联机、生产批量、办公路由,上海数据中心发布北京和上海数据中心的生产
路由和全部办公路由,分行只发布本行的生产和办公路由,保证分行之间不会互
相学到生产路由,但可以学到所有的办公路由,分行也不会成为中转区域。
数据分流
为了实现数据分流目的,LP 的数值需满足以下条件:
生产联机:(LP1/2) > (LP3>LP4) > (LP5/6)
生产批量:(LP1/2) > (LP3>LP4) > (LP5/6)
办公:(LP1/2) < (LP3<LP4) < (LP5/6)
测试:(LP5/6) > (LP3<LP4)
在核心骨干路由器和一级骨干路由器上,针对 eBGP 邻居应用入方向的路由
策略,根据路由的类型设置 LP 值,LP 的具体数值分配如下:
业务类型
线路序号
生产联机 生产批量 办公 测试
北京数据中心到上海数
据中心链路一(LP3)
400 400 300 300
北京数据中心到上海数
据中心链路二(LP4)
300 300 400 400
一级分行到北京数据中
心链路二(LP6)
200 100 500 600
一级分行到上海数据中
心链路一(LP1)
600 500 100
一级分行到上海数据中
心链路二(LP2)
500 600 200
(3 条链路)
业务类型
线路序号
生产联机 生产批量 办公 测试
北京数据中心到上海数
据中心链路一(LP3)
400 400 300 300
北京数据中心到上海数 300 300 400 400
据中心链路二(LP4)
一级分行到北京数据中
心链路二(LP6)
200 100 500 600
一级分行到上海数据中
心链路一(LP1)
600 500 100
(2 条链路)
路由标识
针对实际的路由分布情况,我们采用两级 Community 结构,第一级为行级
和 ID Community,前两个字节表示行级,后两个字节表示总行或分行的 ID,第
二级为业务类型 Community,前两个字节表示路由类别(生产、办公、广域网),
后两个字节表示具体的业务类型,两级 Community 具体数值分配如下:
行级和 ID 一级 Community
北京数据中心 100:1
上海数据中心 100:2
一级分行 101:101-141
(行级和 ID Community 分配)
业务类型 二级 Community
生产联机 201:1
国际业务 201:2
生产批量 201:3
测试 201:4
运行管理 201:5
办公 202:1
广域网 203:1
(业务类型 Community 分配)
比如北京数据中心的生产联机路由的 Community 值为 100:1 201:1,山东分
行一级骨干路由器管理地址路由的 Community 值为 101:115 203:1。
广域区路由策略
阶段一、二
广域区的具体路由策略部署如下图所示:
IGP 路由策略
北京、上海数据中心和一级分行的广域区使用 OSPF 作为 IGP 路由协议,进
程号为 300。
广域区的每台设备上创建一个 loopback0 接口,并用 loopback0 的地址作为
OSPF 的 Router ID。
OSPF 300 划分一个 Area 0,广域区所有设备运行在 Area 0 中,互连链路的
OSPF Cost 设置如下:
链路 OSPF Cost Network Type Area ID
广域区交换机一到广
域区交换机二
10 P2P
广域区交换机一到核
心骨干路由器一
10 P2P
广域区交换机一到核
心骨干路由器二
15 P2P
广域区交换机二到核
心骨干路由器一
15 P2P
广域区交换机二到核
心骨干路由器二
10 P2P
广域区交换机一到一
级骨干路由器一
10 P2P
广域区交换机一到一
级骨干路由器二
15 P2P
广域区交换机二到一
级骨干路由器一
15 P2P
广域区交换机二到一
级骨干路由器二
10 P2P
(北京、上海数据中心)
链路 OSPF Cost Network Type Area ID
广域区交换机一到广
域区交换机二
10 P2P
广域区交换机一到一
级骨干路由器一
10 P2P
广域区交换机一到一
级骨干路由器二
15 P2P
广域区交换机二到一
级骨干路由器一
15 P2P
广域区交换机二到一
级骨干路由器二
10 P2P
(一级分行)
考虑到安全因素,OSPF 邻居间使用 MD5(Message Digest)认证,以保证
OSPF 消息传递的可靠性。
iBGP 路由策略
北京、上海数据中心和一级分行的广域区内使用 iBGP 交换实际的业务路由,
IGP 为 iBGP 建立邻居关系提供路由。
广域区主要设备(包括广域区交换机和核心、一级骨干路由器)之间建立全
连接的 iBGP 邻居关系,相互之间直接交换路由,通过全连接可以提高 BGP 路
由的收敛速度和网络的可靠性。但是两台广域区交换机之间并不建立 iBGP 邻居
关系,目的是简化从 BGP 导入 OSPF 的路由策略。如果将来有其他的设备,如
同城机构、二级骨干路由器接入广域网区,可以将广域区交换机设置为路由反射
器,加入同一个 Cluster,Cluster ID 为广域区交换机一的 loopback 地址,新加入
的设备设置为路由反射器客户端,通过路由反射器与核心或一级骨干路由器交换
路由。
在广域区交换机上需要将局域网路由导入 iBGP,并设置相应的 Community
和 Local Preference 值,主要包括以下路由:
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:0
65001:1
65002:101
800 700
生产批量 65000:0
65001:1
65002:102
800 700
测试 65000:0
65001:1
65002:103
800 700
运行管理 65000:0
65001:1
65002:198
800 700
生产其他 65000:0
65001:1
65002:199
800 700
(北京数据中心)
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:0
65001:1
65002:101
800 700
生产批量 65000:0
65001:1
65002:102
800 700
测试 65000:0
65001:1
65002:103
800 700
网管网段 65000:0
65001:1
65002:198
800 700
生产其他 65000:0
65001:1
65002:199
800 700
(上海数据中心)
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:1
65001:1
65002:101
800 700
生产批量 65000:1
65001:1
65002:102
800 700
测试 65000:1
65001:1
65002:103
800 700
网管网段 65000:1
65001:1
65002:198
800 700
生产其他 65000:1
65001:1
65002:199
800 700
(一级分行)
阶段三
广域区的具体路由策略部署如下图所示:
IGP 路由策略
北京、上海数据中心和一级分行的广域区使用 OSPF 作为 IGP 路由协议,进
程号为 300。
广域区的每台设备上创建一个 loopback0 接口,并用 loopback0 的地址作为
OSPF 的 Router ID。
OSPF 300 划分一个 Area 0,广域区所有设备运行在 Area 0 中,互连链路的
OSPF Cost 设置如下:
链路 OSPF Cost Network Type Area ID
广域区交换机一到广
域区交换机二
10 P2P
广域区交换机一到核
心骨干路由器一
10 P2P
广域区交换机一到核
心骨干路由器二
15 P2P
广域区交换机二到核
心骨干路由器一
15 P2P
广域区交换机二到核
心骨干路由器二
10 P2P
广域区交换机一到一
级骨干路由器一
10 P2P
广域区交换机一到一
级骨干路由器二
15 P2P
广域区交换机二到一
级骨干路由器一
15 P2P
广域区交换机二到一
级骨干路由器二
10 P2P
(北京、上海数据中心)
链路 OSPF Cost Network Type Area ID
广域区交换机一到广
域区交换机二
10 P2P
广域区交换机一到一
级骨干路由器一
10 P2P
广域区交换机一到一
级骨干路由器二
15 P2P
广域区交换机二到一
级骨干路由器一
15 P2P
广域区交换机二到一
级骨干路由器二
10 P2P
(一级分行)
考虑到安全因素,OSPF 邻居间使用 MD5(Message Digest)认证,以保证
OSPF 消息传递的可靠性。
iBGP 路由策略
北京、上海数据中心和一级分行的广域区内使用 iBGP 交换实际的业务路由,
IGP 为 iBGP 建立邻居关系提供路由。
广域区主要设备(包括广域区交换机和核心、一级骨干路由器)之间建立全
连接的 iBGP 邻居关系,相互之间直接交换路由,通过全连接可以提高 BGP 路
由的收敛速度和网络的可靠性。但是两台广域区交换机之间并不建立 iBGP 邻居
关系,目的是简化从 BGP 导入 OSPF 的路由策略。如果将来有其他的设备,如
同城机构、二级骨干路由器接入广域网区,可以将广域区交换机设置为路由反射
器,加入同一个 Cluster,Cluster ID 为广域区交换机一的 loopback 地址,新加入
的设备设置为路由反射器客户端,通过路由反射器与核心或一级骨干路由器交换
路由。
在广域区交换机上需要将局域网路由导入 iBGP,并设置相应的 Community
和 Local Preference 值,主要包括以下路由:
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:0
65001:1
65002:101
800 700
生产批量 65000:0
65001:1
65002:102
800 700
测试 65000:0
65001:1
65002:103
800 700
运行管理 65000:0
65001:1
65002:198
800 700
生产其他 65000:0
65001:1
65002:199
800 700
办公 65000:0
65001:2
65002:200
700 800
办公其他 65000:0
65001:2
65002:299
700 800
(北京数据中心)
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:0
65001:1
800 700
65002:101
生产批量 65000:0
65001:1
65002:102
800 700
测试 65000:0
65001:1
65002:103
800 700
运行管理 65000:0
65001:1
65002:198
800 700
生产其他 65000:0
65001:1
65002:199
800 700
办公 65000:0
65001:2
65002:200
700 800
办公其他 65000:0
65001:2
65002:299
700 800
(上海数据中心)
业务类型 网段 Community 交换机一 LP 交换机二 LP
生产联机 65000:1
65001:1
65002:101
800 700
生产批量 65000:1
65001:1
65002:102
800 700
测试 65000:1
65001:1
65002:103
800 700
运行管理 65000:1
65001:1
65002:198
800 700
生产其他 65000:1
65001:1
65002:199
800 700
办公 65000:1
65001:2
65002:200
700 800
办公其他 65000:1
65001:2
65002:299
700 800
(一级分行)
局域网路由策略
阶段一、二
局域网的具体路由策略部署如下图所示:
生产局域网使用 OSPF 路由协议,进程号为 100。
广域区交换机为局域网与广域网的边界点,负责 OSPF 100 与 iBGP 的路由
再发布。在广域网交换机上将 iBGP 中生产联机、生产批量、测试路由导入 OSPF
100,并设置相应的 OSPF Cost:
业务类型 Community OSPF Process 交换机一 Cost 交换机二 Cost
生产联机 65001:1 100 100 1000
生产批量 65001:1 100 100 1000
测试 65001:1 100 100 1000
运行管理 65001:1 100 100 1000
生产其他 65001:1 100 100 1000
阶段三
局域网的具体路由策略部署如下图所示:
生产、办公局域网都使用 OSPF 路由协议,生产 OSPF 进程号为 100,办公
OSPF 进程号为 200。
广域区交换机为局域网与广域网的边界点,负责 OSPF 100、200 与 iBGP 的
路由再发布。在广域网交换机上将 iBGP 中生产联机、生产批量、测试路由导入
OSPF 100,办公路由导入 OSPF 200,并设置相应的 OSPF Cost:
业务类型 Community OSPF Process 交换机一 Cost 交换机二 Cost
生产联机 65001:1 100 100 1000
生产批量 65001:1 100 100 1000
测试 65001:1 100 100 1000
运行管理 65001:1 100/200 100/1000 1000/100
生产其他 65001:1 100 100 1000
办公 65001:1 200 1000 100
办公其他 65001:1 200 1000 100
第七章 流量工程
流量分布
阶段一
广域网上承载的应用包括生产联机、生产批量、测试等,各应用的流量分布
情况如下图所示:
生产联机流量经过一级分行到北京数据中心的广域链路一,生产批量、测试
流量经过一级分行到北京数据中心的广域链路二,在链路故障情况下,两条链路
可以互相切换备份。
阶段二
广域网上承载的应用包括生产联机、生产批量、测试等,各应用的流量分布
情况如下图所示:
生产联机流量经过一级分行到上海数据中心的广域链路一,生产批量经过一
级分行到上海数据中心的广域链路二,再经过核心骨干链路二到达北京数据中心,
测试流量经过一级分行到北京数据中心的广域链路二,一级分行到北京数据中心
的广域链路一作为其他三条链路的备份线路,在链路故障情况下,4 链路可以互
相切换备份。
阶段三
广域网上承载的应用包括生产联机、生产批量、办公、测试等,各应用的流
量分布情况如下图所示:
(3 条链路流量分布图)
一级骨干网 3 条链路情况下,生产联机流量经过一级分行到上海数据中心的
广域链路一,生产批量经过一级分行到上海数据中心的广域链路二,再经过核心
骨干链路二到达北京数据中心,办公、测试流量经过一级分行到北京数据中心的
广域链路二,在链路故障情况下,3 链路可以互相切换备份。
一级骨干网 2 条链路情况下,生产联机、生产批量流量经过一级分行到上海
数据中心的广域链路一,生产批量再经过核心骨干链路二到达北京数据中心,办
公、测试流量经过一级分行到北京数据中心的广域链路二,在链路故障情况下,
2 链路可以互相切换备份。
QoS 策略
总体策略
根据 X 行实际的组网结构和流量分布情况,QoS 策略采用 DiffServ 模型,
在网络的入口处对数据包进行 DSCP 标识,在广域网上部署 CBQ 和 WRED 技术,
根据数据包的 DSCP 值分配带宽,提供区分式服务。QoS 总体策略如下所示:
(阶段一、二 QoS 总体策略)
(阶段三 QoS 总体策略)
广域网上承载了不同种类的应用数据,根据这些应用的重要性和带宽消耗,
给它们分配不同的 DSCP 值,映射到相应的队列中,DSCP 值具体分配如下:
数据流 优先级 Class DSCP 值
网络控制信息
运行管理数据流
视频/语音数据流
高 EF 101110
生产联机数据流 100-010
国际业务数据流
高 AF4
100-100
生产批量数据流 较高 AF3 011-010
办公数据流 一般 AF2 010-010
测试数据流 一般 AF1 001-010
其他 低 BE 000000
在网络正常条件下,生产联机、生产批量、办公、测试等业务运行在各自的
链路上,相互之间不存在带宽竞争关系。发生链路故障的情况下,受影响的业务
将被切换到其他正常链路上,多种业务之间便可能形成带宽竞争。为了确保关键
业务在任何链路条件下都能优先得到服务,全网采用统一的 QoS 策略,核心骨
干网的 2 条广域链路的 QoS 策略相同,一级骨干网的 4 条广域链路的策略也相
同,即使链路发生故障,某些业务切换到备份链路上后,依然能够得到原来的带
宽。
阶段一、二
根据 QoS 总体策略,DSCP 的标识应该局域网接入层设备完成,考虑到局域
网环境的实际条件,在广域区交换机上对局域网进入的数据流作统一标记。
广域区内部使用 1000M 以太网互连,通常情况下不会产生拥塞,因此可以
不作 QoS 保障。
在核心骨干和一级骨干路由器的广域接口上使用 CBQ 和 WRED 技术,通
过 CBQ 为各种应用分配相应的带宽,WRED 可以预测网络的拥塞情况,提前丢
弃非关键的数据包,防止 TCP 的全局同步问题。
广域链路用于 QoS 分配的带宽比例设置为物理带宽的 90%,核心骨干网 2
条链路的具体带宽分配如下:
业务类型 带宽比例 622M 链路
网络控制 10% 622M*90%*10%=55M
生产联机
国际业务
45% 622M*90%*45%=250M
生产批量 35% 195M
测试 10% 55M
一级分行到北京、上海数据中心 4 条链路的具体带宽分配如下:
业务类型 带宽比例 2M 链路 4M 链路 6M 链路
网络控制 10% 180K 360K 540K
生产联机
国际业务
55% 990K 1980K 2970K
生产批量 25% 450K 900K 1350K
空闲 10% 180K 360K 540K
(分行到上海数据中心的线路一、二带宽分配)
业务类型 带宽比例 2M 链路 4M 链路 6M 链路
网络控制 10% 180K 360K 540K
生产联机
国际业务
55% 990K 1980K 2970K
生产批量 25% 450K 900K 1350K
测试 10% 180K 360K 540K
(分行到北京数据中心的线路一、二带宽分配)
阶段三
根据 QoS 总体策略,DSCP 的标识应该局域网接入层设备完成,考虑到局域
网环境的实际条件,在广域区交换机上对局域网进入的数据流作统一标记。
广域区内部使用 1000M 以太网互连,通常情况下不会产生拥塞,因此可以
不作 QoS 保障。
在核心骨干和一级骨干路由器的广域接口上使用 CBQ 和 WRED 技术,通
过 CBQ 为各种应用分配相应的带宽,WRED 可以预测网络的拥塞情况,提前丢
弃非关键的数据包,防止 TCP 的全局同步问题。
广域链路用于 QoS 分配的带宽比例设置为物理带宽的 90%,核心骨干网 2
条链路的具体带宽分配如下:
业务类型 带宽比例 622M 链路
网络控制 10% 55M
生产联机
国际业务
35% 195M
生产批量 25% 135M
办公 20% 110M
测试 10% 55M
一级分行到北京、上海数据中心 2 条链路的具体带宽分配如下:
业务类型 带宽比例 4M 链路 8M 链路 12M 链
路
网络控制 5% 180K 360K 540K
生产联机
国际业务
40% 1440K 2880K 4320K
生产批量 25% 900K 1800K 2700K
办公 20% 720K 1440K 2160K
空闲 10% 360K 720K 1080K
(分行到上海数据中心的线路一带宽分配)
业务类型 带宽比例 4M 链路 8M 链路 12M 链
路
网络控制 5% 180K 360K 540K
生产联机
国际业务
40% 1440K 2880K 4320K
生产批量 25% 900K 1800K 2700K
办公 20% 720K 1440K 2160K
测试 10% 360K 720K 1080K
(分行到北京数据中心的线路二带宽分配)
第八章 网络安全
网络安全原则
网络安全是广域网建设中非常重要的一环,网络安全设计原则如下:
设备安全
主要指核心骨干路由器、一级骨干路由器以及广域区交换机的设备安全,只
有经过认证的用户才能访问广域网设备,防止非授权用户对网络设备的恶意攻击。
业务安全
通过路由加 ACL 的方式实现网络层面的安全防护,防止不信任应用之间的
互访。要实现全面的安全防护,还需要通过安全专用设备(防火墙、IDS 等)实
现应用层面的保护。
设备安全
设备安全的部署策略如下所示:
只开放必要的网络服务
网络设备可以提供很多网络服务,有些服务可能成为网络攻击的对象。为了
提供网络设备的安全级别,尽可能关闭不必要的服务,降低网络攻击的风险。
用户认证
用户认证应采用集中认证和本地认证相结合的方式,集中认证为主要认证方
式,本地认证为备份认证方式,在集中认证服务器无法访问的情况下使用本地认
证。
集中认证采用 Radius 认证协议,在 Radius 服务器上建立设备管理用户,通
过单一用户便可以实现全网设备的统一管理。同时在设备上建立本地用户数据库,
在 Radius 服务器不可用的情况下,使用本地数据库进行验证。
在 VTY 和 Console 接口上启用用户认证,认证方式为集中认证和本地认证
相结合。
Telnet 接入安全
TELNET 是对网络设备进行管理的主要手段,可以对设备进行最为有效的操
作,为了确保 TELNET 访问的合法性和安全性,我们需要注意:
(1)设置最大会话连接数;
(2)设置访问控制列表,限制 TELNET 的连接请求来自指定的源 IP 网段;
(3)尽量用 SSH 代替 TELNET,采用 SSH 的好处是所有信息以加密的形
式在网络中传输。
SNMP 安全
通过 SNMP 我们可以对设备进行全面的日常管理,为了提高 SNMP 管理的
安全性,需要应注意以下几点:
(1)避免使用缺省的 snmp community,设置高质量的口令;
(2)不同区域的网络设备采用不同的 snmp community;
(3)把只读 snmp community 和可读写 snmp community 区分开来;
(4)配置 ACL 来限制能够通过 SNMP 访问网络设备的网管服务器的 IP 地
址。
日志记录
为了能够对广域网设备进行监控和故障信息记录,需要记录网络设备的运行
状态。日志记录主要包括以下内容:
(1)收集网络设备的 SYSLOG;
(2)设置 SYSLOG Server(通常位于网管工作站上)用于收集所有网络设
备的 SYSLOG;
(3)所有的 SYSLOG 可以送到专门的事件管理服务器上,进行事件的压缩、
关联和分析,有利于更好的故障定位和处理。
(4)收集 SNMP Trap,通过网管工作站收集网络设备的 SNMP Trap 信息,
便于及时的故障处理;
(5)收集用户操作记录,通过 AAA 服务器,对用户进行认证、授权和行
为跟踪,产生相应的日志报告,以供安全审计。
路由协议安全
路由协议的安全主要指邻居关系的可靠建立和路由信息的安全交换,广域网
项目中主要涉及 BGP 和 OSPF 两种路由协议,通过启用它们的安全验证功能,
可以提高广域网路由协议的安全性。
(1)BGP 路由验证(必要)
核心骨干网、一级骨干网的 eBGP 邻居关系,以及广域区的 iBGP 邻居关系
都应该使用 MD5 密码验证,保证 BGP 邻居关系的合法建立,提高 BGP 路由交
换的安全性。
(2)OSPF 路由验证(必要)
在 OSPF 进程 100、200、300 上都启用基于 Area 的 MD5 验证,保证 OSPF
邻居关系的合法建立。
访问控制
为了防止局域网对广域网设备的非法访问,在广域区交换机与局域网相连的
端口上应用入方向的 ACL 访问控制,只允许运行管理区的特定主机可以访问广
域网设备,其他的一概不能访问。
路由隔离
广域区设备运行在 OSPF 300 中,缺省情况下,局域网是无法学到 OSPF 300
的路由,因此局域网也就无从访问广域网设备。但是运行管理区可能需要访问广
域区设备,如果将 OSPF 300 再发布至局域网,应该确保除运行管理区外,其他
区不能学到广域网设备的路由。
业务安全
阶段一、二
业务安全的部署策略如下所示:
网络层面
生产网络内部路由完全互通,因此不能通过路由保证各业务之间的安全隔离。
生产业务内部的安全在网络层面主要通过 ACL 实现,在广域交换机上对生产局
域网接入进行 ACL 控制,通过 ACL 保障关键应用的安全性。
ACL 的缺省规则应该为 deny,需要开放的访问通过手工添加 permit 规则,
防止可能产生的安全漏洞。比如对于生产联机应用,我们只允许分行的生产联机
能够访问总行的生产联机服务器,可以专门为生产联机添加一条规则,而其他未
添加规则的应用仍然处于拒绝状态。
应用层面
ACL 控制只能实现网络层面的防护,并不能识别应用层的数据,要实现全
面的安全防护,还需要借助于专用的安全设备。
为了提高生产局域网内部的安全性,需要在局域网内部的关键业务区部署
IDS,对网络流量进行实时监控和控制,及时发现网络攻击行为,然后采取适当
的应对措施。在生产外联区域应该部署多道防火墙,拒绝外联单位对非授权区域
的访问。生产局域网和办公局域网之间也应该部署防火墙,通过严格的防火墙策
略,保证生产局域网的安全性。
阶段三
业务安全的部署策略如下所示:
网络层面
生产和办公网络的路由是完全隔离的,因此两者之间不能直接互相访问,它
们的互相需要通过防火墙。网络层面防护的重点还是在生产或办公业务的内部,
通过 ACL 对业务内部互访进行严格控制。在广域交换机上对生产、办公局域网
接入进行 ACL 控制,通过 ACL 保障关键应用的安全性。
ACL 的缺省规则应该为 deny,需要开放的访问通过手工添加 permit 规则,
防止可能产生的安全漏洞。比如对于生产联机应用,我们只允许分行的生产联机
能够访问总行的生产联机服务器,可以专门为生产联机添加一条规则,而其他为
添加规则的应用仍然处于拒绝状态。
应用层面
ACL 控制只能实现网络层面的防护,并不能识别应用层的数据,要实现全
面的安全防护,还需要借助于专用的安全设备。
为了提高生产局域网内部的安全性,需要在局域网内部的关键业务区部署
IDS,对网络流量进行实时监控和控制,及时发现网络攻击行为,然后采取适当
的应对措施。在生产外联区域应该部署多道防火墙,拒绝外联单位对非授权区域
的访问。生产局域网和办公局域网之间也应该部署防火墙,通过严格的防火墙策
略,保证生产局域网的安全性。
第九章 IP 地址分配
IP 地址分配原则
广域网 IP 地址的基本原则如下:
掩码选择
loopback 地址使用 32 位掩码,局域网互连地址使用 29 位掩码,广域网互连
地址使用 30 位掩码。
地址分配顺序
互连地址从低到高分配,loopback 地址从高到低分配。
同类设备互连
编号小的设备取奇地址,编号大的设备取偶地址。
不同层次设备互连
靠近网络核心的设备取奇地址,远离网络核心的设备取偶地址。
IP 地址具体分配
IP 地址总体分配范围如下,IP 地址的详细分配参见方案附件。
地址范围 空间(C) 使用对象
~ 1 省行一级骨干路由器管理地址
~ 2 上海—省行互联
~ 2 预留
~ 2 上海广域网区互联
~ 1 上海广域网区管理
~ 2 北京—上海互连地址
~ 2 北京—省行互联
~ 2 预留
~ 2 北京广域区互连
~ 1 北京广域网区管理
广域网地址分配的范围包括:核心骨干网互连地址、一级骨干网互连地址、
北京(上海)数据中心广域区互连地址和设备管理地址、一级分行广域区互连地
址和设备管理地址、广域区与局域网互连地址。
核心骨干网互连地址
核心骨干网分配 2 个 C 类地址(C1、C2),核心骨干链路一使用 C1 的第一
个 30 位掩码的网段,核心骨干链路二使用 C2 的第一个 30 位掩码的网段。
一级骨干网互连地址
一级骨干网分配 4 个 C 类地址(C1、C2、C3、C4),对应于北京、上海数
据中心到分行的 4*36 条链路。比如北京数据中心的一级骨干路由器一,使用 C1
网段与 36 个一级分行互连,每条链路使用 30 位掩码的网段,共需要 36*4=144
个 IP 地址,余留地址空间可用于今后的一级骨干网扩展,其他三台路由器的地
址分配依次类推。
北京(上海)数据中心广域区互连地址和设备管理地址
北京(上海)数据中心的广域区分配 3 个 C 类地址(C1、C2、C3),C1、C2
用于广域区互连,C3 用于设备管理地址。广域区互连地址使用 29 位掩码,当前
广域区设备较少,仅使用 C1 地址空间。网络设备管理地址使用 32 位掩码,主
要用于 iBGP 邻居的建立和网络管理。
一级分行广域区互连地址和设备管理地址
一级分行广域区的互连地址使用 1 个 C 类地址,从分行的广域地址空间中
分配。广域区互连地址使用 29 位掩码,用于广域区交换机与一级骨干路由器和
二级骨干路由器的互连。
一级分行广域区的设备管理地址分为两类,一级骨干路由器的管理地址由总
行统一分配,共同使用 1 个 C 类地址,每个分行分配 2 个 IP 地址,广域区交换
机和二级骨干路由器的管理地址分配 1 个 C 类地址,从分行的广域地址空间中
分配。
广域区与局域网互连地址
广域区与局域网之间的互连地址从局域网的互连地址空间中分配,每个局域
网的接入需要 3 个 29 位掩码的网段,1 个用于广域网交换机之间的互连,2 个用
于广域区与局域网的互连。
第十章 网络管理
网管系统选择
选择原则
网管系统的选择原则如下:
标准化
基于标准的 SNMP 协议,能够兼容多种网络设备,对全网进行管理。
安全性
网络管理过程必须安全可靠,只有授权用户才能对网络进行管理,使用成熟
的 SNMP 协议版本,防止协议漏洞。
综合性
完善的网管系统,支持全面的网络管理,包括拓扑管理、故障管理、资源管
理、性能管理、日志管理等。
网元管理软件
本次所使用的 DM(Device Manager)是网元级管理软件,可以单独使用,
也可以集成于网管平台之上,主要用于对网络设备的运行状态和系统配置进行远
程管理。
DM 实现的基本管理功能如下:
(1)设备面板管理
(2)设备基本信息管理
(3)端口管理
(4)电源风扇等硬件信息管理
(5)性能监视
(6)RMON 管理
(7)路由协议管理
DM 针对 NE 系列路由器实现的管理功能包括:
(1)ETH 接口管理
(2)POS 接口管理
(3)ATM 接口管理
(4)NAT 管理
(5)二层转发表管理
(6)端口聚合管理
网管系统部署
网管系统部署在北京数据中心的运行管理区,运行管理区能够学到核心骨干
网、一级骨干网及广域区所有设备的管理地址(loopback 地址)和互连地址,网
管系统通过访问设备的 loopback 进行网络管理,互连地址可以用于检测链路的
连通性。
网管系统使用 SNMPv2c 进行通讯,这是当前最为成熟的 SNMP 协议版本,
具有较高的安全性,SNMP 支持 ACL 策略,可以实现只允许网管主机能够访问
广域网设备。启用 SNMP 的 Trap 功能,向网管工作站发送事件信息,对设备状
态进行记录。
网管数据流的转发路径如下图所示:
北京数据中心网管可以访问上海数据中心的广域区和运行管理区,也可以访
问一级分行的广域区和运行管理区,将来实现分级网管后,可以通过访问一级分
行的网管系统对一级分行的内部网络进行管理。
网管数据流的转发路径与生产联机相同,北京数据中心网管访问上海数据中
心设备时,经过核心骨干网的第一条 POS 622M 链路,另一条作为备份链路。
北京数据中心网管访问一级分行设备时,经过核心骨干链路一到上海数据中
心,再通过一级骨干链路三到达分行。