-1-
基于 RapidIO互连技术的第四代 TDD基站系统设计
杨李娜,王勇,田辉
北京邮电大学无线新技术研究所,北京 (100876)
摘 要:考虑到传统共享总线技术遇到的困难,提出了新型总线技术 RapidIO——一种伪串
行、源同步、点对点、高可靠性、高速率的系统互连技术。简要地从 RapidIO的主要技术特
点、体系结构、系统拓扑、协议层次和流量控制等方面对其进行分析,提出了一种基于
RapidIO 互连技术实现第四代(4G)TDD 基站系统平台设计方案,并对这种平台的每部分
的结构和功能进行详细的分析和研究,这种平台基于 RapidIO架构的系统为下一代通信及数
据网络应用提供了一个高性能、高可靠性的符合现代传输需求的应用,给应用市场提供一个
良好的解决方案。
关键词:总线技术,RapidIO技术,第四代(4G)TDD 基站,无线宽带通信平台
中图分类号:
1. 引言
作为摩尔定律预测的持续趋势的直接结果,新型电子器件的性能持续以指数速率改善。
基本原理的限制使共享总线技术走到尽头。传统总线技术如 PCI 是基于共享、并行的体系
结构,以提高时钟频率和增大总线宽度来改善性能,这同时也限制它的发展[1]。这些限制包
括:
(1) 提高时钟频率,但加重了信号偏移的影响,缩短了可能共享的总线周期。
(2) 拓宽总线,在并行的宽总线技术中,并行数据位之间的偏移随位数增加而越趋明显;
同时宽总线占据更多芯片管脚和电路板面积。
(3) 电能耗损,在多点接入的共享总线中,增加节点数会增大电容,在所需的频率下,
需增大电压才能驱动总线。
(4) 在共享总线技术中,总线上的信号飞行时间使数据的传输延迟,影响系统的吞吐量。
1 时间
系
统
性
能
设备 设备 设备 设备 设备
设备 设备 设备 设备 设备
设备 设备
设备
桥 设备 设备
设备 设备
设备 设备
设备
单分段 〈 33MHZ
共享总线通信
CompactPCI、 VME
多分段 〈 133MHZ
共享总线通信
桥接的层次广播
PCI、 PCI-X
基于开关交换网络的点到点通信
点到点、包交换、低引脚数、非常高的频率
RapidIO、 PCI-Express、HyperTranport
图 1 总线互连方式的发展
1本课题得到国家 863B3G 移动通信系统硬件平台项目资助。
-2-
总线互连方式的发展如图 1 所示,从单分段到级联多分段共享总线互连系统,其基本原
理均带来以上几点的约束,性能的发展潜力殆尽,因此需要一种可升级的高性能系统互连体
系结构,使数字系统摆脱困境。这种新型总线应具备如下性能:
(1) 窄总线宽度:窄总线接口能减小信号偏移,接口间更容易保持信号线等长,减小布
线难度。
(2) 源同步:参考时钟信号嵌入数据,能实现长距离高频传输。
(3) 点对点:延迟的取消,使信号偏移影响减小,为提高系统时钟频率提供了前提条件,,
降低了信号线等长的限制,减小布线难度,且提高了系统吞吐率。
(4) 物理层基于低电压差分信号(LVDS,Low- Voltage Differencial Signals):LVDS
在 1 米距离内可传输高速信号,低摆幅高速信号使系统功耗降低,采用紧耦合差分信号,降
低电磁干扰(EMI,Electro Magnetic Interference),可高效、准确传输高速信号。
(5) 软件的透明性:允许多种数据协议运行,为广泛的应用提供系统互连。
利用点对点、窄接口、源同步和高时钟频率的总线体系结构,信号偏移影响的限制影响降
低,系统互连性能得到改善。拥有以上优点的新型互连总线包括PCI-Express、InfiniBand、
HyperTransport和RapidIO等,代表新型总线的发展方向,其中RapidIO以其高带宽、低延时
及具备硬件保证达%的高可靠性为系统互连提供良好的解决方案。
2. RapidIO 协议概述
RapidIO 规范定义了 3 层体系结构协议,分层结构支持以后对协议的扩展,从而提供了
更好的前向兼容性,消除了异构系统互连所需的桥接技术,使用统一的软硬件处理差别,节
省了开销[2]。这三层协议包括:
(1) 逻辑层:定义报文格式及端点设备发起并完成一次事务的必要信息。
(2) 传输层:定义 RapidIO 地址空间并为报文在端点设备间传输提供必要的路由信息。
(3) 物理层:描述设备级接口,明确说明包传输机制、流量控制、电气特性和底层错误
处理。物理接口包括 8/16 位并行接口标准和 1X/4X 串行接口标准(其数据传输速率见表 1):
1) 并行接口适用于高性能、高带宽、传输距离 1 米内的印制板或底板间互连,处理器、
网络处理器及高性能背板互连等。
2)串行接口适用于长距离传输、引脚数有限、延迟要求不高的应用,如背板控制平台,
消息通道、DSP 等互连。
表 1 并行 RapidIO 数据传输速率
时 钟 频
率
8 位 并 行
RapidIO
(全双工方式下峰值
速率)
16 位 并 行
RapidIO
(全双工方式下峰值
速率)
250MHZ 8Gb/s 16Gb/s
500MHZ 16Gb/s 32Gb/s
750MHZ 24Gb/s 48Gb/s
1GHZ 32Gb/s 64Gb/s
表 2 串行 RapidIO 数据传输速率
时 钟 频
率
1 位 串 行
RapidIO
(全双工方式下峰值
速率)
4 位 串 行
RapidIO
(全双工方式下峰值
速率)
250MHZ 8Gb/s 16Gb/s
500MHZ 16Gb/s 32Gb/s
750MHZ 24Gb/s 48Gb/s
1GHZ 32Gb/s 64Gb/s
-3-
先进的流量控制
第 一 辆 车
不 能 左 转
去 其 它 方 向
的 车 被 阻 塞
中 间 的 车 和 右 行 的
车 都 没 有 被 阻 塞
以 太 网 、 PCI 单 通 道
( 阻 塞 )
RapidIO 多 通 道
( 无 阻 塞 ) 以 太 网 ( 严 格 的 优 先 级 队 列 )
STOP
车 通 行 依 赖 于
主 路 交 通 状 况
等 待 时 间 可 达 无 限 长
RapidIO
( 严 格 的 优 先 级
队 列 和 带 宽 保 证 )
保 证 车 辆
能 够 通 行
1 2
3 4
图 2 VC 和 VoQ 流量控制模型
先进的流量控制目标:保证用户应用(连接、传输和交换)所需的 QOS 水平。点对点
宽带连接、低系统时延、无阻塞和严格优先分级使 RapidIO 能进行先进的流量控制通过。
虚拟输出队列流控和虚拟通道流控
RapidIO 流控机制包含先进的虚拟输出队列(VoQ, Virtual-output-Queuing)流控和虚拟通
道(VC, Virtual Channel)流控。其类似于十字路口交通模型如图 2 所示:①、②为 VoQ 流
控模型,多通道保证系统无阻塞;③、④为 VC 流控模型,严格的优先分级和带宽保证系统
信息均能传输。
VC/VOQ 流控性能仿真
Inputload (Percentage)
A
ve
_d
el
ay
(n
s)
16*16 switch ( BurstLength=20 cells)
图 3 VC/VOQ 流控性能仿真曲线
为深入了解 VC/VoQ 流控的性能,我们仿真了 2KBytes,即 32 个 RapidIO 包,突发长度
为 20,仿真结果如图 3 所示。从仿真曲线可知,没有 VC 和 VoQ 流控的交换结构(图中黑
线):在 1%的负载下能达到延时为 200ns 的基本性能,但是在 55%负载下,延时达无限大。
有 VC 和 VoQ 流控的结构(图中白线):在 1% 的负载下,有 800ns 的延时;当负载在 25%
以上时,时延开始低于没有流控的系统;当负载达 80%以上时,时延增大但仍能传输系统
信息。体现了 VC 和 VoQ 流控系统级性能优势。
-4-
3. 基于 RapidIO 的第四代 TDD 系统
RapidIO 技术的应用现状
嵌 入式
系统
桌面 计
算机
服务 器
RapidIO
处理器
总线
本地 IO
总线 背板 系统域网
专有
总线
PCI Express
总线
PCI-X
总线
高级交换互连
In
fin
iB
an
d总
线
光
纤
通
道
千
兆
或
万
兆
以
太
网
局 域 网
系统 内互连 系统间互连
图 4 RapidIO 在子系统中或跨越背板系统内互连
在新型的总线技术中,InfiniBand 应用于系统域(SAN)互连;HyperTransport 和 PCI
Express 被视为 PCI 总线的点到点版本,可维持与 PCI 架构的互连兼容性,但没有提供嵌入
式系统开发者所需的可扩展性、鲁棒性和效率;百兆、千兆以太网适合于低成本和速率小于
500Mbps 的系统互连,在更高速率的系统互连应用中,由于需要更高的软件开销(特别是在
和 TCP/IP 协议一起使用时),与以太网相比,RapidIO 具有明显的优势[3]。 图 4 为 RapidIO
技术的应用领域。
TDD 基站系统通信平台分析
4G 是集 3G 与 WLAN 于一体,能够以 100Mbps 的速度下载,上传速度也能达到 20Mbps,
因此高速的传输技术必须在硬件设计方面体现。我们利用串行 RapidIO 技术,设计了适用于
无线宽带通信系统的平台,如图 5 所示。此平台主要由 1 个 ATCA 母板和 3 个 AMC 子板和
1 个 ASIC 接收板组成,其间互连以及母板间互连主要通过系统主交换芯片 TSI578 完成,还
有其他模块包括电源、复位、配置、时钟和指示等,MPC8540 及外围电路模块是管理整个母
板的中枢,完成板上及板间的数据、控制信息的传输管理,系统的配置等。信息大体流程:
射频信息通过天线阵列进入多天线收发模块,进行 A/D 转换、数字变频等操作后进入基带处
理,包括在各 AMC(DSP/FPGA)中进行同步、汇聚、FFT、IFFT、Tubro 译码、CRC 校验
等处理,最后通过 GE 模块交换处理接入 IP 网络。此平台可作为满足先进通信计算机(ATCA)
规范的下一代基础设备开发系统。ATCA 指的是一系列的规范,包括 规范和传输
子规范,RapidIO 就是其中一种传输协议规范。基于这种标准,此无线宽带通信平台利用
RapidIO 高性能、高可靠性、低延时和低开销的特性为电信设备制造商提供了一个良好的解
决方案。系统实现 RapidIO 互连是通过 TUNDR 公司的 TSI578 实现的。
-5-
RapidIO
TSI578 (80G BandWidth)
AMC0
DSP
AMC1
DSP
AMC2
FPGA
HOST
MPC8540
ATCA Fabric 电 源 时 钟 JTAG调 试 指 示复位
EEPROM TO
N
ET
W
O
RK
B
O
A
RD射 频 接 收
RX ASIC
射 频 接 收
RX ASIC
I2C
DUAL
GE BMC
IPMI
Power
ATCA
Base
UART
射频收发
RX /TX
ASIC
射频收发
RX /TX
ASIC
射频收发
RX /TX
ASIC
图 5 基于 RapidIO 无线宽带通信平台架构
系统主交换芯片 TSI578 介绍
TUNDRA 半导体公司是大力推行 RapidIO 的产品制造商,推出串、并行 RapidIO 交换
机,TSI578 是其推出的第三代 RapidIO 交换机,支持 80Gbit/s 全集带宽,最多支持 8 个 4X
模式和 16 个 1X 模式端口,速率可达 、 和
升级性及灵活的端口配置使其适应多种应用。其内部的队列算法、可编程缓冲区和监控体系
使其达到很好的流量控制。
系统各模块间的接口设计
此无线宽带通信系统是机架式的,在一个机架内最多可提供 16 个载板(即 ATCA 母板)
槽位,各载板模块之间包含多种传输模式,分别提供系统管理层、控制层和资料层的连接。
智能平台管理接口(IPMI)提供系统管理信息传输平台,它是一条与各槽都相连的 I2C 双串
行信号线[4]。这种冗余配置的设计,确保了在一条总线出现故障的情况下,管理信息仍正常
传递。在管理层旁边的控制层称作 Base 接口,Base 接口通过千兆以太网在载板模块间传播
基本数据。载板模块间的高速数据传输是通过 Fabric 接口,由 4X 串行 RapidIO 链路实现的,
每块载板均有 4 个串行 RapidIO 接口,分别连接到背板形成全网(Mesh)连接结构,板间
传输的全集带宽在全双工方式下达 100Gbit/s(每通道 10Gbit/s)。
载板模块
每个载板模块可承载 4 个高级夹层卡(AMC,Advanced Mezzanine Card)子板模块。
AMC 是 PICMG 组织制定的高级子卡标准。AMC 模块是支持 ATCA 系统的最小插入式模块,
是下一代电信设备中最小的现场可更换部件(FRU,Field Replaceable Unit),现在整个行业
都在从 PCI 夹层卡 PMC 和交换夹层卡 XMC 转向高级层板卡 AMC,主要是因为 AMC 支持
热插拔,使 AMC 能够提供具有编程功能的现场可替换模块,灵活性强。AMC 模块支持的
处理器类型有 PowerQUICC III、FPGA、ASIC 和 DSP 芯片等;由于利用了新一代的交换式
数据传输方式,因而可达到很高的数据传输速率,背板模块的具体实现可视用户应用情况而
定,因而既兼顾了性能,又提供了相当的灵活性。AMC 板和背板间的互连是通过
-6-
TSI578RapidIO 交换芯片来实现的,载板上的全集带宽达 80Gbit/s,数据传输以串行 RapidIO
方式进行。载板上还包括电源、复位、配置、时钟和指示等模块。
灵活的配置
此无限宽带通信平台是基于模块化结构的、兼容的、可扩展的硬件架构,因此可以根据
应用需求增减系统配置,达到配置的合理化。最基本的系统配置是由含 16 槽的机架及 2 块
含 2 个 AMC 模块的载板组成。其他模块可根据应用需求来增减。多机架的互连系统是通过
4X 串行 RapidIO 以光纤方式连接的,在两个机架的互连结构中,每个机架的光纤互连模块
至少需要占用一个 AMC 模块。
平台的实现
FPGA 器件的速度和门数持续增长,其性能达到了半导体技术所能达到的极限。新的基
于并行或串行差分信号技术的高速互连技术,如 RapidIO 互连技术,提供了广泛多样的高级
系统特征,包括硬件纠错、软件透明性和系统可扩展性,FPGA 在为 RapidIO 实现提供方便
的同时仍提供了足够的定制灵活性,其结合是完美的。现在,在 Xilinx 公司 Virtex II FPGA
上已实现 RapidIO 核的终端设备。该终端节点设备配合 RapidIO 交叉开关可以用在新型多处
理器互连系统的构建中,如替代本系统中的 TSI578,可以大大提高嵌入式系统的整体运行
性能。
设计中的其他注意事项
由于 RapidIO 端口速率可达
高速 IO 设计需求。为了保持信号的完整性、小倾斜(),在 4X 串行模式,RapidIO4
组差分对之间及两差分线之间信号线长度差不得超过 10mil,且两差分线需尽量靠近及等长。
4. 结论
本文通过对无线宽带通信平台的性能分析,说明了基于 RapidIO 的体系结构可为多处理
器系统的互连带来更好的解决方案,以及更强大的功能。RapidIO 代表了总线技术的发展方
向,基于 RapidIO 架构的系统为下一代通信及数据网络应用提供了一个高性价比、高可靠性
的和符合现代传输需求的应用,给应用市场提供一个良好的解决方案。
参考文献
[1] Martin Mckenny, Julian , David Harle. Transporting multiple classes of traffic over a generic
routing device-An investigation into the performance of the RapidIO interconnect architecture[J].IEEE Trans
on Commun, 2003, 48(3): 23-27
[2] .ISO/IEC DIS 18372-2005. RapidIO Interconnect Specification [S]. US: RapidIO Trade Association,
2005.
[3] Sam Fuller. RapidIO 嵌入式系统互连[M ]. 王勇,林粤伟,吴冰冰. 北京:电子工业出版社, 2006.
[4] 林玲,蒋俊,倪明,柴小丽. RapidIO 在多处理器系统互连中的应用[J]. 计算机工程,2006,32(4):
244-246
-7-
Application of RapidIO Interconnection in the 4th generation
TDD basestation System
Yang Lina,Wang Yong,Tian Hui
Wireless Telecommunication Innovation Institute,Beijing University of Post and
Telecommunications Beijing (100876)
Abstract
Considering the difficulty that current bus technology has encountered, the new technology of RapidIO
is introduced which is a pseudo-serial, source-synchronous, point-to-point interconnect that enables
reliable, high-speed, intra-system communication. The key characteristics of RapidIO such as system
architecture, system topology, protocol hierarchy and flow-control are then explicated. A platform of
the 4th generation TDD basestation, which uses the RapidIO interconnect technology, is finally
proposed. The infrastructure and function of each of the platform are then explicate. It is pointed out
that,base on the RapidIO interconnect, the platform may provide a high cost-performance, high
reliability, modern-transportation-leveled application on next generation communication and data
networks as well as an excellent solution for the application market.
Keywords:bus technology,RapidIO technology,the 4th generation (4G) TDD basestation,wireless
broadband infrastructure system
作者简介:
杨李娜,女,1983 年生,硕士研究生,无线新技术研究所,主要研究方向是宽带移动通信
新技术;
王勇,男,1972 年生,博士研究生,无线新技术研究所,硬件与系统集成部主任;
田辉,女,1963 年生,博士,教授,研究方向为无线网络、自组织网络、 3G、B3G 移动
通信系统中核心网理论。