- 1 -
中国科技论文在线
基于 MDP 的泛在网切换策略的研究
赵静，唐碧华，胡鹤飞，袁东明**
作者简介：赵静，（1987-），女，硕士研究生，主要研究方向：无线切换。
通信联系人：唐碧华，（1964-），女，教授，无线传感器网络
（北京邮电大学电子工程学院，北京 100876）
摘要：随着无线网络环境日益复杂，“泛在网”成为热门话题。“泛在网”即无所不在的网5
络，移动终端在其中移动必然引发切换问题。泛在网的复杂性、多样性、混合性决定了其高
难度的切换技术。本文基于马尔科夫数学原理，旨在研究并设计适用于泛在网络的切换策略，
该策略充分考虑了移动终端有限资源，并引入切换损耗，利用值迭代算法得出最佳策略。同
时，利用仿真验证了本文研究的切换策略与其他切换策略相比的优势。
关键词：泛在网；移动终端；马尔科夫过程；切换策略 10
中图分类号：TP393
An MDP-Based Handoff Decision Algorithm for Ubiquitous
Network
Jing Zhao, Tang Bihua, Hu Hefei, Yuan Dongming 15
(School of Electronic Engineering,Beijing University of Posts and Telecommunications,
Beijing 100876)
Abstract: In this paper, we design a handoff decision algorithm. As the increasing complexity of
wireless network environment, "ubiquitous network" has become a hot topic. "ubiquitous
network" is networks everywhere in which the mobile terminals will confront inevitably a switch 20
problemin evitably. Ubiquitous network's complexity, diversity, mix make it difficult to determine
its switching method. This thesis is based on the Markov mathematical principles, aim to study
and design the switching strategy for ubiquitous strategy takes full account of the
limited resources of mobile terminals, introduces of switching loss, and make use of value
iteration algorithm to get the optimum strategy. Meanwhile,this thesis shows the advantages of 25
this switching strategy compared with the other strategies through the simulation.
Keywords: ubiquitous network; mobile terminals; Markov; handoff
0 引言
泛在网络[1]作为当今信息时代的一个热门名词，具有如下的特点：网络分布密集，网络30
数量多；拓扑结构负责，网络深度融合；业务类型丰富，网络多样化；移动终端种类繁多，
资源有限并具有很强的移动性。关于终端在泛在网的切换的研究很少，通常情况下，以异构
网络的切换技术为研究点。泛在网的切换过程主要有三个阶段：（1）切换探测阶段；（2）
切换判决阶段；（3）切换执行阶段。探测阶段主要是指移动终端探测有无可用无线网络的
过程，多模终端可以激活相应的接口探测不同网络的广播消息。判决阶段主要决定两个关键35
点：何时切、切向哪。一般是通过一些多属性指标进行评估，决策出最优解决方案。切换执
行阶段涉及不同的网络接入技术，其中包括安全接入方面的内容。整个过程将正在进行的通
信会话从当前服务玩过接入点转移到目标网络接入点。本文将侧重于切换判决阶段的研究，
设计一种基于马尔科夫决策理论的切换判决算法，利用值迭代公式计算最优解，得出最优判
决结果。同时，在设计过程中，本文旨在解决以下两个问题：（1）有限的终端资源需要判40
决过程周期化；（2）考虑切换损耗对判决结果的影响，使判决结果更加准确有效。
- 2 -
中国科技论文在线
1 泛在网切换判决关键技术分析
切换过程分析
多模移动终端具备访问多个网络的能力，当多模终端在不同接入网络间移动时，就会触
发网络切换。通常，一个完整的切换过程包括三个阶段[2]：切换探测、切换决策、切换执行。 45
图 1 切换的三个阶段
Fig. 1 three stages of handoff
多模终端触发切换的原因有（1）终端离开了原基站的覆盖区。（2）业务需求。（3）50
实现负载均衡。
探测阶段主要是指移动终端探测可用无线网络的过程，多模终端可以激活相应的接口探
测不同网络的广播消息。通常所有的监听接口都处于打开的状态，一旦接收到消息，就可能
存在切换。持续不断的监听会占用大量的终端资源，带来不必要的资源消耗。为了避免这种
情况，可以考虑用业务触发或者用时间触发等策略，业务触发即根据用户的业务开启相关的55
阶段，同时关闭一些不必要的端口。切换决策阶段主要决定两个关键点：何时切、切向哪。
一般是通过一些指标进行评估，决策出最优解决方案。在水平切换中，信号质量、位置信息
等为决策因素；在垂直切换中，由于切换前后网络特征差异较大，因此还要考虑以下的因素：
（1）业务类型；（2）网络状况；（3）资费情况；（4）移动终端移动速度、移动方向；（5）
其他因素，终端电池电量、信道间干扰，信噪比等。切换执行阶段涉及不同的网络接入技术，60
其中包括安全接入方面的内容。整个过程将正在进行的通信会话从当前服务玩过接入点转移
到目标网络接入点。
切换决策
泛在网络的切换决策通常转化为多属性决策问题，解决该问题要关注两个关键点[3]：1.
决策属性集的定义和数值化；2. 决策目标的确定和决策方法的设计。最终通过决策结果将65
接入网络总体性能达到最优化。
一般是通过一些指标进行评估，决策出最优解决方案。在水平切换中，信号质量、位置
信息等为决策因素；在垂直切换中，由于切换前后网络特征差异较大，因此还要考虑以下的
因素：（1）业务类型，由于业务所需要的网络带宽、时延等不同，因此根据不同的业务类
型选择不同的网络；（2）网络状况，这主要包括了信号质量，丢包率、网络延时等，同时70
要考虑到网络之间的负载均衡，如果某一网络负载量过大，则考虑接入其他网络。（3）资
费情况，不同的网络有不同的收费标准；（4）移动终端移动状况，移动终端的移动速率、
移动方向、位置信息等都是影响网络选择的因素，例如：如果终端远离某一网络，则该网络
则在选择范围之外。（5）其他因素，终端电池电量、信道间干扰，信噪比等都是选择需要
考虑的因素。 75
切换评价标准
不必要的切换次数：当前的网络还能够提供满意的服务时进行切换。
未成功的切换次数：需要切换时切换到信号强度不够的网络中。
预期的切换次数：用户终端从一个基站到另一个基站期间切换的次数。
切换延时：Th 80
- 3 -
中国科技论文在线
其中，切换时延的定义为：
切换成功总数
加之和每次切换成功的时延累=hT
具体到每一次切换，其时延组成包括：消息的传播及处理时延，多模终端决策时延，网
络资源分配的时延，切换过程中认证过程的时延。
2 基于 MDP 切换策略的研究 85
策略分析
泛在网络中引发切换可归结为多个原因：其中包括通信质量（信号强度、带宽、时延）
变差，或者用户需求等因素的改变。因此，泛在网络的切换决策算法必须是基于多属性决策，
即决策算法需综合考虑多个因素，得出一个最优化的决策结果。
通过大量的调研，现有文献利用各种数学算法讨论了决策切换算法，其中出现最多的有：90
SAW[4]、TOPSISI[4]、GRA[5]决策算法。考虑泛在网络切换的特点，即网路切换的发生只取
决于移动终端的当前连接状态，而与历史状态无关，符合马尔科夫过程，因此，课题将基于
马尔科夫决策讨论泛在网络的切换算法。
图 2 马尔科夫决策模型 95
Fig. 2 Markov decision model
马尔科夫决策模型包括以下五个元素：（1）周期；（2）状态；（3）决策；（4）转移
概率；（5）转移增益。对应于泛在网络的切换即转化为上图所示模型。其中时间序列
{1,2,..., }T N= 表示移动终端连接的有效时间，随机变量 N 表示连接终止。 100
在每一个决策周期 t 中，决策结果有两种，一是继续保持与当前网络的连接，二是选择
其他网络连接。保持连接可能引发在下一个决策周期到来之前，系统 QoS 性能降低，而选
择其他网络则会带来较大的信令开销，因此，选择一个平衡最优解决方案是本节讨论马尔科
夫决策的目的。
算法论述 105
根据马尔科夫决策的五个元素，结合泛在网络切换特性，以下对二者进行合理的映射，
将泛在网络切换过程中的元素抽象化。
决策周期：根据 IEEE 标准，移动终端可以根据其网络接口周期性地获取周围网
络信息，从而使决策呈现周期性。
状态空间： 110
{ } 1 1 2 21,2 ,..., M MS M B D B D B D= × × × × × × ×" 式（1）
其中 M 表示移动终端扫描到的网络个数，Bm与 Dm表示网络 m（m=1,2…M）的可用带
宽与时延。为了准确性，将状态空间的每个分量矢量化，定义 Bm={1,2,3,…bmax}，其中 bmax
表示服务网络 m 的最大可用带宽。同样的，定义 Dm={1,2,3,…dmax}，其中，dmax表示服务网
络 m 的最大时延。例如，WLAN 的延时和 GSM 的延时分别为 50 和 20ms。对于每一个状115
态信息 s 属于状态集 S。状态信息包括当前为移动终端服务的网络 ID 号。
- 4 -
中国科技论文在线
系统增益函数：
( . ) ( , ) (1 ) ( , )b df s a wf s a w f s a= + − 式（2）
其中， ( , )bf s a 表示带宽增益函数， ( , )df s a 表示延时增益函数。ω代表权重。 1 1, , ,... ,M Ms i b d b d⎡ ⎤= ⎣ ⎦
表示当前状态矢量，其中 i 表示当前连接的网络 id 号。带宽以及延时增益函数可定义如下： 120
1,
( , ) ( ) / ( ),
0,
a B
b a B B B B a B
a B
b U
f s a b L U L L b U
b L
≥
= − − < <
≤
⎧ ⎫⎪ ⎪⎨ ⎬⎪ ⎪⎩ ⎭
式（3）
1, 0
( , ) ( ) / ( ),
0,
d d a D D D a D
a D
a Dd L
f s a U d U L L d U
d U
< ≤
= − − < <
≥
⎧ ⎫⎪ ⎪⎨ ⎬⎪ ⎪⎩ ⎭
式（4）
其中，常量 LB与 UB代表连接所需的最大与最小带宽。同样，LD与 UD代表连接所造成
的最大最小时延。
切换信令开销函数： 125
,
( , )
0,
i aK i a
g s a
i a
≠
=
=
⎧ ⎫⎨ ⎬⎩ ⎭ 式（5）
其中 ,i aK 表示从当前网络 i 断开到接入网络 a 的切换损耗。
根据系统增益函数（3）与切换信令开销函数（6）可以得出，总切换增益函数为：
( , ) ( , ) ( , )r s a f s a g s a= − 式（6）
切换转移概率： 130
[ ]
1
' , ' | , ,
[ ' | , ]
0,
M
m m m mm
P b d b d j a
P s s a
j a
= ==
≠
⎧⎨⎩
∏ 式（7）
其中，s 表示当前网络状态，s’表示转移以后网络状态，a 表示当前做出的选择。从上式
可以看出，每一个网络的带宽与时延是彼此独立的，这正好对应了异构网络的网络多样性，
即每一种网络都有其独特的特性与接入方式。
通过对以上网络切换过程元素的马尔科夫化抽象，可以得出整个有效网络连接时间内切135
换增益的总期望：
{ }
1
( ) ( , )
N
s N
t
v s E E r s aπ π
=
= ⎡ ⎤⎢ ⎥⎣ ⎦∑ 式（8）
其中，π 为决策集，即在整个有效网络切换时间内，每个决策周期 t 的决策 。 sEπ 表示
在π 与初始状态 s 下的期望，可以通过 [ ' | , ]P s s a 计算得出。 NE 表示随机变量变量 N 的期望。
分析切换过程可以假设 N 呈几何分布，因此，公式（8）可转换为： 140 { }1
1
( ) ( , )ts
t
v s E r s aπ π λ
∞
−
=
= ∑ 式（9）
即为总切换决策增益期望。
为了得到最优化切换策略，应该得到公式（9）的最大值，即 ( ) max ( )v s v sπ= 。
- 5 -
中国科技论文在线
同时，本文定义 *π 为最优策略集，即在所有的判决周期 t 内，判决策略 tδ δ= 。这样，
整个决策集就是稳定可靠的， ( , , ..., )π δ δ δ= 。为简单期间，用δ 替代π 。 145
通过以上的数据抽象与论证，本节将切换判决算法问题转化为最优值问题。关于最优值
问题有很多种算法，下面将利用值迭代算法[6]得出稳定的最优判决策略及相应的期望增益。
值迭代算法：
（1） 指定每个状态 s 的初始值为 0 ( ) 0v s = ，指定 0ε > ， 0k =
（2） 对于每个状态 s，得到： 150 { }1
'
( ) max ( , ) [ ' | , ] ( ')k k
a A
s S
v s r s a P s s a v sλ+
∈ ∈
= +∑
（3） 如果 || 1 || (1 ) / (2 )vk vk ε λ λ+ − < − ，则进行步骤（4），否则，将 k 加 1，返回步骤 2。
（4） 对于每个状态 s，计算稳定最优判决策略：
{ }1
'
( ) max ( , ) [ ' | , ] ( ')k
a A
s S
s r s a P s s a v sδ λ +
∈ ∈
= + ∑
3 基于 MDP 切换策略算法的仿真 155
第二节运用数学理论将网络切换判决过程抽象为马尔科夫决策过程，并得出其最优稳定
的最优判决策略及相应的期望增益。本节将用仿真证明用马尔科夫决策分析切换判决较之其
他论证方法的优势。
可行性：根据 IEEE 标准，公式（2）与（5）可通过 MIHF 中的 MIIS 估算。算
法中所涉及的可用带宽与平均时延等数据参考互联网 IP 性能测量工作组[7]所提供的标准数160
据。公式（5）中 K 的值可根据两个网络运营商提供的参考值设定。假设，当前网络为 i，
决策网络为 j，并且 i j≠ ，当切换损耗较小时代表从网络 i 切换 j 可行，而当切换损耗较大
时则否认网络 i 到网络 j 的转换。同时，转移概率可以通过网络运营商统计的网络流量来估
算。
下面，本文将对基于马尔科夫决策过程的切换判决测量进行仿真，并比较其相对于其他165
判决算法（SAW、TOPSIS、GRA）性能优势。
假设两种情况：（1）在每一个判决周期选择可用带宽最大的网络。（2）在整个切换判
决的时间里，没有切换执行。
假设有两个重叠的网络，网络 1 为 WLAN，网络 2 为 3G 网络，判决周期为 15s，网络
参数如下表所示： 170
表 1 网络参数 1
Tab. 1 network parameters 1
参数/units 定义 网络 1 网络 2
max
ib 25 10
max
id
12K
8
1
8
0
12K
网络最大可用带宽
网络最大时延
网络 1 到 2 的切换损耗
网络 2 到 1 的切换损耗 0 1
算法论述中所用的其他参数如下：
175
- 6 -
中国科技论文在线
表 2 网络参数 2
Tab. 2 network parameters 2 180
参数 定义 数值/units
LB
UB
LD
UD ω
最小可用带宽
最大可用带宽
最小时延
最大时延
权重因子
2
4
2
7
其中，1units 带宽=16kb/s,1unit 延时=60ms。 规定，网络时延可接收到的范
围为 150ms 到 400ms 之间，如果网络时延大于 400ms，则会严重影响到链路质量。设定连
接初始状态的带宽为 48kb/s，时延为 60ms。
仿真结果如下： 185
图 4 总增益期望随切换损耗的变化
Fig. 4 Expected total reward under different switching cost
- 7 -
中国科技论文在线
图 5 切换次数随切换损耗的变化 190
Fig. 5 Expected number of handoffs under different switching cost
从图 5 可以看出，对于所有的决策算法，随着切换损耗的增加，总切换增益呈现下降趋
势，其中，马尔科夫决策对比与其他决策算法具有明显优势。
从图 6 可以看出，随着切换损耗的增加，切换次数呈现下降趋势。马尔科夫决策的敏感195
性较好，而其他的决策算法进行切换决策时只基于当前可用带宽与时延，并没有考虑切换带
来的损耗。
从以上两图可以得到：切换损耗为网络管理带来了灵活性，它可以反映切换的复杂性。
如果移动终端在网络中频繁切换，则可以考虑降低切换损耗。相反地，如果网络负载繁重，
可以考虑增大切换损耗阻止移动终端接入，降低网络负载以实现负载均衡。 200
- 8 -
中国科技论文在线
图 6 总增益期望随权重因子的变化
Fig. 6 Expected total reward under different weight factor
图 7 切换次数随权重因子的变化 205
Fig. 7 Expected number of handoffs under different switching cost
从图 7 可以看出，对于所有的决策算法，随着权重因子ω的增加，总切换增益呈现下
降趋势。其中，对于不同的权重因子ω ，马尔科夫决策较之其他决策算法性能最好。从公
- 9 -
中国科技论文在线
式（2）可以看出，随着权重因子ω的增大，带宽增益对结果的影响大于时延增益的影响。 210
总结：根据以上的论证与仿真，得到马尔科夫决策算法是适用于切换决策算法的，且其
性能高于其他的决策算法，同时，马尔科夫过程本身的特性决定了该算法可以基于多种属性，
除了以上提到的带宽与时延，还可以加入用户需求等因素，这里不再赘述。
4 结论
本文给出了一种基于马尔科夫过程的网络切换判决算法，旨在设计适用于无线泛在网的215
高效的决策方案，以满足用户多样化的业务需求。本文基于马尔科夫决策算法，加以泛在网
各项参数，将整个判决过程数字化，抽象为求最优解的数学问题，并用值迭代算法计算最优
网络。通过仿真，对比了其他主流的决策算法，验证了本文论述的马尔科夫决策算法的优势。
[参考文献] (References) 220
[1] 张平. 泛在网络研究综述. 北京邮电大学学报, 2010, 33(5)
[2] Chen WT. An adaptive scheme for vertical handoffs in wireless Overlay networks. IEEE International
Conference on Parallel-and Distributed Systems，2004，25（6）：541-548.
[3] Eng Hwee Ong. Dynamic Access Network Selection with QoS Parameters Estimation :A Step Closer to
ABC[A]. In Proceedings of IEEE VTC 2008-Spring，2008，25（4）:2671-2676. 225
[4] Jiang Cui. A Novel Application-oriented Dynamic Network Selection in an Integrated UMTS and WIMAX
Environment. China， 2008，20（4）：158-16
[5] Chen Yeyun, Ai Jing. An Access Network Selection Algorithm Based on Hierarchy Analysis and Fuzzy
Evaluation. In Processings of WCSP，2009，21（4）:1-5
[6] Liu Xia. A Novel Fuzzy Logic Vertical Handoff Algorithm with Aid of Differential Prediction and 230
Pre-Decision Method[A]. In proceedings of IEEE ICC 2007[C]，2007，20（5）：5665-5669.
[7] Nidal Nasser. Middleware Vertical Handoff Manager: A Neural Network-Based Solution[A]. In Proceedings of
IEEE ICC 2007[C]，2007，24（8）：5671-5676.
