支持向量机性质研究
奉国和
(广州大学城华南师范大学经济管理学院信息管理系， 广州，510006)
E-Mail:ghfeng@
摘要：对于分类支持向量机和回归支持向量机推导了它们的一些性质，得出了一
些有价值的结论，对于全面地了解支持向量机的本质有帮助。
关键词：分类支持向量机；回归支持向量机；性能分析
0 前言
基于统计学习理论的支持向量机是新近研究机器学习、人工智能领域的一
个热点。支持向量机将求解问题最终归结为一个线性约束的凸二次规划(QP)问
题，求出的解是全局最优的和唯一的[2,3]。与神经网络依赖经验、陷入局部最小
等缺点相比支持向量机具有很大的优势，目前很多领域都开始重视支持向量机技
术的研究应用。为此，本文着重研究支持向量机的一些性质，以引导使用者更好
地理解支持向量机的实质。
1 支持向量机
支持向量机突出的优点是给出了实际风险的上界，并利用核函数将线性不可
分转化为特征空间线性可分，求解化为一个线性约束的凸二次规划求解问题，解
是全局最优和唯一的。最初支持向量机用于模式识别（分类支持向量机），后来
应用于函数逼近、回归估计（回归支持向量机）中，并且在实际应用中取得了好
的结果。
分类支持向量机
给定训练集 ,其中1{( , )}ni i iG x y == , {1, 1di ix R y }∈ ∈ − ,分类支持向量机的目的
是找到一个最优超平面将训练集分开, 寻找最优化超平面问题转化为在约束条
件
[( ( )) ] 1 , 0, 1,2...i i iy x b i nω φ ξ ξ+ ≥ − ≥ =i （1）
下最小化如下泛函，
2
1
1( , ) || || ( )
2
n
i
i
Cφ ω ξ ω ξ
=
= + ∑ （2）
构造拉格郎日泛函，
2
1 1
1( , , ) || || ( ) { [( ( )) ] 1 }
2
n n
i i i i
i i
L C y x b iω ξ α ω ξ α ω φ ξ
= =
= + − + − +∑ ∑ i （3）
对式(3)求偏导有
- 1 -
1
1
( , , ) 0 (
( , , ) 0 0,
( , , ) 0 0
n
i i i
i
n
i i
i
i
L y x
L y
b
L C
ω ξ α ω α φω
ω ξ α α
ω ξ α αξ
=
=
∂ = ⇒ =∂
∂ = ⇒ =∂
∂ = ⇒ ≤ ≤∂
∑
∑
),
(4)
将(4)代入(3)得对偶优化问题变[1,2],
1 1 1
1
1max ( ) max ( , )
2
0
0 , 1,2...
n n n
i i j i j
i i j
n
i i
i
i
Q y
y
C i n
αα
α α αα
α
α
= = =
=
= −
=
≤ ≤ =
∑ ∑∑
∑
i jy k x x
(5)
最后求出最优分类函数为
1
( ) ( ( )) ( , )
sgn( ( ))
n
i i i
i
f x x b y k x x
y f x
ω φ α
=
= + =
=
∑i b+ (6)
回归支持向量机
给定训练集 ,其中1{( , )}ni i iG x y == ,dix R y R∈ ∈ ，确定一个基于训练集G的函
数
( ) ( )f x x bω φ= +i（ ） (7)
来逼近未知的实际函数。该问题转化为在约束条件
( )
( )
0
0
i i
i
i
i
y x b
x b y i
ω φ ε ξ
ω φ ε
ξ
ξ
ξ
+
−
+
−
⎧ − − ≤⎪ + − ≤ +⎪⎨ ≥⎪⎪ ≥⎩
i
i
（ ）
（ ）
+
(8)
下求
21( , ) ( )
2 i ii
Cω ξ ω ξ ξ+ −Φ = + +∑&& (9)
最小值,其中 为常数。构造拉格朗日泛函，C
- 2 -
* * 2
1
* *
1 1
1( , , , , , ) ( ) (( ( )) 1 )
2
(( ( )) 1 ) ( )
n
i i i i i i i
i i
n n
i i i i i i i
i i
L b C x b
x b
ω α α β β ω ξ ξ α ω φ ξ
α ω φ ξ β ξ β ξ
+ − +
=
− + −
= =
= + + − + − +
− + − + − +
∑ ∑
∑ ∑
& & i
i
（10）
对式(10)求偏导有，
*
1
*
1
0 ( ) (
0 ( ) 0
0 , 1, 2,...
n
i i i
i
n
i i
i
i i
i
L )x
L
b
L C i n
ω α α φω
α α
α βξ
=
=
+
∂ = ⇒ = −∂
∂ = ⇒ − =∂
∂ = ⇒ + = =∂
∑
∑ (11)
得到对偶问题（Dual Problem）为[1,2]，
* *
* *
, , 1 1
*
1
1*( , ) ( )( ) ( , )max max 2
[ ( ) ( )]
n n
i i j j i j
i j
n
i i i i
i
W k
y y
α α α α
α α α α α α
α ε α ε
= =
=
= − − −
+ − − +
∑∑
∑
x x
*
(12)
所要求的回归方程为
*
1
( ) ( ) ( ) ( , )
n
i i i
i
f x x b k x xω φ α α
=
= + = −∑i（ ） b+ (13)
定义 1 式 (6)中 0iα ≠ 、(13)中 * 0i iα α− ≠ 所对应的 ix 称为支持向量(Support
Vectors)。
2 支持向量机性质分析
分类支持向量机目的是寻找最大间隔超平面，求得的最大间隔为
2
1γ ω= & & ， （14）
假设最优解
将式(4)第一式代入(14)有
1
2
2
1 ( )i
i sv
γ ω
−
∈
= = ∑& & α （15）
该式说明间隔可以用拉格郎日乘子来刻画，间隔的大小完全取决于拉格郎日
乘子之和，间隔要大，则拉格郎日乘子之和要尽量小。同时支持向量机应用间隔
概念有两个作用，一是间隔最大化确保了低的打散维，因此有好的泛化性；二是
不等式约束产生了 KKT 条件，间隔产生了解的稀疏性。
- 3 -
由于原问题在最优解处满足 KKT 条件，推出
1 0
( ) 1 0
1
i
i i i
i
y f x C
C
α
α
α
≥ =⎧⎪= = < <⎨⎪≤ =⎩
(16)
根据(16)式可将训练集 G 分为三类，第一类为位于间隔边上即满足
的数据，称为边界支持向量（Boundary support vector）；
第二类为位于间隔内即满足 的数据点,称为错误支持向量（Error
support vector）;第三类为位于间隔之外即满足 的数据点,
称为可去支持向量（Romoved Support Vectors），这类数据。第一和第二类数据
称为支持向量，只有支持向量才对分类函数起决定作用，而这些样本占整个样本
数量的比例是很少的，这样得到的解具有很强的稀疏性。
( ) 1 ( ) 1i if x f x= 或者 = −
1
≤ −
1 ( )if x− ≤ ≤
( ) 1 ( ) 1i if x f x≥ 或者
对于分类支持向量机，留一法（LOO）误差为
1,
1
1, 1,
1,
1 { ( , )}
1 { { ( , ) { ( , )}
1 { { ( , ) 0}
1 1
#
n
cv i i n i
i
n n
i i n i i i n i
i SV i SV
n
i i n i
i SV
n
i SV
GE y f x
n
y f x y f x
n
y f x
n
n
sv
n
α
α α
α
−
=
− −
∈ ∉
−
∈
∈
= ≠
= ≠ + ≠
= ≠ +
≤
=
∑
∑ ∑
∑
∑
}
(17)
其中 为留一法产生的误差，cvGE 1,( , )i n if x α − 为用 1n − 数据训练产生的决策函数，
为支持向量个数，而 为样本总个数。这个式子说明支持向量数是误差的上
限，支持向量数越少则误差也可能越小。
# sv n
对于回归支持向量机，根据 KKT 条件，在最优解处拉格郎日乘子与约束条
件乘积为 0，即有以下几个等式成立，
( ( )i i iy x b) 0α ε ξ ω+ − + + =i (18)
* *( ( )
ii i
y x bα ε ξ ω+ + − − =i ) 0 (19)
0 ( ) 0i i i iCβ ξ α= ⇒ − =ξ
0
(20)
* * * *0 ( )i i i iCβ ξ α ξ= ⇒ − = (21)
假定 ，也即* 0i iα α× ≠ *0, 0i iα α≠ ≠ ，根据(18) 0iα ≠ ,有
- 4 -
( )i iy x b 0ε ξ ω+ − + + =i ， (22)
同理， ,有 (23) * 0α ≠ * ( )
i i
y x bε ξ ω+ + − − =i 0
i iε β β+ + = 0(22)+(23)有 ，这*2 0 ε > 相矛盾，所以一定有对偶问题的拉格郎日
乘子满足 ，同理可得到松弛变量满足* 0i iα α× = * 0i iξ ξ× = 。
同时根据 KKT 条件我们也可以推出，
*
*
*
0 0
| ( ) | 0 0
i i
i i i i
i i
or
y f x C or C
C or C
ε α α
ε α α
ε α α
⎧≤ = =⎪− = = < ≤ < ≤⎨⎪≥ = =⎩
(24)
其中 | ( ) |i iy f x ε− ≤ 对应的 ix 称为支持向量，落在ε 管道之内，用来刻画函数估计
的精度的；而 | ( ) |i iy f x ε− > 对应的 ix 对ω没有贡献，落在ε 管道之外，对决策函
数的构造没有任何贡献。
3 结束语
支持向量机基于结构风险最小化原则，运用核技术，将问题求解转化为凸二
次优化问题，解具有全局最优和唯一性。支持向量机优良的性能决定它具有广泛
的应用领域，本文分析支持向量机性质，得出了一些结论，为全面深刻地认识了
解支持向量机和使用支持向量机解决实际问题提供依据。
参考文献
[1]Vapnik V learning theory[M]. New York:Wiley,1998；
[2]Vapnik ,The Nature of Statistical Learning Theory[M].New York:Springer,
1999；
[3]Vapnik V N.张学工译.统计学习理论的本质[M].北京：清华大学出版社，2000.
Characters’s Research of Support Vector Machines
Feng Guo-he
(College of Economics and Management, South China Normal University,
Guangzhou University City,Guangzhou,510006）
E-Mail:ghfeng@
Abstract：Detrusion some characters and results on support vector machines
classification and support vector machines regression,it is benefitful to roundly
know SVM and apply it to solve some problems.
Key words: Support vector machine classification, Support vector machine regression;
Character analysis
- 5 -
作者简介:
奉国和(1971-)，男，汉族，湖南人，博士，讲师，主要研究领域为数据挖
掘技术，信息管理系统设计研究；
- 6 -
