最优控制理论
最优控制------绪论
数学准备--- 古典变分法
第四章 用变分法求解最优控制问题
第五章 极小值原理及其应用
第六章 线性二次型问题的最优控制
第七章 动态规划法
最优控制----绪论
最优控制发展简史
最优控制是系统设计的一种方法。它所研究的中心问题是如何选择控制信号才能保证控制系统的性能在某种意义下最优。
一：最优控制的发展
第二次世界大战以后发展起来的自动调节原理，对设计与分析单输入单输出的线性定常系统是有效的；然而近代航空及空间技术的发展对控制精度提出了很高的耍求，并且被控制的对象是多输入多输出的，参数是时变的。面临这些新的情况．建立在传递函数基础上的自动调节原理就日益显出它的局限性来。这种局限性首先表现在对于时变系统，传递函数根本无法定义，对多输入多输出系统从传递函数概念得出的工程结论往往难于应用。由于工程技术的需要，以状态空间概念为基础的最优控制理论渐渐发展起来。最优控制理论是现代控制理论的核心，
20世纪50年代发展起来的，已形成系统的理论。
最优控制理论所要解决的问题是：按照控制对象的动态特性，选择一个容许控制，使得被控对象按照技术要求运转，同时使性能指标达到最优值。
二：研究最优控制的方法
从数学方面看，最优控制问题就是求解一类带有约束条件的泛函极值问题，因此这是一个变分学的问题：然而变分理论只是解决容许控制属于开集的一类最优控制问题，而在工程实践中还常遇到容许控制属于闭集的一类最优控制问题，这就要求人们研究新方法。
在研究最优控制的方法中，有两种方法最富成效：一种是苏联学者庞特里雅金提出的“极大值原理”；另一种是美国学者贝尔曼提出的“动态规划”。
极大值原理是庞特里雅金等人在1956至1958年间逐步创立的，先是推测出极大值原理的结论，随后又提供了一种证明方法。
动态规划是贝尔曼在1953年至1958年间逐步创立的，他依据最优性原理发展了变分学中的哈密顿-雅可比理论，构成了动态规划。
由于电子计算机技术的发展，使得设计计算和实时控制有了实际可用的计算工具，为实际应用—些更完善的数学方法提供了工程实现的物质条件，高速度、大容量计算机的应用，一方面使控制理论的工程实现有了可能，另一方面又提出了许多需要解决的理论课题，因此这门学科目前是正在发展的，极其活跃的科学领域之一。
最优控制理论在一些大型的或复杂的控制系统设计中， 已经取得了富有成效的实际应用。目前很多大学在自动控制理论课程中已经开始适当增加这方面的内容，而对于自动控制方面的研究生则普遍作为必修课程。
求解最优控制问题，可以采用解析法或数值计算法
最优控制问题的实例
例1．1月球上的软着陆问题
飞船靠其发动机产生一与月球重力方向相反的推力u(t)，以使飞船在月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料的消耗为最少。
设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发动机推力为u(t)，月球表面的重力加速度为常数g。设不带燃料的飞船质量为M， 初始燃料的总质量为F．初始高度为h0，初始的垂直速度为v0，那么飞船的运动方程式可以表示为：
初始条件
终端条件
性能指标是使燃料消耗为最小，即
约束条件
达到最大值
我们的任务是寻求发动机推力的最优控制规律u(t),它应满足约束条件，使飞船由初始状态转移到终端状态，并且使性能指标为极值(极大值)。
例1—2拦截问题
在某一惯性坐标系内，设拦截器质心的位置矢量和速度矢量为：
目标质心的位置矢量和速度矢量为：
F(t)为拦截器的推力
则拦截器与目标的相对运动方程为：
其中a(t)是除控制加速度外的固有相对加速度，是已知的。
初始条件为：
终端条件为：
从工程实际考虑，约束条件为
如果我们既要求拦截过程的时间尽量短，又要求燃料消耗尽量少，则可取性能指标：
为最小
综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。
最优控制问题的提法
在叙述最优控制问题的提法之前，先讨论一些基本概念。
1：受控系统的数学模型
一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一般形式为：
是n维状态向量
为p维控制向量
为n维函数向量
2：目标集
如果把状态视为n维欧氏空间中的一个点，在最优控制问题中，起始状态（初态）通常是已知的，即
而所达到的状态（末态）可以是状态空间中的一个点，或事先规定的范围内，对末态的要求可以用末态约束条件来表示：
满足末态约束的状态集合称为目标集，记为M，即：
至于末态时刻，可以事先规定，也可以是未知的。
有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。
3：容许控制
在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取值，这种限制通常可以用如下不等式约束来表示：
上述由控制约束所规定的点集称为控制域U，凡在t0-tf上有定义，且在控制域U内取值的每一个控制函数u(t)均称为容许控制。
4：性能指标
通常情况下，最优控制问题的性能指标形如：
其中第一项是接近目标集程度，即末态控制精度的度量，称为末值型性能指标。
第二项称为积分型性能指标，它能反映控制过程偏差在某种意义下的平均或控制过程的快速性，同时能反映燃料或能量的消耗。
5：最优控制的提法
已知受控系统的状态方程及给定的初态
规定的目标集为M，求一容许控制u(t)∈U,t∈ [t0,tf],使系统从给定的初态出发，在tf >t0时刻转移到目标集M，并使性能指标
为最小。
这就是最优控制问题。
如果问题有解，记为u*(t), t∈ [t0,tf],则u*(t)叫做最优控制（极值控制），相应的轨线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*(·)）则称为最优性能指标。
最优控制的应用类型
设计最优控制系统时，很重要的一个问题是选择性能指标，性能指标按其数学形式可分为如下三类：
1）积分型性能指标
这样的最优控制问题为拉格朗日问题。
2）终值型性能指标
这种性能指标只是对于系统在动态过程结束时的终端状态提出了要求，而对于整个动态过程中系统的状态和控制的演变未作要求。这样的最优控制问题为迈耶尔问题。
3）复合型性能指标
这样的最优控制问题为波尔扎问题。
通过适当变换，拉格朗日问题和迈耶尔问题可以相互转换。
按控制系统的用途不同，所选择的性能指标不同，常见的有：
1：最小时间控制
2：最小燃料消耗控制
粗略地说，控制量u(t)与燃料消耗量成正比，最小燃料消耗问题的性能指标为：
3：最小能量控制
设标量控制函数u2(t)与所消耗的功率成正比，则最小能量控制问题的性能指标为：
4：线性调节器
给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。
线性调节器的性能指标为：
加权后的性能指标为：
对u(t)有约束的性能指标为：
式中Q和R都是正定加权矩阵。
一般形式，有限时间线性调节器性能指标：
无限时间线性调节器性能指标：
F≥0，Q≥0，R>0，均为对称加权矩阵。
5：线性跟踪器
若要求状态X(t)跟踪或尽可能接近目标轨迹Xd(t),则这种系统称为状态跟踪器，其相应的性能指标为：
Q≥0，R>0，均为对称加权矩阵。
若要求系统输出y(t)跟踪或尽可能接近目标轨迹yd(t),则这种系统称为输出跟踪器，其相应的性能指标为：
Q≥0，R>0，均为对称加权矩阵。
除了上述几种应用类型外，根据具体工程实际的需要，还可以选取其他不同形式的性能指标，在选取性能指标时需注意：
1）应能反映对系统的主要技术条件要求
2）便于对最优控制进行求解
3）所导出的最优控制易于工程实现
数学准备--古典变分
函数极值问题
变分法是研究泛函极值的一种经典法。
一、变分法的基本概念
1．泛函：对于某一类函数集合中的每一个函数x(t) ,均有一个确定的数J与之对应，那么就称J为依赖于函数x(t)的泛函，记为J= J(x(t))。
2．泛函的极值
如果泛函 在任何一条与 接近的曲线上所取的值不
小于 ，即
则称泛函 在 曲线上达到极小值，
反之---极大值
两个函数接近：（一般变量两方向）但
(epsilon 为一正的小量),有零阶接近度
(k阶接近度）
从零阶接近度的曲线得到的极值为强极值，反之，弱极值
强极大值 > 弱极大值
强极小值 < 弱极小值
3．泛函的变分
泛函增量可表示为：
定义泛函增量的线性部分：
也可定义为：
4．泛函的极值
定理：如果可微函数 在 上达到极值,则在 上的变分等于零.即
如果取定
则 是α函数
另外: α=0 Φ(0)取极值,因此
泛函极值问题
一.无条件约束的泛函极值问题
设函数x（t）在 [t0,tf] 区间上连续可导
定义下列形式的积分
J的值取决于函数x（t），所以它是泛函
1：始端时刻t0和终端时刻tf都给定时的泛函极值
设
函数x*(t)使J为极小
令：
式中ε是一个很小的参数，η（t）是一个连续可导的任意函数
其取极小值的必要条件为：
上式为J(x)取极小值的必要条件
J(x)为极大、极小，通常可根据系统的物理性质来判断。
J(x)取极小值的充分条件
J(x)取极值的必要条件为：
欧拉方程
横截条件
由必要条件
复合求导
不同函数的欧拉方程为：
例:
解:
代入初始条件得： c1=0,c2=1 求得最优解
当t0和tf给定时，根据x(t0),x(tf)是固定的或自由的各种组合，可导出边界条件
（1）固定始端和固定终端
x(t0)=x0, x(tf)=xf
故边界条件为：
x(t0)=x0, x(tf)=xf
X(t)
X1(t)
X2(t)
X3(t)
t0
tf
t
由横截条件
(2)自由始端和自由终端
X(t)
t0
tf
t
（3）自由始端和固定终端
x(tf)=xf
X(t)
t0
tf
t
（4）固定始端和自由终端
x(t0)=x0
X(t)
t0
tf
t
极小值的充分条件：
故J(x)取极小值的充分条件：
为正定
例
设性能指标为：
边界条件为：x(1)=1,x(2)=2,
求J为极值时的x*(t)
解
由欧拉方程
根据边界条件，x(1)=1,x(2)=2
正半定，J(x)为极小值
2：未给定终端时刻的泛函极值问题
若始端时刻t0给定，始端状态x(t0)固定或沿规定的边界曲线移动；而终端时刻tf自由，终端状态x(tf)自由或沿规定的曲线移动，这类最优控制问题称之为未给定终端时刻的泛函极值问题。
设系统性能指标:
式中t0是已知的，tf未给定，x(t0)给定或未给定
J取极值的必要条件为：
式中ε是一个很小的参数，η（t）是一个连续可导的任意函数
上式第二项分部积分
于是有：
得J(x)取极值得必要条件为
欧拉方程
横截条件
由横截条件可推出各种情况下的边界条件：
1）给定始端和自由终端
X(t0)
t0
tf
t
X*(t)
X(tf)
tf*
此时，x(t0)=x0,η(t0)=0,ξ(tf)和η(tf)自由
可得边界条件与横截条件为： x(t0)=x0
由于最优轨线x*(t)的tf即是最优时刻tf*,上式可写为：
2）给定始端x(t0)=x0和终端有约束x(tf)=C(tf)
X(t0)
t0
tf
t
X*(t)
X(t)
tf*
C(t)
代入
上式对ε求偏导，并令ε＝0
可得边界条件与横截条件为：
（3）终端x(tf)固定，始端有约束x(t0)=Ψ(t0)
X(tf)
t0
tf
t
X*(t)
X(t)
tf*
Ψ(t)
边界条件与横截条件为：
从以上讨论可以看出，不论边界情况如何，泛函极值都必须满足欧拉方程，只是在求解欧拉方程时，对于不同边界情况，应采用不同的边界条件与横截条件。
x(t0)约束
x(tf)固定
x(t0)固定
x(tf)约束
x(t0)固定
x(tf)自由
tf自由
x(t0)自由
x(tf)自由
x(t0)固定
x(tf)自由
tf固定
x(t0)自由
x(tf)固定
x(t0)固定
x(tf)固定
tf固定
无条件约束的泛函极值问题中的边界条件和横截条件列表
例
求使性能指标
为极小时的最优轨线x*(t)。设x(0)=1，x(tf)=C(tf)，C(tf)=2-t, tf未给定。
解
显然，所给出的性能指标就是x(t)的弧长，也就是说，要求从x(0)到直线C(t)的弧长未最短。
t
x(t)
c(t)
2
x(0)
x*(t)
x(t)
0
欧拉方程为：
这是一个x(t0)固定，x(tf)约束情况下的极值问题。
由边界条件
x(t0)=x（0）
b=1,x(t)=at+1
横截条件
解得
t
x(t)
c(t)
2
x(0)
x*(t)
x(t)
0
由边界条件
t
x(t)
c(t)
2
x(0)
x*(t)
x(t)
0
泛函变分数学形式
对于泛函
对于泛函
3：向量函数泛函极值问题
在上面所讨论的公式中，都假定x是1维变量，但是，所有公式都可推广到n维变量的情况
设性能指标
式中
则欧拉方程为
式中
对于始端时刻t0和终端时刻tf都给定时，横截条件
式中
对于未给定终端时刻tf时的横截条件为：
（1）给定始端和终端有约束：
（2）给定终端和始端有约束
边界条件为：
解：
两式合并得：
应特征方程 可得特征根：λ=±1,±j
由边界条件得：C1=C2=C4=0,C3=1
二．有约束条件的泛函极值问题
在实际问题中，对应泛函极值的最优轨线x*(t)通常不能任意选取，而受着各种约束。求泛函在等式约束下的极值，称为条件泛函极值问题。
代数方程约束
设
约束方程
构造增广泛函
令纯量函数
分部积分
由于δx, δλ相互独立，为使上式成立，应同时满足下述欧拉方程，约束方程和横截条件：
欧拉方程：
约束方程：
横截条件：
利用横截条件，根据始端状态x(t0)和终端状态x(tf)的不同情况，可以导出具体的边界条件和横截条件，其讨论过程和结论与无约束条件的泛函极值问题相同。
2：微分方程约束
设
约束条件：
设纯量函数
欧拉方程
约束条件
横截条件
3：积分方程约束
设
约束方程
c为一常数
设
则
令
欧拉方程
约束方程
横截条件
可见，对于有约束条件的泛函极值问题，可采用拉格朗日乘子法将其转化为无约束条件的泛函极值问题进行求解。在不同边界条件情况下，欧拉方程不变，只是边界条件及横截条件不同。
解：
解得：c1=3,c2=7/2,c3=1,c4=1
第四章 用变分法求解最优控制问题
设系统状态方程:
性能指标:
式中
为纯量函数
最优控制问题就是寻求最优控制
及最优状态轨迹
使性能指标J取极值.
一.初始时刻 及始端状态 给定, 给定,终端自由
构造增广泛函
令哈密尔顿函数:
则
注意到:
为使上式成立,应同时满足下列方程:
欧拉方程(伴随方程)
状态方程
控制方程
横截条件
对于两端固定的情况下横截条件
例 1
设系统状态方程为
的边界条件为
求最优控制
使下列性能指标
为最小
解:
作哈密尔顿函数
欧拉方程
控制方程
状态方程
消除u
由边界条件
得最优控制
二. 初始时刻 及始端状态 给定, 给定,终端约束.
设终端约束方程为
构造增广泛函:
式中
J取极值的必要条件是
正则方程
控制方程
边界条件和横截条件
三. 初始时刻 及始端状态 给定, 自由,终端约束
设终端约束为
构造增广泛函
得J取极值的必要条件为:
正则方程
控制方程
边界条件和横截条件
用变分法求解最优解的必要条件
性能指标
系统方程
约束条件
正则方程
控制方程
条件边界条件和横截条件
终端约束
终端自由
终端约束
终端自由
终端固定
tf
自由
终端固定
tf
给定
例2
已知系统状态方程为
求最优控制
使性能指标
为最小
解
本题为
给定，终端自由的情况
正则方程:
控制方程
得
消除u
边界条件与横截条件
求得
最后得最优控制
例3
设系统的状态方程为
性能指标
终端约束条件
试求使
的最优控制
解
本题为
终端受约束的 最优解问题
正则方程
控制方程
边界条件和横截条件
代入
解得
例 4
设系统状态方程为
边界条件
试确定最优控制
使
为极小
解
这是
自由,终端固定的最优解问题
正则方程
控制方程
应用边界条件
例 5
设控制对象方程为
终端时刻
自由,终端固定
求
和
使得
为极小.
解
本题
自由,终端固定
由边界条件和横截条件
故
或
于是最优轨线和最优控制为:
当
当
由
可求出终端时刻tf*
例6
磁场控制的直流电动机如图所示
M
Rf
Lf
Uf
数学模型
边界条件
性能指标
给定
试求在t1时间内由x(0)转移到x(t1),并使控制能量具有极小值时的控制输入(励磁电压)uf* ,最优性能指标J*和最优轨线x(t)*,
解:
这是tf 给定,x(tf) 固定的最优控制问题
正则方程
控制方程
代入状态方程得
代入给定边界条件
则最优控制为
最优性能指标
最优轨线
用变分法求解最优解的必要条件
性能指标
系统方程
约束条件
正则方程
控制方程
哈密顿函数
哈密顿函数的性质
哈密顿函数
哈密顿函数的全微分
哈密顿函数不含 t 的显式时：
那么，哈密顿函数为：
条件边界条件和横截条件
终端约束
终端自由
终端约束
终端自由
终端固定
tf
自由
终端固定
tf
给定
第五章 极小值原理及其应用
用古典变分法解最优控制问题时,假定u(t)不受限制,从而得到最优控制应满足
实际上在工程问题中,控制变量总有一定的限制.
设控制变量被限制在某一闭集内
即u(t)满足
满足限制条件的u(t)称为容许控制，由于δu不能是任意的,
的条件已不存在
庞特里亚金（1908～1988 ）Pontryagin，Lev Semionovich，俄罗斯数学家 。1908年9月3日生于莫斯科。13岁时因爆炸事故双目失明，母亲帮助他自学数学。
1925年进入莫斯科大学数学力学系。1929年毕业后成为拓扑学家.亚历山德罗夫的研究生。两年后在该校任教。
他的研究领域涉及拓扑学、代数、控制论等。50年代开始研究振动理论和最优控制理论，以庞特里亚金的极值原理著称于世。
庞特里亚金1956－1958年间逐步创立了最大值原理，一种适用性广泛又有严格理论依据的求解最优控制问题的简便方法。被誉为“现代变分法”。
由于多数著作中约定最优控制 与目标泛函 的极小值相对应，为了形式上的统一和便于记忆，“最大值原理”改称为“最小值原理”这两种叫法本质相同。
5-1.连续时间系统的极小值原理
设系统状态方程为:
初始条件
Ω为有界闭集,不等式约束为
G为m维连续可微的向量函数,
系统从x0转移到终端状态x(tf)，tf未给定,终端状态x(tf)满足等式约束
N为q 维连续可微向量函数,
性能指标:
最优控制问题就是要寻找最优容许控制u(t)使J为极小
令
于是,系统方程为:
终端时刻tf 未给定,终端约束
要求确定最优控制
使性能指标
为极小
引入拉格朗日乘子向量λ及Γ,写出增广性能指标泛函
令哈密而顿函数为
拉格朗日纯量函数
则
对Jα取一阶变分得
令
可得增广性能指标泛函取极值的必要条件为
欧拉方程
横截条件:
把ψ的表达式代入欧拉方程:
横截条件:
由欧拉方程和横截条件知,最优轨线
以上为使性能指标Jα取极值的必要条件,为使性能指标为极小,还必须满足维尔斯特拉斯函数沿最优轨线非负的条件,即:
或:
上式表明,沿最优轨线函数H相对最优控制u*(t)取绝对极小值,这是极小值原理的一个重要结论.
0
0
-λ*
上式表明,在有不等式约束的情况下,沿最优轨线
不再成立
定理:(极小值原理)
设系统的状态方程为
控制u(t)是有第一类间断点的分段连续函数,属于p维空间中的有界闭集Ω,满足不等式约束:
在终端时刻tf 未知的情况下,为使状态自初态
转移到满足边界条件
的终态,并使性能指标
达极小值.设哈密而顿函数为
则最优控制u*(t),最优轨线x*(t)和最优伴随向量λ*(t)必须满足下列条件:
(1).沿最优轨线满足正则方程:
式中Γ是与时间t无关的拉格朗日乘子向量,其维数与G相同,若G中不包含x,则:
(2)横截条件及边界条件:
(3)在最优轨线x*(t)上与最优控制u*(t)相对应的H函数取绝对极小值,即
并且沿最优轨线,下式成立
上述条件与不等式约束下的最优控制的必要条件相比较,横截条件及端点边
界条件没有改变,仅
这一条件不成立,而代之以与最优控制相对应的函数为绝对极小,其次是正则方程略有改变,仅当G中不包含x时, 方程才不改变.
当 t0和x(t0)给定,根据tf给定或自由, x(tf)给定,自由或受约束等不同情况下所导出的最优解必要条件列表如下:
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
给
定
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
给
定
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
给
定
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
自由
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
自由
约束
自由
边界条件与横截条件
固定
极值条件
正则方程
终端状态
性能指标
tf
自由
例1
设宇宙飞船质量为m,高度为h,垂直速度为v,发动机推力为u,月球表面的重力加速度设为常数g,不带燃料的飞船质量为M,初始燃料的总质量为F,飞船的状态方程为:
要求飞船在月球上实现软着陆,即终端约束为
发动机推力u受到约束,
试确定u*(t),使飞船由已知初态转移到要求的终端状态并使飞船燃料消耗最少,即使得
本题是控制受约束, tf 自由,末值型性能指标,终端受约束的最优控制问题.
解:
构造哈密而顿函数
伴随方程:
横截条件
为待定的拉格朗日乘子,将哈密而顿函数整理
有极小值原理知, H相对u*(t)取极小值,因此最优控制律为:
上述结果表明,只有当发动机推理在最大值和零值之间进行开关控制,才有可能在实现软着陆的同时保证燃料消耗最少.
5-2离散系统极小值原理
设离散系统的状态方程为:
其中f是连续可导的n维向量函数, x(k)为n维的状态向量序列, u(k)为p维控制向量序列,k表示时刻tk,终端时刻tf=tN.设初始状态x(0)=0,终端时刻tN给定,终端状态x(N)自由,控制向量序列u(k)无不等式约束.系统性能指标为:
要求寻找最优控制u*(k),使性能指标J为极小.
建立增广指标泛函
式中λ(k+1)为n维拉格朗日乘子向量序列
离散哈密而顿函数序列H为
由于x(0)给定, δx(0)=0
令
可得J取极值的必要条件为:
正则方程
边界条件与横截条件:
控制方程:
*特别的当终端状态有等式约束时
横截条件改为:
*当u(k)有不等式约束时
不成立,此时最优控制序列对应的H函数序列为绝对极小值,即:
横截条件(终端时间给定,终端自由)
控制有约束
控制无约束
极值条件
正则方程
哈密而顿函数
极值问题
性能指标
系统
离散极小值原理
连续极小值原理
例 5-2
设离散状态方程及边界条件为
试用离散极小值原理求最优控制序列使性能指标
取极小值,并求出最优状态序列.
解
伴随方程
控制方程
状态方程:
列写结果如下
5-3极小值原理的应用
5-3-1：最小时间控制(时间最优控制)
设线性定常系统的状态方程
其中
控制向量u(t)受不等式约束
寻求最优控制u*(t),使系统从已知的初始状态转移到终端状态，tf 自由,并使性能指标
为极小
构造哈密尔顿函数:
根据极小值原理,最优控制的必要条件为:
正则方程
边界条件
极值条件
设
则
设各控制分量相互独立,则有
在约束条件
下的最优控制为:
由此可知,当λ*T(t)bj≠0 时,可以找出确定的u*j(t) 来,并且它们都为容许控制的边界值.当λ*T(t)bj 穿过零点时, u*j(t)由一个边界值切换到另一个边界值.如果λ*T(t)bj 在某一时间区间内保持为零,则u*j(t)为不确定值,这种情况称为奇异问题或非平凡问题,相应的时间区段称为奇异区段.当整个时间区间内不出现奇异区段时,则称为非奇异问题或平凡问题,对于平凡问题,有以下几个定义及定理
①Bang-Bang原理
若线性定常系统
属于平凡情况,则其最短时间控制为
u*(t)的各个分量都是时间的分段恒值函数,并均取边界值,称此为Bang-Bang原理.
Bang-Bang原理也适用于下列一类非线性系统
② 最短时间控制存在定理
若线性定常系统
完全能控,矩阵A的特征值均具有非正实部,控制变量满足不等式约束|u(t)|≤M,则最短时间控制存在.
③ 最短时间控制的唯一性定理
若线性定常系统
属于平凡情况,若时间最优控制存在,则必定是唯一的.
④开关次数定理
若线性定常系统
控制变量满足不等式约束|u(t)|≤M
矩阵A的特征值全部为实数, 若最短时间控制存在.则必为Bang-Bang控制,并且每个控制分量在两个边界值之间的切换次数最多不超过n-1次.
例 5-3
设系统的状态方程为
边界条件:
控制变量u(t)的不等式约束 |u(t)|≤1
性能指标
求最优控制u*(t),使 J 为最小.
解:
由于A具有两个零特征值,满足非正实部的要求,且
系统能控,因而最优时间控制存在,如果系统属于平凡情况,则最优控制是唯一的,开关换向次数最多只有一次.
伴随方程
解得
极值条件
最优控制规律为
当u(t)=+1时,状态方程的解为:
最优轨迹方程:
当u(t)=-1时,状态方程的解为:
最优轨迹方程
两族抛物线中,各有半支抛物线引向原点,由这两条半支抛物线所组成的曲线AOB称为开关曲线:
讨论不同初始状态的最优控制方案,有四种情况
综上所述,最优控制规律为
上述控制规律的工程实现方法
设系统方程为
试求从给定的 到的 时间最优控制，并在状态平面上画出最优状态轨迹。
系统方程为：
系统构H函数：
由最小值原理的最优控制得： λ2>0时最优控制为 –1 。
λ2<0时最优控制为 1
协状态方程：
消去t得方程：
0
x
u=1 r+
u=-1 r-
R+
u=+1
R-
u=-1
P
Q
设系统方程为
试求从给定的
到
的时间最优控制，并在状态平面上画出最优状态轨迹。解：
由最小值原理的最优控制得： λ2>0时最优控制为 –1 。
λ2<0时最优控制为 1
代入方程得解：
1
0
-1
x
r+
u=1
u=-1 r-
R+
u=+1
R-
u=-1
M3
M2
M1
N1
N2
N3
P2
P1
Q
其中：
消去t得方程：
运动轨迹如图所示:
在U的控制下，系统的轨迹描述如下：
5-3-2:最小燃料消耗控制
最小燃料控制问题,性能指标
对于双积分模型的最小燃料消耗控制问题,描述如下:
设系统状态方程为
控制约束为
性能指标
求最优控制,使J为极小,其中tf 给定
根据
最优控制规律
伴随方程为:
状态方程的解为
上述方程和边界条件联立,可求出
由此可见,最小燃料消耗控制是一种开关型控制,可采用理想的三位式继电器作为控制器.
例 5-4
已知系统状态方程及初始条件为:
试求最优控制,使性能指标
取极小值,并分段求出最优轨线
解
本题属于终端状态自由,有末值性能指标要求的最小燃料消耗问题
由
伴随方程为
横截条件为
从而得
解此方程,
5-3-3:最小能量控制
最小能量控制问题指在控制过程中,控制系统的能量消耗为最小,与最小燃料消耗问题类似,也只有在有限时间内有意义.
设系统状态方程为
控制约束
终端状态
给定,要求确定最优控制
使性能指标
为极小
伴随方程:
引入开关函数
的列向量,即
由极小值原理知
为极小,即应使
为极小
令
最小能量控制的控制规律为
例 5-5
设系统状态方程及边界条件为
试确定最优控制,使性能指标
取极小值.
解:
由极值条件知:
由伴随方程
由于终端状态固定,不能有横截条件确定c1和c2需要试探确定.通常最小能量控制问题的控制量较小,首先选择线性段函数
代入状态方程并考虑到初始条件
解得
于是最优控制为
约束条件
最优轨线
最优性能指标
第六章 线性二次型问题的最优控制
6-1 线性连续系统状态调节器
1:有限时间状态调节器
设线性系统状态方程为
二次型性能指标为
不受约束
x(tf) 自由，tf 有限
对于
均连续、有界
要求寻找最优控制u*(t)，使J为最小。
令
正则方程
由于u(t)不受约束
代入正则方程
这是一组一阶微分方程，边界条件和横截条件为
显然，可以假定
与x(t)之间存在线性关系。
上式称为矩阵黎卡提方程，其边界条件为
由黎卡提方程求出P(t)后，则最优控制为
边界条件和横截条件为
引理6-1
若P(t)是黎卡提方程的解，则P(t)对所有的
是对称的
引理 6-2
控制
至少产生了一个局部最小。
引理 6-3
若上述状态调节器问题的最优解存在，则最优控制是唯一的。
定理 6-4
已知线性时变系统的状态方程
和性能指标：
其中u(t)不受约束，tf 有限，F(t)和Q(t)为半正定对称矩阵，R(t)为正定对称阵，则最优控制存在且是唯一的，并且由下式确定：
其中对称矩阵K(t)是下列黎卡提方程的唯一解
而最优状态x*(t)则是下列线性微分方程的解：
几点说明：
1) 最优控制规律是一个状态线性反馈规律，它能方便地实现闭环最优控制；
2) 由于P(t)是非线性微分方程的解，通常情况下难以求得解析解，需要由计算机求出其数值解，又因为其边界条件在终端处，所以需要逆时间方向求解，因此应在过程开始之前就将K(t)解出，存入计算机以供过程使用；
3) 只要控制时间[t0,tf]是有限的，P(t)就是时变的（即使状态方程和性能指标J是定常的），因而最优反馈系统将成为线性时变系统；
4) 将最优控制u*(t)及最优状态轨线x*(t)代入性能指标函数，得性能指标得最小值为：
5) 当控制时间[t0,tf]为有限时间时，状态调节器最优解的存在不要求系统能控，这是因为所采用的性能指标是为了保持系统的状态x(t)接近零状态。当控制时间[t0,tf]为有限时间时，即使系统不能控，不能控状态对性能指标的影响也是有限的，在[t0,tf]区间中性能指标不至于变为无穷，故最优控制存在。如果 ，则只有当系统能控时，状态调节器才存在最优解。
例6-1
已知一阶系统的状态方程为：
二次型性能指标为：
求使系统性能指标J为最小值使的最优控制u*(t)。
解
最优控制
其中P(t)为黎卡提方程
的解
最优线性反馈系统结构图
+
_
+
_
例6-2
二阶系统状态方程为
二次型性能指标为
试求使系统性能指标J为最小的最优控制u*(t)
解
最优控制为
因为P(t)为对称矩阵，设
K(t)满足黎卡提方程
整理得
解此微分方程得P(t)，代入u*(t)表达式，可得最优控制。显然，由于微分方程组的非线性性，不能求得其解析解，而只能利用计算机求得其数值解。
例6-3
设系统状态方程和初始条件为：
终端时刻tf 为某一给定值。求最优控制u*(t)使下列性能指标为最小，
解
设
代入黎卡提方程
由终端边界条件
利用计算机逆时间方向解上述微分方程，解出从t=0到t=tf 的P(t)，可得最优控制：
2:无限时间状态调节器
设线性定常系统状态方程为
[A,B]能控，u(t)不受约束，二次型性能指标为
其中Q，R为常数矩阵
要求确定最优控制u*(t)，使J为最小。
与有限时间状态调节器相比，有如下几点不同：
系统是时不变的，性能指标中的权矩阵为常值矩阵。
2）终端时刻
当[t0，tf ]为有限时间时，最优控制系统是时变的；
希望最优控制系统是定常的。
3）终值权矩阵F=0
4）要求受控系统完全能控，以保证最优控制系统的稳定性
终值性能指标将失去工程意义
如果系统不可控
性能指标就有可能趋于无穷大，无法比较控制的优劣，也就无法确定最优控制。
结果如下
当
矩阵对（A，B）完全能控时，存在唯一的最优控制：
其中
为n×n常值正定对称阵，它满足黎卡提代数方程：
一般情况下，需要用数值方法求解。
闭环最优控制的状态方程为：
解此方程可得最优轨线x*(t)，性能指标的最小值为：
上述最优控制系统并不一定是稳定的，只有矩阵
的所有特征值都具有负实部时，系统才是稳定的，可能反复计算多次
[选Q求
可以证明，若DDT=Q，（A，D）能观测，则对于对称非负定加权矩阵Q，当（A，B）能控时，可以保证最优控制u*(t)的存在性和唯一性，且闭环最优控制系统是稳定的。
若
为正定对称阵，则闭环最优系统是稳定的。
例6-4
考虑下列可控系统
性能指标
求最优控制u(t)使性能指标J为最小。
解
由于
则Q为正定阵。
设
可由黎卡提代数方程
求得
考虑到
应为正定对称矩阵，则
可以求出
是不满足要求的，证明如下
若
由于
由于
上式两边为正，平方后有
与
矛盾
最优控制为
最优控制系统结构图为
例6-5
控制系统状态方程为
性能指标
求最优控制u*(t)，使J取最小值。
解
设
可由黎卡提代数方程
得
解之得
最优控制为
式中
状态调节器的稳定性
由线性定常最优调节器组成的闭环反馈控制系统状态方程为：
设李雅普诺夫函数为
由于Q、R均为正定阵，故
负定，即系统是渐近稳定的。
6-2 线性离散系统状态调节器
设离散系统状态方程为
u(k)不受约束。性能指标为：
求最优控制序列u*(k)，使性能指标J为最小。
式中
建立哈密尔顿函数
正则方程
边界条件与横截条件为
可以假设
控制方程
上述两式中消除
要使上式对任意x(k)成立，则有
上式称为黎卡提差分方程。逆时间方向解这一差分方程，便可确定最优增益矩阵K(k)。
由
得
最优控制u*(k)为状态的线性函数。因此，同连续系统一样，可以方便地实现闭环控制。
最优控制
性能指标的最小值为：
单位延时
例6-6
设一阶离散系统的状态方程为
初始条件
性能指标
求最优控制序列u*(k)，使性能指标J为最小。
解
为简单起见，设N=2，即只求解一个二步控制问题。
性能指标
黎卡提方程式
逆时间方向计算
最优控制
最优性能指标
6-3线性连续系统输出调节器
1：有限时间时变输出调节器
设线性时变系统为
式中
控制u(t)不受约束，时变矩阵A（t）,B(t),C(t)是时间的连续、有界函数，具有适当的维数。取二次型性能指标：
终端时刻tf 给定，F为半正定，Q(t)、R(t)分别为半正定和正定对称时变矩阵，其各元素对时间连续有界。要求寻找最优控制u*(t)，使J为最小。
将
代入性能指标
与状态调节器问题相比，唯一的差别是性能指标函数中的权函数发生了变化。
定理5-5 如果矩阵F和Q(t)是半正定的，当且仅当系统[A(t),B(t),C(t)]能观测时，矩阵C(tf)TFC(tf)和C(tf)TQ(t)C(tf)是半正定的。
定理5-6 当且仅当系统[A(t),B(t),C(t)]能观测时，存在唯一的最优控制：
其中增益矩阵K(t)是下列黎卡提方程的对称正定解
有限时间状态调节器
而最优轨线x*(t)是下列微分方程的解
最优性能指标
2 ：无限时间定常输出调节器
设线性定常系统状态方程为
其中u(k)不受约束，终端时刻tf无限，A、B、C为适当维数的常值矩阵。二次型性能指标：
其中Q，R为对称正定常值矩阵，要求确定最优控制u*(k)，使性能指标J为最小。
定理5-7 对于系统(5-1)和性能指标(5-2),若(A,B,C)能控能观测，则存在唯一的最优控制：
（5-1）
（5-2）
其中
为对称正定常值矩阵，它满足黎卡提代数方程
最优轨线x*(t)满足微分方程
性能指标的最小值为：
例6-7
设系统状态方程为
求最优控制u*(t)，使性能指标
取最小值。
解
本例为无限时间定常输出调节器问题。
设
代入黎卡提矩阵代数方程
阵的正定性，要求
故
最优控制规律
例6-8
设受控系统
系统性能指标
试求使系统性能指标J为最小值时的最优控制u*(t)。
解
取状态变量
则
代入黎卡提矩阵代数方程
为保证P的正定性
最优控制
6-4 线性连续系统输出跟踪器
1：线性时变系统的跟踪问题
设线性时变系统为
其中
控制u(t)不受约束，时变矩阵A(t)、B(t)、C(t)具有适当的维数，且在[t0，tf]上连续、有界,，矩阵对(A，C)完全能观。
所谓跟踪问题就是寻找最优控制，使系统的实际输出y(t)在给定的时间区间[t0，tf]上尽可能地逼近理想输出z(t),而又不过多地消耗能量。
定义误差向量为
性能指标为
其中P、 Q(t)为半正定对称矩阵， R(t)为正定对称矩阵。
哈密尔顿函数：
正则方程
控制方程
边界条件和横截条件
假设
把u*(t)代入
代入上式
把λ(t)代入正则方程
上两式对任意时刻的
任何x(t)及任何z(t)均成立
上述两方程的边界条件
利用计算机逆时间求数值解，得到K(t)、g(t)后，得出最优控制
最优轨线由下式解出
最优性能指标
满足下列微分方程及边界条件
例6-9
已知一阶系统方程为：
其中a为常数，u(t)不受约束，用z(t)表示期望的输出
误差为
试求最优控制u*(t)，使性能指标
取极小值，其中
解
黎卡提方程及边界条件为：
其解为
式中
最优控制规律为：
例6-10
设系统状态方程为
初始条件为t0=0，x1(0)=x10，x2(0)=x20，输出方程为
求最优控制u(t),使性能指标
为最小，z=a
解
代入黎卡提方程，得
终端条件
如果设
代入
终端条件
如果设
最后，最优控制为
2 ：线性定常系统的跟踪问题
对于线性定常系统，如果要求输出为常数向量，且终端时刻tf 很大时，则可按上述的线性时变系统的方法推导出一个近似的最优控制规律，虽然这个结构并不适应tf 趋向无穷大的情况，但对一般工程系统是足够精确的，有重要的实用价值。
设线性定常系统状态表达式为
系统能控且能观测，设要求的输出z为常数向量，误差
性能指标
式中Q和R为正定的
最优控制为
P和g满足
最优轨线应满足
当终端时间tf 足够大且有限时，得出如下近似结果：
例6-11
设系统动态方程为
性能指标
即z=1
求最优控制使J为最小
解
设
代入黎卡提方程，得：
最优控制律为
第七章 动态规划法
7-1最短路线问题
动态规划是解决多级决策过程最优化的一种数学方法。所谓多级决策过程，是指把一个过程分为若干个阶段，而每一个阶段都需作出决策，以便使整个过程取得最优的效果。
最短路线问题，要求从A地到F地，选择一条最短的线路。为了便于分析，引入几个符号：
1
2
3
4
5
6
7
8
9
6
5
4
1
1
3
5
4
5
2
4
2
4
4
9
5
7
N：从某点到终点之间的级数；
x：表示在任一级所处的位置，称为状态变量；
SN (x)：决策变量，表示当处于状态x，还有N级时，所选取的下一个点；
WN(x)：表示从状态x到终点F的N级过程的最短距离；
d(x, SN)：表示从状态x到点SN的距离。
从最后一级开始计算：
1
2
3
4
5
6
7
8
9
6
5
4
1
1
3
5
4
5
2
4
2
4
4
9
5
7
同理
所以，最短路线为
最短距离为14
一个N级最优过程，不管第一级决策如何，其余N-1级，决策过程至少必须依据第一级决策所形成的状态组成一个N-1级最优过程，在此基础上，在选择第一级决策，使总的N级过程为最优。
1
2
3
4
5
6
7
8
9
6
5
4
1
1
3
5
4
5
2
4
2
4
4
9
5
7
这种递推关系可以用下列递推方程式来表达：
最优性原理
一个多级决策过程的最优策略具有这样的性质：不管其初始状态和初始决策如何，其余的决策必须根据第一个决策所形成的状态组成一个最优策略。
贝尔曼，Richard Bellman (1920～1984) 美国数学家，美国全国科学院院士，动态规划的创始人。
贝尔曼因在研究多段决策过程中提出动态规划而闻名于世。
1957年他的专著《动态规划》出版后，被迅速译成俄文、日文、德文和法文，对控制理论界和数学界有深远影响。
动态规划问题的特征
动态规划算法的有效性依赖于问题本身所具有的两个重要性质：
1、最优子结构：但问题的最优解包含了子问题的最优解时，称该问题具有最优子结构性质。
2、重叠子问题：在用递归算法自顶向下解问题时，每次产生的子问题并不总是新问题，动态规划正是利用了这种子问题的重叠性质，
使用动态规划的原则
符合最优化原理和无后效性原则是使用动态规划的原则
1、最优化原理：原问题转化成规模更小的子问题时，原问题最优当且仅当子问题最优，这就是最优化原理。
通俗理解为子问题的局部最优将导致整个问题的全局最优，即问题具有最优子结构的性质，也就是说一个问题的最优解只取决于子问题的最优解，非最优解对问题求解没有影响。
2、无后效性原则：其指的是某阶段你的状态一旦确定，则此后过程的演变不再受此前各状态及决策的影响，也就是说“未来与过去无关”，
马尔可夫性质：马尔可夫链，因安德烈•马尔可夫（，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
在某种情况下，动态规划并不一定是最好的算法，甚至不能算是好的算法。
7-2 离散最优控制问题
设控制系统的状态方程为
式中x(k)是k时刻的几维状态向量，u(k)是k时刻的p维容许控制向量，设系统在每一步转移中的性能指标为
如在u(0)的作用下
在u(1)的作用下
对N级决策过程
性能指标
要求选择控制序列
使性能指标达到极小
根据最优性原理
解上述递推方程，即可获得最优控制序列。
例7-1
设一阶离散系统的状态方程为
初始条件为x(0)，控制变量u不受约束，性能指标为
求最优控制u*(t)，使J达最小，为简便起见，设N＝2
解
设在u(0)、u(1)作用下，系统状态为x(0)、x(1)、x(2)
先考虑从x(1)到x(2)的情况，控制为u(1)
再考虑从x(0)到x(1)的情况，控制为u(0)
最优控制序列为
最优性能指标为
连续动态规划
设连续系统动态方程为
控制信号u(t)受到限制，即 u(t)∈Ω，性能指标为：
求最优控制u*(t)，使J为最小
设t∈[t0,tf]
根据最优性原理，从t+Δ到tf这一过程也是最优过程
由于Δ很小
根据贝尔曼方程可确定使性能指标J为最小的最优控制u*(t)。定义函数
则
如果u*为最优控制，则
——哈密尔顿函数-雅可比方程
当u不受约束
(6-1)
(6-2)
利用边界条件
(6-3)
由 (6-1)、 (6-2)、 (6-3)求解即可，其中
例7-3
设系统状态方程为
初始状态
不受约束，性能指标为
求最优控制u*(t)，使性能指标J为最小。
解
由于
因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故
解
由于
因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故
解得
为求解此偏微分方程，设其解为
满足方程，得
可得
解为
最优控制
最优控制可由状态反馈实现，如图所示。
进一步考察系统的状态轨线。系统的状态方程
为齐次方程，它的解为
于是最优控制为
α Α 阿尔法 aERlfalaERlfarr β Β 卑塔 beital γ Γ 咖吗 gaMal δ Δ 德儿塔 deERltaldeERltarr ε Ε 厄普西龙eepuuseiLonleepulxiLonr ζ Ζ zei塔zeitaljetal η Η 衣塔italeital θ Θ 西塔xitalseital ι Ι 哟塔yotal κ Κ 卡怕 kapalkalpaa λ Λ 拉姆达 LaMonldal Lamonldarr μ Μ 谬 mieu ν Ν 妞nieu ξ Ξ 可赛kelsaill ο Ο 欧秘克隆eullmiikeLonl eumirrkerrLonr π Π 派 paill ρ Ρ --Rol σ Σ 西格马seigerrmalxigerrmal τ Τ 套 taoll υ Υ 优普西 ieullpeeseiLonl ieupulseiLonr ieupulxiLonr φ Φ ——fail χ Χ 凯kail ψ Ψ ——pelsaill ω Ω 欧米咖eumilga eumilja
