最优控制讲授提纲

最优控制讲授提纲第一页，共九十二页，编辑于2023年，星期三使用说明讲课开始时，学生需人手一册教材，已可开讲。讲授提纲用幻灯片放映，仅起画龙点睛作用（若无幻灯片放映，可用板书代之）。关键是：任课教师是否习惯此种讲课方式。实践表明：学生的收效却更好。任课教师都有自己的习惯、风格，都喜爱自己的讲稿，因此，只适宜于列出讲授提纲供参考，逐次的讲稿宜自己用PowerPoint编写。此时，教材和讲授提纲可供参照，并亦可各自按需补充些内容。此外，讲课进度的安排也因人而异，有40学时全讲课的，有压縮课时并添加大作业的，有写读文献的报告的，故不宜编写划一的讲稿（写了也是白写）。2第二页，共九十二页，编辑于2023年，星期三绪论从经典的反馈控制到最优控制从特点看控制器设计经历的“改朝换代”

3第三页，共九十二页，编辑于2023年，星期三特

点

经典反馈控制最优控制上世纪40-50年代起的炮火控制SISO，输入输出描写低阶传递函数应无未建模动态手算，作图，憑经验不计控制能耗模拟器件实现军工及民用工业上世纪60年代起延伸至今的航空航天MIMO，内部描写低阶状态方程应无未建模动态计算机，优化，算法考虑控制能耗数字器件实现航空航天工业4第四页，共九十二页，编辑于2023年，星期三第1章变分法引言变分问题求解的两条路本章的重要性5第五页，共九十二页，编辑于2023年，星期三

泛函定义1-1（泛函）图1-1弧长，目标泛函定义1-2（函数空间中的距离）图1-2曲线间的距离定义1-3（n级ε邻区和泛函的局部极值）图1-3泛函求局部极值定义1-4（泛函的全局极值）6第六页，共九十二页，编辑于2023年，星期三

变分的推演泛函求极值从式（1-1）推导式（1-6）的过程：写出目标值的差，式（1-2）用导数中值定理，得式（1-5）式（1-5）的第二项为高阶无穷小改用变分记号，式（1-6）7第七页，共九十二页，编辑于2023年，星期三（续）变分的推演式（1-1）的被积函数用Taylor

级数展开后的线性主部，即式（1-6）第一项的被积函数定义1-5（函数的一次变分）式（1-7），式（1-8）定义1-6（泛函的一次变分）式（1-9）8第八页，共九十二页，编辑于2023年，星期三（续）变分的推演定义

1-7（泛函的二次变分）式（1-10）泛函的高次变分，式（1-11）泛函极值存在的必要条件，式（1-12）泛函局部极大值存在的充分条件，式（1-13）泛函局部极小值存在的充分条件，式（1-14）9第九页，共九十二页，编辑于2023年，星期三

Euler方程和横截条件泛函求极值从式（1-16）推导式（1-21）的过程：用分部积分得式（1-18）用推论1-1得式（1-19）及式（1-20）用推论1-2得式（1-21）TPBVP（两点边值问题）例1-310第十页，共九十二页，编辑于2023年，星期三

向量情况泛函求极值从式（1-25）推导式（1-32）的过程：成对应用式（1-18），得式（1-26）分类及合并，得式（1-27）仿式（1-21）及式（1-23），得式（1-30）

及式（1-31）向量形式，式（1-32）11第十一页，共九十二页，编辑于2023年，星期三

有约束的情况

函数的约束优化与Lagrange乘子式（1-33）化为无约束优化，式（1-34）两个默认的特点函数的向量约束优化与Lagrange乘子向量式（1-35）12第十二页，共九十二页，编辑于2023年，星期三（续）有约束的情况

化为无约束优化，式（1-37）两个默认的特点泛函的约束优化约束方程变量多、方程少化为无约束优化定理1-1的叙述：式（1-39）与式（1-40）等价

13第十三页，共九十二页，编辑于2023年，星期三（续）有约束的情况

定理1-1的证明过程：为何要分两步走第1步证明式（1-40）改写为式（1-42）泛函极值存在的必要条件，式（1-43）结合约束方程求解，结果满足约束方程，式（1-40）的解即为式（1-39）的解第2步证明14第十四页，共九十二页，编辑于2023年，星期三（续）有约束的情况

式（1-39）的构成：式（1-25）及约束方程式（1-25）所示泛函极值存在的必要条件，式（1-44）对约束方程取一次变分，式（1-45）即式（1-46）构造式（1-49）式（1-44）的第一式与式（1-49）合成，得式（1-51）用约束方程和式（1-51），构造式（1-52）15第十五页，共九十二页，编辑于2023年，星期三（续）有约束的情况

式（1-53）与式（1-52）的差别，得式

（1-55）及式（1-56），式（1-39）的解即为式（1-40）的解两步证明的完成，才说明式（1-39）与式（1-40）完全等价定理1-1推广到微分系统16第十六页，共九十二页，编辑于2023年，星期三

端点可变的情况两端可变可化为一端可变，终端可变目标值的差推演得式（1-61）利用积分中值定理及式（1-6），式

（1-18）由式（1-61）得式（1-62）图1-4与式（1-63）从式（1-64）得式（1-65）推广到式（1-67）17第十七页，共九十二页，编辑于2023年，星期三

变分的另一种定义定义1-8（函数的一次变分）定义1-9（泛函的一次变分）式（1-69）对β求导,得J的一次变分，式（1-71）式（1-72）同式（1-9）18第十八页，共九十二页，编辑于2023年，星期三变分与Fréchet微分定义1-10（Fréchet微分）线性逼近的误差ε，式（1-74）对照

图1-5及式（1-75）规定了线性逼近方式Fréchet微分，式（1-76）计算Fréchet微分的方法，式（1-77）泛函的一次变分即Fréchet微分，对照式（1-78），式（1-79）19第十九页，共九十二页，编辑于2023年，星期三

小结

泛函求极值→变分→常微分方程的TPBVP本章仅为寻求极值曲线，并未涉及寻求极值曲面变分法的现代进展为变分原理（不是第5章的最大值原理）20第二十页，共九十二页，编辑于2023年，星期三第2章连续系统最优控制

引言

了解受控对象→建模→提出概念性目标→优化问题提法式（2-1）Bolza问题，Lagrange问题，Mayer问题折衷优化如何套用第1章公式21第二十一页，共九十二页，编辑于2023年，星期三

时间端点固定的情况

式（2-2）的背景化为无约束优化问题式（2-3），Hamilton函数式（2-3）取一次变分，分两部分式（2-7）由式（2-4）及式（2-6）组成横截条件，伴随方程，耦合方程，状态方程，式（2-10）22第二十二页，共九十二页，编辑于2023年，星期三（续）时间端点固定的情况

沿最优轨线H为常量的条件横截条件三种情况TPBVP例2-1，例2-2，例2-3，例2-423第二十三页，共九十二页，编辑于2023年，星期三

有终端函数约束的情况

式（2-60）的背景化为无约束优化问题，式（2-61）式（2-61）取一次变分，式（2-63）横截条件，伴随方程，耦合方程，状态方程，终端函数，式（2-67）例2-524第二十四页，共九十二页，编辑于2023年，星期三

终时不指定的情况式（2-78）的背景化为无约束优化问题，式（2-79）式（2-79）取一次变分，分三部分式（2-84）由式（2-80)，式（2-

81)及式（2-83）组成横截条件，伴随方程，耦合方程，状态方程，终端函数，式（2-88）例2-625第二十五页，共九十二页，编辑于2023年，星期三考虑其它几种约束

积分约束化为微商约束和终态约束状态和控制的等式约束状态和控制的不等式约束用松弛变量化为状态和控制的等式约束角隅条件，式（2-120）26第二十六页，共九十二页，编辑于2023年，星期三用符号数学工具箱

求TPBVP的解析解

见程序集

27第二十七页，共九十二页，编辑于2023年，星期三

小结

TPBVP的解析解多谢MATLAB的符号数学工具箱，它改变了求取TPBVP的解析解的面貌要关注符号计算的进展（包括新版本MATLAB中的符号数学工具箱）确定性最优控制开环与闭环不分28第二十八页，共九十二页，编辑于2023年，星期三第3章线性连续系统的

二次型调节器引言优化问题提法，式（3-1）物理意义重视LQR的原因29第二十九页，共九十二页，编辑于2023年，星期三有限时间（状态）调节器

时变情况式（3-1）化为无约束优化问题泛函极值存在的必要条件：横截条件，伴随方程，耦合方程，状态方程TPBVP,式（3-6）Hamilton矩阵Г(t)式（3-7）→式（3-12）矩阵Riccati微分方程，式（3-17）30第三十页，共九十二页，编辑于2023年，星期三

全状态反馈，Kalman增益，式（3-19）P(t)的性质对称，半正定P(t)的计算，Euler法最优反馈控制的结构，图3-1x(t)的重构，图3-2对加权矩阵的要求31（续）有限时间（状态）调节器第三十一页，共九十二页，编辑于2023年，星期三

（续）有限时间（状态）调节器

非时变情况式（3-1）→式(3-1)’式（3-17）→式(3-17)’式（3-18）→式(3-18)’式（3-19）→式(3-19)’P(t)的解析解，式（3-28），几种解法例3-1，例3-2观察终时tf对Kalman增益K(t)的影响见程序集和图3-3

32第三十二页，共九十二页，编辑于2023年，星期三（续）有限时间（状态）调节器P(t)的数值解见程序集33第三十三页，共九十二页，编辑于2023年，星期三有限时间输出调节器

优化问题提法式（3-58）矩阵Riccati微分方程，式（3-60）全状态反馈，Kalman增益K(t)式（3-62）34第三十四页，共九十二页，编辑于2023年，星期三无限时间输出调节器

优化问题提法，式（3-63）

定理3-1有4部份：(a)

P(t)=Pbar=const的充要条件为（A,B）能稳定能观性分解，式（3-66）代入系数矩阵，式（3-64）即式（3-68）从式（3-69）的第二式、第三式和边界条件得P12(t)=O

，P22(t)=O，得式（3-70)不能观极点在A22中，不影响P(t）35第三十五页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

设能观，不会影响证明P(t)=Pbar=const从能控性分解{式（3-71)}出发证必要条件(能稳定)：

设（A,B）不能稳定（不稳定极点不能控）不能控极点在A22中,输出z(t)和J都发散按式（3-25），P(t)不存在，Pbar不存在证充分条件(能稳定)：设能稳定（不稳定极点能控）式（3-73）说明P(t)有上界36第三十六页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

式（3-73）单调非减，得P(t)单调非减有唯一极限P(t)=Pbar=const(b)若能稳定，能检测，则唯一的Pbar半正定

P(t)=Pbar=const，式（3-64）退化为矩阵Riccati代数方程，式（3-65），前已证有唯一极限Pbar

能检测（不能观极点稳定），不考虑不能观部分由式（3-24）及式（3-25）得Pbar半正定(c)u(t)稳定的充要条件为能稳定，能检测37第三十七页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器证必要条件：必需能稳定和能检测，否则不稳定极点不能控，不能观极点不稳定证充分条件：能控性分解{式(3-71)},得式（3-75）从式（3-75）可写出式（3-76），解出P11(t)能控性分解中的A11含能控的极点（包括不稳定的极点）,A11-B1R-1(B1)TP11渐近稳定A22含不能控的极点（但包括稳定的极点）

38第三十八页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

(A11,B1)能控包含(A11,B1)能稳定，按本定理

(a)

P11(t)=P11bar=const的充要条件为(A11,B1)能稳定最优反馈控制为式（3-77）反馈系统为式（3-78）分块上三角形矩阵的特征值取决于对角块各矩阵的，因A11-B1R-1(B1)TP11渐近稳定及A22渐近稳定，故反馈系统渐近稳定39第三十九页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

(d)设Q’正定，Pbar正定的充要条件为能观证必要条件(能观)：

设部分能观，能观性分解，式（3-66）,在本定理(a)中有式（3-70）detP(t)=0,P(t)非正定，Pbar非正定证充分条件(能观)：反设能观，但Pbar非正定

存在x0≠0，不加控制，却可使输出为0，荒谬，故Pbar正定40第四十页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

Pbar的解析解令非异变换T，式（3-82）对Hamilton矩阵Г可验证式（3-83）式（3-84）表示Г阵有特征值λ式（3-85）表示Г阵有特征值-λ

Г阵无复特征值模态阵M使Г阵分块对角化，式（3-87）有相异特征值时，分块对角化

41第四十一页，共九十二页，编辑于2023年，星期三（续）无限时间输出调节器

有重复特征值时，Jordan块从式（3-87）→式（3-92）Pbar=M21(M11)-1见程序集Pbar的数值解见程序集用控制系统工具箱见程序集

42第四十二页，共九十二页，编辑于2023年，星期三使用LQR的系统的稳定裕量式（3-102)→式（3-109），Kalman不等式单输入系统的Kalman不等式式（3-110）→式（3-111）系统方框图，图3-6开环传递函数与开环频率特性图3-7，频率特性幅度余量无限大相位余量至少600以全状态反馈为条件

43第四十三页，共九十二页，编辑于2023年，星期三小结

有限时间调节器的设计，只需求解矩阵Riccati微分方程，为终值问题，它比TPBVP容易解无限时间调节器的设计，仅需求解矩阵Riccati代数方程，它又比有限时间调节器的设计简单，又容易实现有限时间调节器的设计，得K(t)无限时间调节器的设计，得K44第四十四页，共九十二页，编辑于2023年，星期三（续）小结必须先选取几组加权矩阵Q及R，通过设计和仿真，修改Q及R，直至获得满意的暂态过程，控制器设计才告终LQR的优异性能（幅度余量无限大，相位余量至少600）以全状态反馈为条件LQR是自动控制理论发展中的一个里程碑（虽然有缺点）45第四十五页，共九十二页，编辑于2023年，星期三第4章离散系统最优控制引言两种离散系统优化问题提法离散变分法与Euler方程

泛函求极值（无约束）泛函的一次变分

式（4-3），式（4-4）

46第四十六页，共九十二页，编辑于2023年，星期三（续）离散变分法与Euler方程

泛函极值存在的必要条件式（4-5）Euler方程和横截条件式（4-8）

47第四十七页，共九十二页，编辑于2023年，星期三

离散系统最优控制

泛函求极值

式（4-9）化为无约束优化问题式（4-10），Lagrange乘子向量λ(k+1)泛函极值存在的必要条件横截条件，伴随方程，耦合方程，状态方程，式（4-15）例4-1

48第四十八页，共九十二页，编辑于2023年，星期三有限时间离散LQR问题时变情况泛函求极值，式（4-17）泛函极值存在的必要条件

伴随方程，耦合方程，横截条件两点边值问题，式（4-24），Hamilton矩阵H(k)矩阵Riccati差分方程三种形式式（4-26a），式（4-26b），式（4-26c）最优反馈控制结构，图4-1式（4-27），式（4-28），Kalman增益K(k)

49第四十九页，共九十二页，编辑于2023年，星期三（续）有限时间离散LQR问题非时变情况

泛函求极值，式（4-17）’矩阵Riccati差分方程三种形式式（4-26a）’，式（4-26b)’，式（4-26c）’最优反馈控制结构式（4-27）’，式（4-28)’，Kalman增益K(k)P(k)的解析解，式（4-30）例4-250第五十页，共九十二页，编辑于2023年，星期三（续）有限时间离散LQR问题P(k)的数值解见程序集

例4-351第五十一页，共九十二页，编辑于2023年，星期三无限时间离散LQR问题矩阵Riccati代数方程式（4-26a)’退化为式（4-41a)式（4-26b)’退化为式（4-41b)式（4-26c)’退化为式（4-41c)式（4-27)’退化为式（4-42a)’式（4-28)’退化为式（4-42b)’全状态反馈52第五十二页，共九十二页，编辑于2023年，星期三（续）无限时间离散LQR问题Pbar的解析解式（4-44)→式（4-48)求H-1的过程:

令非异变换T，同式（3-82）对Hamilton矩阵H可验证式（4-46)T及H的内容代入式（4-46)，得式（4-48)设H-1的特征值μ和相应的特征向量[fTgT]T，求H的特征值：

H-1的内容代入式（4-49)，得式（4-50)展开并重组，得式（4-52)

53第五十三页，共九十二页，编辑于2023年，星期三（续）无限时间离散LQR问题

向量形式，式（4-53)，即式（4-54)式（4-54)说明H有特征值μ故H-1有特征值1/μ（前已设H-1有特征值μ）故H有特征值μ和1/μH只含实特征值(无复特征值)，并只分为稳定的和不稳定的两种，即只分为位于单位圆内的和单位圆外的两种（若μ在单位圆内，1/μ必在单位圆外）

54第五十四页，共九十二页，编辑于2023年，星期三（续）无限时间离散LQR问题模态阵M使Г阵分块对角化，式（4-56）有相异特征值时，分块对角化有重复特征值时，Jordan块M和H的内容代入式（4-56)从式（4-56）→式（4-65）Pbar=M22(M12)-1例4-4

55第五十五页，共九十二页，编辑于2023年，星期三（续）无限时间离散LQR问题Pbar的数值解见程序集

例4-5用控制系统工具箱见程序集

例4-6,例4-7

56第五十六页，共九十二页，编辑于2023年，星期三第5章最大值原理引言式（5-1）不能用变分法求解的原因最小值原理引理5-1的叙述：非线性、非时变系统，给定初始条件，控制有界

57第五十七页，共九十二页，编辑于2023年，星期三（续）最小值原理xi(t)为连续函数，用最大值范数；在不同的i时，从xi(t)的最大值范数中取最大的一个作为x向量的范数ui(t)可为按段光滑的函数，取p范数，当p=1,则为1范数；在不同的i时，从ui(t)的1范数中取上确界（最小的上界）作为u向量的范数求证：δx和δu的范数为同阶无穷小

58第五十八页，共九十二页，编辑于2023年，星期三（续）最小值原理引理5-1的证明过程：设微分方程满足Lipschitz条件（即设为压縮映射），式（5-2）

附录5A赋范线性向量空间最大值范数，p范数Banach空间Cauchy序列，完备性压缩映射与不动点压缩映射原理

59第五十九页，共九十二页，编辑于2023年，星期三（续）最小值原理60第六十页，共九十二页，编辑于2023年，星期三（续）最小值原理引理5-2的叙述：非线性、非时变系统，给定初始条件，控制有界目标函数，式（5-12）求证：目标值的差为式（5-13）引理5-2的证明过程：化为无约束优化问题，式（5-14）

61第六十一页，共九十二页，编辑于2023年，星期三（续）最小值原理

推演式（5-15），并类似得式（5-16）推演式（5-17）定理5-1的叙述：泛函求极值，式（5-18），控制有界泛函极值存在的必要条件伴随方程，状态方程，H全局最小，式（5-19）定理5-1的证明过程：62第六十二页，共九十二页，编辑于2023年，星期三（续）最小值原理耦合方程已不复存在，但伴随方程和状态方程仍为必要条件证明H全局最小为必要条件时，用反证法设tbar∈[t0,tf],∃w∈Ω，有式（5-21）因f及φ连续，∃tbar的邻域[ta,tb]，tbar∈[ta,tb]为[t0,tf]的子集，∃ε

＞0，有式（5-22）取特殊控制u当t不属于[ta,tb]时,u=ucap当t属于[ta,

tb]时,u=w63第六十三页，共九十二页，编辑于2023年，星期三（续）最小值原理却有J(ucap)-J(u)≤0式（5-23）表明事实相反，故上述特殊控制u非最优控制因tbar任取，故式（5-23）之证明有普遍意义因伴随方程、状态方程均为必要条件，故式（5-19）仍为必要条件64第六十四页，共九十二页，编辑于2023年，星期三Bang-Bang控制式（5-24）的两个特点Hamilton函数使用“H全局最小”ui取两个极端值，Bang-BangBang-Bang产生的条件65第六十五页，共九十二页，编辑于2023年，星期三时间最优控制系统的性质线性非时变系统的时间最优控制式（5-25）的物理概念Hamilton函数H，式（5-26）横截条件，式（5-27）协态方程，式（5-29）状态方程H全局最小，式（5-30）ui(t)=-sgn[BTλ(t)]i式（5-25）’为另一种形式的提法，本质不变66第六十六页，共九十二页，编辑于2023年，星期三（续）时间最优控制系统的性质命题5-1的叙述：式（5-25）所示时间最优控制问题ui(t)=-sgn[BTλ(t)]i为唯一的命题5-1的证明过程：协态方程的解中，λ(0)≠0，否则矛盾λ(t)≠0,ui(t)不发生奇异情况若设∃u1,u2两个不同的最优控制向量，

则与状态方程解的唯一性相矛盾67第六十七页，共九十二页，编辑于2023年，星期三（续）时间最优控制系统的性质命题5-2的叙述：式（5-25）所示时间最优控制问题若存在最优控制ui(t)=-sgn[BTλ(t)]i

式（5-30）ui(t)至多切换n-1次命题5-2的证明过程：协态方程的解,式（5-31）最优控制可改写为ui(t)=-sgn[(e-Atbi)Tλ0]68第六十八页，共九十二页，编辑于2023年，星期三（续）时间最优控制系统的性质切换条件为(e-Atbi)Tλ0=0，式（5-32）

设有相异特征值，式（5-32）改为式（5-33）满足此式t的个数，即为切换次数用数学归纳法证之n=1时成立n=2时成立设n-1时成立，应证明n时也成立，用反证法：先反设式（5-33）有n个实根，结果自相矛盾；有n-1个实根，才能自圆其说69第六十九页，共九十二页，编辑于2023年，星期三无阻尼运动的时间最优控制

物理背景，式（5-36）优化问题提法，式（5-39）H函数协态方程H全局最小，式（5-40）启发式求解u=+1,式（5-41a）u=-1,式（5-41b）70第七十页，共九十二页，编辑于2023年，星期三（续）无阻尼运动的时间最优控制

式（5-41a）及式（5-41b）示于图5-1分析图5-2开关函数，式（5-43）控制系统方框图，图5-371第七十一页，共九十二页，编辑于2023年，星期三存在恢复力时,无阻尼运动的

时间最优控制

物理背景，式（5-45）优化问题提法，式（5-47）H函数H全局最小，式（5-48）协态方程，式（5-49），从图5-4看出切换的持续时间为π启发式求解u=+1,式（5-51）u=-1,式（5-52）72第七十二页，共九十二页，编辑于2023年，星期三（续）存在恢复力时,无阻尼运

动的时间最优控制式（5-51）及式（5-52）示于图5-5，基本的开关线分析图5-5，衍生出开关线的总体，图5-6开关函数，式（5-54）控制系统方框图，图5-773第七十三页，共九十二页，编辑于2023年，星期三燃料最优控制系统的性质物理背景泛函求极值，式（5-55）H函数H全局最小，式（5-58）式（5-58）的图示，图5-8(a),(b)，两者叠合得图5-9的阴影区阴影区的下部边界即为式（5-58）的解式（5-60）与式（5-61）对照，用死区函数表示，图5-10，Bang-off-Bang74第七十四页，共九十二页，编辑于2023年，星期三无阻尼运动的燃料最优控制

优化问题提法，式（5-63）物理背景H函数协态方程H全局最小启发式求解u=+1,式（5-41a）u=-1,式（5-41b）u=0,式（5-65）,式（5-66）75第七十五页，共九十二页，编辑于2023年，星期三（续）无阻尼运动的燃料最优控制

若初速为0，又u=0，则不能控图5-11，四个区域分析图5-12，开关线控制系统方框图，图5-1376第七十六页，共九十二页，编辑于2023年，星期三SIMULINK用于Bang-Bang控制

的仿真

见程序集77第七十七页，共九十二页，编辑于2023年，星期三小结

最大值原理是自动控制理论发展中的一个里程碑，至今尚无取代物最大值原理与LQR思路各不相同：前者在约束条件中直接考虑控制有界；后者在目标函数中间接考虑控制能量消耗要少Bang-Bang控制有产生的条件，并有适用的范围78第七十八页，共九十二页，编辑于2023年，星期三第6章动态规划引言定积分与无穷和式最优控制与最优决策序列单段决策过程和多段决策过程不同的求解方法79第七十九页，共九十二页，编辑于2023年，星期三多段决策过程动态系统的递推关系，图6-1多段决策过程泛函求极值，式（6-2）加性可分目标函数u(N)不存在，图6-280第八十页，共九十二页，编辑于2023年，星期三动态规划的基本思想

假定现在和将来的决策不影响过去的状态、决策和目标在k时刻，由x(k)立即作出决策u(k)改写为普遍形式，式（6-3）简记I(x,k),式（6-4）81第八十一页，共九十二页，编辑于2023年，星期三（续）动态规划的基本思想

Bellman方程的推演过程：按假定1，先对u(k+1),u(k+2),…,u(N-1)求min,后对u(k)求min和式分开写Φ(x(k),u(k),k)和u(k+1),u(k+2),…,u(N-1)无关，可提至min记号外再次使用式（6-4）之定义式（6-5），Bellman方程，递推关系，动态规划82第八十二页，共九十二页，编辑于2023年，星期三（续）动态规划的基本思想动态规划的特点目标值反向扫掠状态值正向扫掠两者联系的纽带为最优决策序列每一段中寻求最优决策的方法是关键例6-1及例6-2使用求导（局部极值）和解代数方程,可使用符号计算（见程序集）例6-3及例6-4,用数值比大小（全局极值），见表6-2,表6-3,表6-483第八十三页，共九十二页，编辑于2023年，星期三用动态规划求解离散LQ