优化理论（更优化理论）

2023-09-21 阅读 17 评论 0

摘要：今天给各位分享优化理论的知识，其中也会对更优化理论进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！更优化理论更优化研究的是，在现实问题上，使用数学模型建模，并在若干约束的条件下，求问题的更优解。它的一般形式如下： g和h函数为约束函数，求函数f的最值如下图，一个立体面，使用一个平面把立体面切开，并投影到x y而得到的曲线，称为等值面假设f(x1, x2)，那么对f对X的

今天给各位分享优化理论的知识，其中也会对更优化理论进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

更优化理论

更优化研究的是，在现实问题上，使用数学模型建模，并在若干约束的条件下，求问题的更优解。

它的一般形式如下：

g和h函数为约束函数，求函数f的最值

如下图，一个立体面，使用一个平面把立体面切开，并投影到x y而得到的曲线，称为等值面

假设f(x1, x2)，那么对f对X的方向导数如图所示

先对函数在(x1, x2)进行x1求偏导，然后再在(x1+e, x2)求偏导。e趋向零

对函数f(x)求方向导数，当在x点，沿方向导数相同或相反方向，为最速方向

分别对函数f进行一阶求导和二阶求导，可以对函数进行二次展开。其中二阶求导公式为Hessian矩阵

在集合内的任意两点，如果它们的连线都落在集合内，那么称集合为凸集

如图所示，如果函数上的任意两点连线，都高于两点内的函数值，称为凸函数

对于问题，如果f，g，h都为凸函数

那么局部极小点，必为全局更优解

因为在连续空间内，函数必然呈现单峰性，要么单调下降，要么单调上升，要么先下降，后上升

以上两图分别表示了凸函数的极值和非凸函数的极值情况

那么有下图

如图，可以看出如果f的负导数如果与约束条件的导数线性相关，则得到极值点

否则可以进行迭代优化

f导数与约束条件导数线性相关为，上式得到的系数都为正数

图形意义如下

可以看出，KT条件可以在每一步，通过选取一个下降的方向，得到一个更优值，所以对于凸函数，得到的极值点，一定为全局更优点。

但是如果对于非凸函数，那么得到的极值点，有可能不是全局更优解

通过选取方向S，进行a步长的探索，求得一个f_k+1，如果选取的方向正确和步长适当，那么函数f，就会再下一个迭代得到一个更优解

一般来说，选取其中一个终止条件即可

有时可能需要结果点距和值差准则来判断是否终止

对于凸函数f(x)无约束优化，函数值必然呈现高低高的分布

那么我么可以任意选取两个点x_left, x_right，然后再在中间选取两个点 x_mid_left, m_mid_right.

那么情况有可能是

此时可以消除不可能的区间，从而得到一个更小的搜索范围，进行迭代搜索

其中为了得到中间的两个点，如果采取每次选取的区间的比例都相等

可以得到系数刚好为0.618

通过计算函数f的导数，取反，得到方向S，然后x沿S方向前进u长，得到一个更优解

一般来说在远离极值点时，收敛比较快，由于梯度比较大。

但是在临近极值点的时候，梯度会趋向与零，导致收敛速度迅速减慢。

此时需要结合具有二次收敛的共轭方向法，迅速逼近极值点

根据泰勒展开式，任意函数都能展开为二阶的二次函数

而二次函数为凸函数，可以通过对二次泰勒展开式对x求导，并导数为零，得到二次函数的极值点x_k，然后再在x_k，对f函数进行泰勒展开，并继续求导，不断逼近极值点

由于计算复杂，一般在工程上不直接使用牛顿法来计算极值

而是通过它的变种，简化计算复杂度，来应用于工程，例如下面的变尺度法

通过牛顿法，公式有上图

如果设置H_k为单位矩阵，那么公式则为梯度法

如果H_k是Hession举证，则为牛顿法

有没有办法，可以通过迭代，让H_k从单位矩阵逼近Hession矩阵

那么有H_k+1 = H_k + C，其中H_1为

根据泰勒展开式，进行二阶展开，并令导数为零，使用x_k, x_k+1，代入展开式，求得C的表示

那么既可以在每次迭代的时候，通过修正，不断逼近Hession矩阵

通过构造函数，使得约束优化问题转化为无约束优化问题。从而简化优化算法

如果初始点在可行域内

可以对函数f(x)，g(x)=0构造函数

p(x) = f(x) - r/g(x)

由于初始点x在可行域内，那么必然x满足g

使用无约束优化求解极值，当x越接近边界g(x)时，g(x) - 0

会导致1/g - 无穷大

使得p(x)越来越大

所以这会迫使函数的极值与边界有一段距离

通过不断使得r的值变小，可以让极值点不断逼近边界值

当r趋于零时，p(x)的极值点与f(x)的极值点重合

如果初始点在可行域外

可以建立公式

p(x) = f(x) + M{max(g(x), 0)}

其中st: g(x)0

当x不满足g时，那么g0

此时M就会对函数进行惩罚

通过无约束优化的方法

会让不在可行域的点，不断的向可行域拉回来

通过迭代M from 1 to no limit

会迫使函数的极值点落在可行域内

通过把内罚函数和外罚函数结合

可以得到内外罚函数

从而打破x只能落在可行域的条件

优化理论中什么叫做极大值原理？

极大值原理

maximum principle

更优控制理论中用以确定使受控系统或运动过程的给定性能指标取极大或极小值的更优控制的主要方法。在工程领域中很大一类更优控制问题都可采用极大值原理所提供的方法和原则来定出更优控制的规律。在理论上，极大值原理还是更优控制理论形成和发展的基础。极大值原理是对分析力学中古典变分法的 *** ，能用于处理由于外力源的限制而使系统的输入（即控制）作用有约束的问题。极大值原理是20世纪50年代中期苏联学者Л.С.庞特里亚金提出的，有关这一原理的主要结果及其严格的数学证明，都发表在后来出版的《更优过程的数学理论》一书中。

优化理论问题？

优化理论的涵义

现代企业管理为了以尽可能少的综合耗费获取尽可能大的经济效益和社会效益，就要对生产经营活动中的一切因素、条件及其相互之间的关系进行全面、系统的分析，并在此基础上拟定出多种可供选择的方案，通过比较、论证，选择期中最能实现管理目的的一个方案，进行充实、优化并最后形成实施方案。这就是优化理论的涵义。

内容

优胜劣汰、适者生存，这是自然法则。在技术和经济活动中也是如此，因此在作技术经济分析和评价选择时，要遵从优化原理。

基本思路

优化是相对的、有条件的，是在一定时朗和一定范用内、满足某指标或某目标时的优化。优化的基本思路是:先界定时间相范围;再确定目标或指际;最后作分析评价、对比择优。

类型

(一)局部优化与全局优化局部优化是技术经济子系统的优化;全局优化是大系统的优化，两者之间在目标上有一致性，也存在矛盾。在量上即有叠加性，也有非叠加性。用部比比足基础，全局优化是目的，局部比化要服从于全局优化。

(二)静态优化和动态沈比在技术经济分析中，不考虑时间因素的影响的优比是的态比比，考虑时间因累的影响的'优化是动态优化。静态优化过程简便，动态优化更符合客观实际，两N2比比方式各有适用场合，当两种的优化结果发生矛盾时，应以动态比化为准。

(三)单目标优化和多日标优化优化过程中，按满足的日际钦可分为单目标优化;多目标优化，单目标优化是多目标优化的基础，多目标优化是单口际比比的综合。单目标优比简称.多口际优化复杂。

(四)确定条件下的优化和模糊条件下的优化确定条件下的优化是指在各种技术经济条件都确定的情况下的优化，可用运筹学中的更优规划方法(如线性规划、动态规划等)求解;模糊条件-1;的优化是指技术经济条件不明朗情况下的优化，可用模糊数学理论将模糊条件定量化之后，再问常规方法求解;最后再根据模糊理论进行解的实际优化解释。

(五)更优化和次优化更优化是追求的目标，但由于各种客观条件的限制和人们对于技术经济客观条件认识的局限性，往往难于达到技术经济效果的更优而只能达到令人比较满意的次优。

资源更优配置

资源的更优配置是协调配置资源的结果，是经济效益、社会效益、环境生态效益的统一。要对资源的用途作出选择，对资源的开发利用从布局、规划、规模、结构、顺序等诸方面进行更优决策、合理配置、科学组合、综合利用，以为社会提供更多更好的产品和服务为目的。从某种意义上说，资源更优配置就是提高资源的利用效果从而提高经济效益。资源的有限性和需求无限性之间的矛盾，资源用途的多样性与对资源占用或消耗一次性之间的矛盾，必然要求要对资源进行优化配置。优化配置时。通常要解决好生产什么和生产多少，如何进行生产，何时何地生产，为什么进行生产等问题。

对资源的更优利用，一方面，要考虑列资源选择具有排斥性，从而就会产生反映资源利用的机会成本;另一方面，资源选择又具有替代性，用生产可能性边界曲线可以说明资源的替代规律和更优配置问题，并可根据弹性经济学理论，运用替代弹性方法寻求资源合理替代和合理组合与配置的途径。