我们现在定义一个一般的约束优化问题以及与凸约束优化问题相关的特定属性。

定义 B.21 约束优化问题

对于任何约束优化问题,我们可以关联一个拉格朗日函数,这在问题的分析及其与其他相关优化问题的关系中起着重要作用。

定义 B.22 拉格朗日函数

定义 B.23 对偶函数

对偶函数自然引出了以下优化问题。

定义 B.24 对偶问题

表示一个最优值。 由 (B.6),以下不等式总是成立:

差值 被称为 对偶间隙 (duality gap)。 等式情况

通常不成立。

然而,在凸问题满足约束资格条件时,强对偶性确实成立。 我们将用 表示集合 的内部。

定义 B.25 强约束资格

如果一个函数 对于所有 可以由 定义,对于某些 ,则称其为 仿射函数

定义 B.26 弱约束资格

我们接下来基于拉格朗日的鞍点和Slater条件,为约束优化问题的解提供充分必要条件。

定理 B.27 鞍点 — 充分条件 定理 B.28 鞍点 — 必要条件 定理 B.29 鞍点 — 必要条件

我们以一个定理作为结尾,该定理在问题是凸的、目标函数可微、约束条件合格的情况下,提供了必要且充分的优化性条件。

定理B.30 Karush-Kuhn-Tucker定理