定义 B.22 拉格朗日函数

定义 B.22 拉格朗日函数

与在 (B.21) 中定义的一般约束优化问题相关的拉格朗日函数 或 拉格朗日量 是定义在 $\mathcal{X}\times {\mathbb{R}}_{+}$ 上的函数：$\forall \mathbf{x}\in \mathcal{X},\forall \alpha \ge 0$

$$\mathcal{L}\left(\mathbf{x},\alpha \right)=f\left(\mathbf{x}\right)+\sum _{i=1}^m{\alpha }_i{g}_i\left(\mathbf{x}\right),$$

其中变量 ${\alpha }_i$ 称为 拉格朗日变量 或 对偶变量，$\alpha ={\left({\alpha }_1,\dots ,{\alpha }_m\right)}^{\top }$。

对于形式为 $g\left(\mathbf{x}\right)=0$ 的函数 $g$ 的任意等式约束，可以等价地通过两个不等式来表示：

$$\begin{array}{rl}-g\left(\mathbf{x}\right)& \le 0\\ +g\left(\mathbf{x}\right)& \le 0\end{array}$$

令

• ${\alpha }_{-}\ge 0$ 为与第一个约束相关的拉格朗日变量，
• ${\alpha }_{+}\ge 0$ 为与第二个约束相关的拉格朗日变量。

在拉格朗日函数的定义中，与这些约束对应的项的总和可以写作 $\alpha g\left(\mathbf{x}\right)$，其中 $\alpha =\left({\alpha }_{+}-{\alpha }_{-}\right)$。 因此，通常对于等式约束 $g\left(\mathbf{x}\right)=0$，拉格朗日函数会增加一项 $\alpha g\left(\mathbf{x}\right)$，但此时 $\alpha \in \mathbb{R}$，并不要求为非负数。 请注意，在凸优化问题的情况下，等式约束 $g\left(\mathbf{x}\right)$ 需要是仿射的，因为 $g\left(\mathbf{x}\right)$ 和 $-g\left(\mathbf{x}\right)$ 都需要是凸的。