局部最小值
jú bù zuì xiǎo zhí
局部最小值是函数上比附近所有点都低的一个点,就像山谷的谷底。
Formula
f(c) \le f(x) \text{ for all } x \text{ near } c
Definition
局部最小值是某个邻域内的最低点，就像山谷的谷底：附近所有的点都更高。严格地说，若在 $c$ 周围某个开区间（或去心邻域）内的所有 $x$ 都满足 $f(c) \le f(x)$，则 $f$ 在 $c$ 处有局部最小值；在可导的局部极小值处，$f'(c) = 0$，且 $f'$ 由负变正。二阶充分条件是 $f'(c) = 0$ 且 $f''(c) > 0$；在多元最优化中，临界点处的海森矩阵必须是正定的。
Example
碗的最低点就是一个局部最小值，周围一切都更高。对于 $f(x) = x^2 - 6x + 9 = (x-3)^2$：$f'(x) = 2x - 6 = 0$ 在 $x = 3$ 处成立，且 $f''(3) = 2 > 0$ 证实在 $f(3) = 0$ 处是局部最小值。在机器学习中，梯度下降寻找损失函数 $L(\theta)$ 的局部最小值；对于凸函数 $L$，任何局部最小值都是全局最小值，这正是凸性在最优化中如此受重视的原因。
Key Insight
正如局部最大值是山顶，局部最小值是谷底，"局部"意味着你只比较附近的点；对于可导函数，导数在局部最小值处由负（递减）转为正（递增）。KKT 条件把局部最小值的条件推广到约束最优化问题，构成了现代凸规划的基础。