凸集与凸函数的基础性质

可视化演示

展示凸集线段包含性检验、凸函数一阶条件f(y)>=f(x)+f(x)(y-x)与Jensen不等式、凸优化梯度下降收敛，切换模式查看。

凸集的定义

回到那座碗形山谷。园规第一条写得明明白白：“绿地不许有凹坑。”两位游客站在绿地里的任意两个点上，连接他们的缆绳必须整条都留在绿地内。一旦地形出现一个向内凹陷的坑，缆绳就可能在某个位置被迫“穿越”园区以外的空当，设计师验收时就得返工。这条规则听起来简单，却是凸集定义的灵魂。

把“游客位置”抽象成集合 C 里的点，把“缆绳上的任意位置”抽象成两个点的线性组合，园规就变成一句数学语言：从 C 中任取两点，连接它们的整条线段仍然包含在 C 内。术语“凸组合”指的就是这种带比例的混合：在两点之间“走”到某个位置时，λ 决定了你更靠近哪一端。

$$\displaystyle C \text{ 为凸集 } \Longleftrightarrow \forall\, x_1, x_2 \in C,\ \forall\, \lambda \in [0,1],\ \lambda x_1 + (1-\lambda) x_2 \in C$$

1. 集合 C：把候选“绿地”记作集合 C，所有讨论都在这个范围内进行。

$$\displaystyle C = \{ x \mid x \text{ 是可能的游客位置} \}$$

2. 任意两点：从 C 中任取两个点 x₁ 与 x₂，代表两位游客的站位。

$$\displaystyle x_1,\ x_2 \in C$$

3. 比例参数 λ：λ 是 0 到 1 之间的实数，决定缆绳上的点更靠近 x₁ 还是 x₂。

$$\displaystyle \lambda \in [0,1]$$

4. 组合点：λx₁ + (1−λ)x₂ 是缆绳上从 x₁ 移向 x₂ 时经过的位置。

$$\displaystyle \lambda x_1 + (1-\lambda) x_2$$

5. 依旧在 C 内：无论怎么取点、怎么调比例，组合点都必须留在 C 中，C 才是凸集。

$$\displaystyle \lambda x_1 + (1-\lambda) x_2 \in C$$

用这把“缆绳尺”去量常见形状：实心圆盘、三角形、矩形、整条直线乃至整个二维平面都是凸集；而空心圆圈、月牙形、带凹槽的多边形统统不合格。比凸集要求更严的是仿射集——它要求任意两点确定的整条直线都留在集合内，所以只有直线和平面这类“无限延伸”的形状才够格；凸锥则只要求非负缩放的元素相加仍留步于集合，像园区里专供“同方向扩建”的特殊功能区。认清这些“绿地类型”，后面搭建凸优化模型时才知道哪些形状可以放心使用。

凸组合与凸包

园区的游客中心想办一场集会，但游客分散在山谷的不同补给点。管理员决定不搞“一刀切”的集合点，而是给每个补给点按人数比例配一个权重：人多的点影响大，人少的点影响小，最终揉出一个“平均集合点”。这个按比例混合多个点的操作，数学上叫凸组合——它比两点的凸组合更一般，是“多人加权平均”。

$$\displaystyle x = \sum_{i=1}^{k} \lambda_i x_i,\qquad \sum_{i=1}^{k} \lambda_i = 1,\quad \lambda_i \ge 0$$

1. k 个候选点：选定 k 个位置 x₁, x₂, …, xₖ 作为补给点。

$$\displaystyle x_1, x_2, \ldots, x_k$$

2. 非负权重：每个点配一个权重 λᵢ，不允许出现“负人数”。

$$\displaystyle \lambda_i \ge 0,\quad i = 1,\ldots,k$$

3. 总和为 1：所有权重相加等于 1，保证结果仍是“一个真实站位”。

$$\displaystyle \sum_{i=1}^{k} \lambda_i = 1$$

4. 加权求和：把各点按权重混合得到新点 x，这就是凸组合。

$$\displaystyle x = \sum_{i=1}^{k} \lambda_i x_i$$

如果把一堆点按所有可能的凸组合“扫一遍”，扫出来的区域就是这堆点的凸包。生活里有个完美类比：在木板上钉几根钉子，绷一根橡皮筋把它套住，橡皮筋收缩后围出的区域，正是这些钉子（点集）的凸包——它是包裹住所有点的最小凸集，边界上那些“撑出形状”的特殊点就是凸组合里的“端点角色”。换句话说，给定一群游客的站位，凸包就是“圈出所有可行集合点”的最小绿地，而凸组合则回答“绿地里具体每个点怎么用权重算出来”。

凸函数的定义

现在走出游客中心，沿着山谷的步道走一圈。步道的纵剖面是一条碗形曲线：两边高、中间低，像一只等待盛装的大碗。设计师验收步道时有个奇妙的标准——在曲线上任意取两点，拉一根直绳，直绳永远悬在曲线的上方，绝不会穿到曲线下面去。这条“弦高于曲线”的规则，就是凸函数的几何灵魂。

把步道高度记作函数 f(x)，“两点之间拉直绳”对应定义式左端“先混合横坐标再读高度”，而“绳子两端各自的高度按比例混合”对应右端。凸函数要求右端总是不小于左端，也就是说：弦永远在图像上方。

$$\displaystyle f(\lambda x + (1-\lambda) y) \le \lambda f(x) + (1-\lambda) f(y)$$

1. 两点及其混合：在定义域内取 x、y，用 λ 混合出中间点。

$$\displaystyle \lambda x + (1-\lambda) y$$

2. 左端：先混合后求高：先找中间点的横坐标，再读该处函数值。

$$\displaystyle f(\lambda x + (1-\lambda) y)$$

3. 右端：先求高后混合：分别读两点的高度，再按同一比例混合。

$$\displaystyle \lambda f(x) + (1-\lambda) f(y)$$

4. 不等号：左端小于等于右端，即弦高于图像，函数像一只开口向上的碗。

$$\displaystyle f(\lambda x + (1-\lambda) y) \le \lambda f(x) + (1-\lambda) f(y)$$

如果函数可导，还有更趁手的判据。一阶梯度条件说：凸函数的图像永远躺在每一条切线的上方——切线是全局下界，就像碗壁上的每个点都有一条永不穿透的支撑木板。

$$\displaystyle f(y) \ge f(x) + \nabla f(x)^{\mathsf T}(y - x)$$

1. 梯度方向：∇f(x) 是 f 在 x 处的梯度，标示出最陡上升方向。

$$\displaystyle \nabla f(x)$$

2. 切线外推：用 x 处的函数值加上梯度对位移的修正，得到 y 处高度的线性预测。

$$\displaystyle f(x) + \nabla f(x)^{\mathsf T}(y - x)$$

3. 图像在切线之上：真实高度不低于切线预测，这就是一阶凸性条件。

$$\displaystyle f(y) \ge f(x) + \nabla f(x)^{\mathsf T}(y - x)$$

再进一步，如果函数二阶连续可导，二阶条件用黑塞矩阵刻画“弯曲程度”：处处开口向上的碗，任何方向的曲率都非负，也就是黑塞矩阵半正定。

$$\displaystyle \nabla^2 f(x) \succeq 0$$

1. 黑塞矩阵：∇²f(x) 收集 f 的所有二阶偏导数，描述局部弯曲程度。

$$\displaystyle \nabla^2 f(x)$$

2. 半正定：符号 ⪰ 0 表示沿任意方向的二阶方向导数都非负。

$$\displaystyle \nabla^2 f(x) \succeq 0$$

3. 处处不向下弯：对所有 x 都成立，则 f 是凸函数。

$$\displaystyle \text{若 } \nabla^2 f(x) \succeq 0 \text{ 对一切 } x \text{ 成立，则 } f \text{ 为凸函数}$$

最后别忘了凸函数和凸集的“暗桥”：把函数图像连同它上方的整片区域一起看，这个区域叫上镜图。凸函数的上镜图恰好是凸集——碗的内部盛得下所有缆绳。所以“函数凸”与“上镜图凸”互为彼此的影子，这也是后面一切优化理论能成立的根本原因。

Jensen不等式

集会当天，管理员要正式宣布“平均集合点”的位置。他先在电子屏上算出所有游客站位的加权平均——这相当于把大家“揉”成一个虚拟的游客，再读这个虚拟游客所在位置的高度。另一边，他又把每位游客的真实高度读出来，再按人数权重平均。问题来了：哪一边更高？

对凸函数而言，答案永远清晰：平均点的高度不会超过高度的平均。这就是大名鼎鼎的 Jensen 不等式，它把我们在凸函数定义里看到的“两点的弦高于曲线”推广到了任意多个点、任意权重，甚至连续分布的期望。

$$\displaystyle f\left(\mathbb{E}[X]\right) \le \mathbb{E}[f(X)]$$

1. 随机变量 X：把游客的站位看成随机变量 X，每个位置的“人数比例”就是概率。

$$\displaystyle X \sim p(x)$$

2. 期望位置：E[X] 是所有位置按概率加权得到的“平均站位”。

$$\displaystyle \mathbb{E}[X] = \sum_{i=1}^{k} p_i x_i$$

3. 左端高度：先算出平均站位，再读该处函数值 f(E[X])。

$$\displaystyle f(\mathbb{E}[X])$$

4. 右端均值：先读每个位置的高度 f(xᵢ)，再按概率求平均。

$$\displaystyle \mathbb{E}[f(X)] = \sum_{i=1}^{k} p_i f(x_i)$$

5. 不等号方向：凸函数的弧度保证“先平均后读高”永远不高于“先读高后平均”。

$$\displaystyle f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$$

什么时候左右两端相等？当 f 在所涉及的区间上是仿射函数（一条直线）时——碗完全没有弧度，弦和曲线重合。这个“等号条件”在信息论里有个著名的化身：由 Jensen 不等式可以推出 KL 散度非负、熵的凹性，这些是通信编码与机器学习度量学习中的基础工具。记住这只碗，你就记住了一整族不等式的源头。

保凸运算

山谷园区要扩建了，设计师手头有很多只形状各异的“碗”，他想通过简单操作拼出更复杂的碗形步道。幸运的是，凸性有一系列“加工不破坏性质”的运算法则，像木工的榫卯工艺：只要原料是凸的，按规矩拼装，成品依然是凸的。这些法则统称保凸运算。

第一条是非负加权和：把几个凸函数像调鸡尾酒一样按非负比例混合，得到的调和物仍是凸函数。

$$\displaystyle f(x) = \sum_{i=1}^{m} w_i f_i(x),\quad w_i \ge 0 \implies f \text{ 为凸函数}$$

1. 一族凸函数：已有 m 个凸函数 f₁, …, fₘ，如同 m 只碗。

$$\displaystyle f_1, f_2, \ldots, f_m$$

2. 非负权重：每个碗乘以非负系数 wᵢ，允许“不参与”但不允许“倒扣”。

$$\displaystyle w_i \ge 0$$

3. 累加保凸：非负加权和仍是凸函数。

$$\displaystyle f(x) = \sum_{i=1}^{m} w_i f_i(x)$$

第二条是与仿射映射复合：把自变量先做平移、旋转、缩放（即仿射变换 Ax+b），再丢进一只碗里，得到的新函数依然是凸函数。这相当于把碗搬到另一个位置、换个角度放好，碗的“碗性”毫发无损。

$$\displaystyle g(x) = f(Ax + b) \text{ 仍为凸函数}$$

1. 仿射映射：Ax+b 对坐标做平移与线性变换。

$$\displaystyle Ax + b$$

2. 先变形后进碗：x 先被变换到碗的定义域内，再读高度。

$$\displaystyle g(x) = f(Ax + b)$$

3. 保凸结论：凸函数与仿射映射复合后仍是凸函数。

$$\displaystyle g \text{ 为凸函数}$$

第三条是逐点取最大值：手上几只碗在同一位置的“碗沿高度”各不相同，取最高那条沿口作为新轮廓——听起来像“掐尖”，但结果意外地仍然凸。max 运算就像时刻只保留最突出的一只碗，它的外轮廓天然没有凹口。

$$\displaystyle f(x) = \max\{f_1(x), f_2(x), \ldots, f_m(x)\}$$

1. 多只碗叠放：每个候选函数在同一位置给出一个高度。

$$\displaystyle f_1(x), f_2(x), \ldots, f_m(x)$$

2. 逐点取最高：每个 x 处都取这些高度的最大值。

$$\displaystyle \max_i f_i(x)$$

3. 取最大保凸：逐点最大得到的新函数仍是凸函数。

$$\displaystyle f(x) = \max_i f_i(x)$$

除此之外，对凸函数取非负缩放后平移、对凸函数做下水平集运算（把函数值压到某个阈值以下形成的区域），也都是保凸的。掌握这套“榫卯工艺”，你就能像搭积木一样放心组合损失函数与约束条件，而不必担心亲手破坏问题的凸性。

最优性性质

集会散场，一个小球被放在碗形山谷的最低处。无论你从哪个方向轻轻推它，它滚一滚还是会回到碗底——因为碗里没有“假坑”。这就是凸优化最迷人的一条性质：局部最优即全局最优。对非凸地形，你可能会被困在一个看似最低、实则只是局部凹陷的“假坑”里；但在凸函数这只碗里，任何你能找到的谷底，就是整个山体真正的谷底。

$$\displaystyle \text{若 } f \text{ 是定义在凸集 } C \text{ 上的凸函数，则 } f \text{ 的任意局部极小点 } x^{*} \text{ 都是全局极小点}$$

1. 局部极小点：存在 x* 的一个小邻域，邻域内 f(x*) 最小。

$$\displaystyle \exists\,\delta > 0,\ \forall x \in B(x^{*}, \delta),\ f(x^{*}) \le f(x)$$

2. 反证假设：假设远处存在更低的点 y，满足 f(y) < f(x*)。

$$\displaystyle f(y) < f(x^{*})$$

3. 凸组合连通：在 x* 与 y 之间取一个非常靠近 x* 的凸组合点 z。

$$\displaystyle z = \lambda y + (1-\lambda) x^{*},\quad \lambda \in (0,1)$$

4. 凸性压出更低值：凸性给出 f(z) ≤ λf(y) + (1−λ)f(x*) < f(x*)。

$$\displaystyle f(z) < f(x^{*})$$

5. 矛盾完成证明：当 λ 足够小时 z 落入邻域，却比 f(x*) 更低，与局部极小矛盾。

$$\displaystyle \text{因此 } f(x^{*}) = \min_{x \in C} f(x)$$

这条定理带来两个工程上极好用的推论。其一，稳定点充分性：如果 f 可微且 ∇f(x*) = 0，那么 x* 不必再怀疑——它直接就是全局最优点，无需检查二阶条件。

$$\displaystyle \nabla f(x^{*}) = 0 \implies x^{*} \text{ 是全局极小点}$$

其二，下水平集凸性：凸函数的每一层“水位线”以下区域 {x : f(x) ≤ t} 都是凸集，就像碗里任意深度的水面截面都是圆润凸出的。这些性质共同解释了为什么梯度下降在凸问题上如此可靠：每一步都在向碗底滑，而碗底只有一个“真实谷底”，没有假坑可掉。设计机器学习模型时，只要把目标函数凹成凸的，你就能放心地把求解交给梯度下降，把精力留给特征与数据。

AI 应用场景

Python 演示

import random  def convexity_check(f, samples=2000, eps=1e-9):    """随机采样验证凸性定义: f(Lx+(1-L)y) <= Lf(x)+(1-L)f(y)"""    for _ in range(samples):        x = random.uniform(-3.0, 3.0)        y = random.uniform(-3.0, 3.0)        lam = random.uniform(0.0, 1.0)        lhs = f(lam * x + (1.0 - lam) * y)        rhs = lam * f(x) + (1.0 - lam) * f(y)        if lhs > rhs + eps:            return False    return True  def jensen_value(f, points, weights):    """计算 Jensen 不等式左右两端, 返回 (左端, 右端, 右端-左端)"""    mid = sum(w * x for w, x in zip(weights, points))    lhs = f(mid)    rhs = sum(w * f(x) for w, x in zip(weights, points))    return lhs, rhs, rhs - lhs  def main():    quad = lambda z: z * z          # 碗形凸函数    conc = lambda z: -z * z         # 倒扣的碗, 凹函数    print("f(z)=z^2 是否为凸函数:", convexity_check(quad))    print("g(z)=-z^2 是否为凸函数:", convexity_check(conc))    points = [-1.0, 0.5, 2.0]    weights = [0.5, 0.3, 0.2]       # 非负且和为 1    lhs, rhs, gap = jensen_value(quad, points, weights)    print("Jensen: f(E[X])=%.4f, E[f(X)]=%.4f, 差=%.4f" % (lhs, rhs, gap))  if __name__ == "__main__":    main()

1. f(lam * x + (1.0 - lam) * y)先按 λ 混合两个坐标再求高度，对应凸性定义式的左端。
2. lam * f(x) + (1.0 - lam) * f(y)先分别求两点高度再按同一比例混合，对应定义式右端。
3. if lhs > rhs + eps: return False只要发现一个反例就判定非凸，eps 容忍浮点噪声。
4. mid = sum(w * x for w, x in zip(weights, points))用权重对坐标做凸组合，算出“平均站位”E[X]。
5. rhs = sum(w * f(x) for w, x in zip(weights, points))先求各点高度再加权平均，得到 E[f(X)]。
6. quad = lambda z: z * z定义碗形函数 z²，作为验证凸性的标准测试目标。

常见误区

面试题