允许犯错以提升泛化的软间隔SVM

CH-06-03-048·约 19 分钟·机器学习·更新 2026-08-10

想象你是市重点中学的校长。按照老规矩，“红旗班级”的评选条件是：全班所有学生、所有科目都必须考到90分以上。这个标准听起来很完美，可是只要有一个同学因为感冒发挥失常，全班一学期的努力就全部归零。更要命的是，为了让所有人都达标，班主任会疯狂地针对个别偏科生加练，反而打乱了整个班级的节奏。数据科学家在训练支持向量机（SVM）时也遇到了同样的尴尬。早期的“硬间隔SVM”要求所有训练样本都必须被正确分类，就像要求全班人人满分。可真实世界的数据总是充满噪声：录入错误、异常波动、类别重叠。硬撑下去，模型不仅学得战战兢兢，还容易把噪声当成规律，也就是“过拟合”。后来有人提出一个聪明的想法：为什么不允许个别样本犯点小错呢？于是“软间隔SVM”诞生了——它允许少量样本越过间隔边界，甚至被分错，但每犯一次错都要付出代价。这种“允许犯错、但绝不纵容”的智慧，让SVM成为工业界最耐用的分类器之一，从垃圾邮件过滤到金融风控，到处都有它的身影。

岗位关联

掌握软间隔SVM，你就能从容处理带噪声的真实数据，学会用惩罚系数C在“严格分类”与“泛化稳健”之间收放自如——这是每个算法工程师的基本功。

可视化演示
硬间隔的困境
软间隔思想
松弛变量
惩罚系数C
目标函数
对偶求解
实战调参
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

动态演示允许犯错以提升泛化的软间隔S的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

允许犯错以提升泛化的软间隔S：硬间隔的硬间隔的局限性与软间隔动机松弛变量的引入与几何含义核心机制可视化允许犯错以提升泛化的软间隔S整体架构与关键组件

硬间隔的困境

重点班评优的规则是全班所有学生每科都必须90分以上。为了达到这个目标，班主任盯着每个学生补课，结果一个学霸因为感冒考了85分，全班被一票否决，之前的努力全部白费。学校里管这叫“一票否决制”，数据科学里，硬间隔SVM就是这样的“一票否决制”。

硬间隔SVM要求每个训练样本都被正确分类，而且必须离决策边界至少一个单位距离。这看上去很美，但真实数据几乎不可能满足——特征测量有误差、样本本身有噪声、不同类别天然就有重叠。只要出现一个顽固的离群点，整个决策边界就会被它“拽”得偏离最优位置，间隔被挤压到极窄。

正式地说，硬间隔SVM求解的是这样一个约束优化问题：

就像为了一个考砸的学生而重排全班的复习计划，硬间隔SVM为了一个噪声点牺牲了整体的间隔宽度——这种“零容忍”的代价，就是模型在训练集上战战兢兢，换到新数据上却一塌糊涂。过拟合的种子，从一开始就埋下了。

\displaystyle \min_{\mathbf{w}, b} \frac{1}{2}\|\mathbf{w}\|^2 \quad \text{s.t.} \quad y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1, \quad i=1,\dots,n

这个公式的意思是：在“每个样本都必须距离决策边界至少1个单位”的严格约束下，寻找让间隔最大的那条直线。

最小化目标在满足所有约束的前提下，寻找让函数值最小的那组参数 (w, b)。
$\displaystyle \min_{\mathbf{w}, b} (\cdot)$
间隔的倒数½||w||² 越小，几何间隔 2/||w|| 越大，表示两类样本被撑得越开。
$\displaystyle \frac{1}{2}\|\mathbf{w}\|^2$
每个样本都要达标约束要求第 i 个样本不仅分对，函数间隔还要 ≥1，一个都不能少。
$\displaystyle y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1$

软间隔思想

校长终于修改了评优规则：“不再要求人人满分，但每出现一个不及格，就要在班级总分里扣一分。”班主任们长舒一口气——他们终于可以不再被个别学生绑架，而是把精力放在提升全班平均水平上。这就是软间隔思想的精髓：把“绝对的完美”换成“可管理的损失”。

在数学上，软间隔SVM放弃“所有样本都必须满足 y_i(w^Tx_i+b) ≥ 1”的硬性要求，改为允许一部分样本违反间隔约束，但每违反一点就计入一个非负的松弛变量 ξ_i，并乘上一个惩罚系数 C 加入总损失。有了这个改动，模型终于可以在“把间隔撑大”和“别犯太多错”之间讨价还价。

完整的目标函数如下：

于是模型有了两个同时追求的目标：把间隔撑大，又别犯太多错。就像班级既要氛围轻松，又不能纪律涣散——两个目标互相拉扯，最终找到一个平衡点。这个平衡点，正是软间隔比硬间隔泛化能力更强的原因：训练时允许小错，测试时才能少犯大错。

\displaystyle \min_{\mathbf{w}, b, \boldsymbol{\xi}} \frac{1}{2}\|\mathbf{w}\|^2 + C\sum_{i=1}^{n}\xi_i \quad \text{s.t.} \quad y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0

新公式多了一项“总记过分” CΣξ，同时把原约束放宽到 1-ξ_i。间隔依然要大，但错误不再不可原谅。

保留间隔项硬间隔的“撑大间隔”目标被原封不动地继承下来。
$\displaystyle \frac{1}{2}\|\mathbf{w}\|^2$
违规总量把所有样本的松弛变量加起来，得到班级的“总记过页数”。
$\displaystyle \sum_{i=1}^{n}\xi_i$
惩罚系数C 乘在总记过前面，决定每一页记过折合多少班级评分。
$\displaystyle C\sum_{i=1}^{n}\xi_i$
放宽约束原来必须 ≥1，现在只要 ≥1-ξ_i，ξ_i 越大要求越松。
$\displaystyle y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1 - \xi_i$

松弛变量

每个学生桌上放着一本“记过本”。考得好，记过页数保持0；考砸一次，老师用红笔在本子上记一笔。这个本子不决定你“能不能上学”，但它决定了班级评比时要扣多少分。ξ_i 就是那个“记过值”。

在软间隔SVM里，ξ_i 记录第 i 个样本违反间隔约束的严重程度。它的值与样本到决策边界的距离直接相关，可以用一个简洁的公式计算出来：

根据 ξ 的取值，样本可以分成三类：ξ=0 是“模范生”，不仅分类正确，还稳稳站在间隔带之外；0<ξ<1 是“踩线生”，分类是对的，但已经落进了间隔带里，属于警告状态；ξ>1 是“留级生”，真的被分错了，需要记大过。这三类样本在可视化演示中分别对应实心点、半透明点和红点。

记过本的意义不在于惩罚，而在于让“错误”有一笔清晰的账。有了这笔账，模型才能理性地决定：是原谅这个样本（容忍），还是付出代价（严格）。没有账本的含糊其辞，是做不到这种精细权衡的。

\displaystyle \xi_i = \max\left(0, \; 1 - y_i(\mathbf{w}^T\mathbf{x}_i + b)\right)

松弛变量就是“还差多少才及格”的缺口——如果表现足够好，缺口为0；如果表现不足，缺口就是差值本身。

缺口计算计算第 i 个样本离“及格线1”还差多少，差多少就记多少过。
$\displaystyle 1 - y_i(\mathbf{w}^T\mathbf{x}_i + b)$
非负截断max(0, ·) 保证表现优秀的样本 ξ=0，而不是负数。
$\displaystyle \max(0, \cdot)$

惩罚系数C

同一个记过本，不同班主任的处置方式完全不同。铁腕班主任规定：记过一次就停课三天，于是班里人人自危，但为了不出错，同学们都不敢尝试新方法；佛系班主任说：记过就记过吧，下不为例，班级气氛轻松，但个别学生开始有恃无恐。班主任手里的“容忍度旋钮”，就是惩罚系数 C。

C 出现在目标函数 CΣξ 中，直接决定“犯一次错要付出多大代价”。C 大，模型宁可缩小间隔也要把每个训练点都照顾好，结果是被噪声牵着鼻子走，陷入过拟合；C 小，模型舍得放弃个别点，换取更宽的间隔和更平滑的边界，但太小又会欠拟合，连正常规律都学不到。

从极限角度看：

拧 C 的时候，你其实是在回答一个问题：你更相信数据的“平时表现”，还是更怕“个别意外”？没有标准答案，只有交叉验证才能告诉你答案。C 就是那个决定班级氛围是“铁腕”还是“佛系”的灵魂旋钮。

\displaystyle \lim_{C \to \infty} \xi_i = 0, \quad \forall i

C 趋向无穷大时，任何一点松弛都会带来无穷大的惩罚，最优解只能让所有 ξ 归零——软间隔悄悄退回了硬间隔。

极限过程C 趋近正无穷，意味着每记一次过都要付出无穷大的代价。
$\displaystyle \lim_{C \to \infty}$
被迫归零为了让总损失不至于无穷大，所有松弛变量只能被迫归零，模型回到硬间隔。
$\displaystyle \xi_i = 0, \quad \forall i$

目标函数

到了期中，班主任给班级打分，既要看班风（间隔大不大），又要看考勤（违纪多不多）。这两个维度完全相反，但学校把它们写进一张评分表，要求“总分最优”。那张评分表，就是目标函数。

把松弛变量 ξ 的定义直接代入软间隔SVM的目标函数，可以消掉显式的约束条件，得到一个更经典的视角——合页损失（Hinge Loss）。这个写法揭示了软间隔的本质：用合页函数去替代“0/1误分类计数”，把“分错几个”这种不可导的指标，换成可优化的凸函数，兼顾了数学上的优雅与计算上的可行。

目标函数就是班级评比的“量化方案”：左边写着“间隔要宽”，右边写着“错误要少”，中间的 C 是换算汇率。读懂这张评分表，你就读懂了软间隔SVM的全部心思。

\displaystyle \min_{\mathbf{w}, b} \left[ \frac{1}{2}\|\mathbf{w}\|^2 + C\sum_{i=1}^{n} \max\left(0, 1 - y_i(\mathbf{w}^T\mathbf{x}_i + b)\right) \right]

这个公式把“间隔要宽”和“错误要少”两件事放在同一个目标里，C 就是两者之间的汇率。

合页损失max(0, 1-yf) 像门的合页，只在“关门不到位”时施压，关好了就一动不动。
$\displaystyle \max\left(0, 1 - y_i(\mathbf{w}^T\mathbf{x}_i + b)\right)$
结构风险前面一项控制模型复杂度，后面一项控制经验误差，二者相加是结构风险最小化的典型形式。
$\displaystyle \frac{1}{2}\|\mathbf{w}\|^2 + C \cdot \text{Loss}$

对偶求解

原始问题要同时照顾成千上万个样本的约束，直接求解很吃力。聪明的数学家换了个思路：与其盯着每个样本的约束，不如问另一个问题——“每个样本到底值不值得被模型记住？”这就像招生办主任不再挨个检查学生档案，而是只关注那几个“关键人物”，其余学生自动隐身。

通过拉格朗日乘子法，可以把带约束的原始问题转化为对偶问题。每个训练样本都会获得一个“话语权”系数 α_i，二次规划求解后，绝大多数 α_i 变成0，只有支持向量的 α_i 大于0。对偶问题长这样：

KKT条件进一步告诉我们：0<α_i<C 的样本恰好卡在间隔边界上，α_i=C 的样本跑到了间隔带内甚至被错分。对偶世界里的 α 像班级里的“话语权投票”：大多数人投了弃权票，只有少数关键学生决定了班级的走向。这种稀疏性，正是SVM高效又稳健的秘密武器。

\displaystyle \max_{\boldsymbol{\alpha}} \sum_{i=1}^{n}\alpha_i - \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i \alpha_j y_i y_j \mathbf{x}_i^T\mathbf{x}_j

\displaystyle \text{s.t.} \quad 0 \leq \alpha_i \leq C, \quad \sum_{i=1}^{n}\alpha_i y_i = 0

原始问题里的 w 和 b 消失了，取而代之的是一堆 α。每个 α 代表样本的“话语音量”，而 C 在这里直接限制了音量上限。

话语权变量每个样本拥有一个 α_i，代表它对决策边界的影响力。
$\displaystyle \alpha_i$
对偶目标最大化这个表达式，相当于在“让关键样本说话”和“避免重复計数”之间取得平衡。
$\displaystyle \max_{\boldsymbol{\alpha}} \left[ \sum_{i=1}^{n}\alpha_i - \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i \alpha_j y_i y_j \mathbf{x}_i^T\mathbf{x}_j \right]$
盒约束0 ≤ α_i ≤ C 直接限制了每个样本话语权的上限，C 在这里再次登场。
$\displaystyle 0 \leq \alpha_i \leq C$
类别平衡正类样本的总话语权必须等于负类，防止某一方垄断决策。
$\displaystyle \sum_{i=1}^{n}\alpha_i y_i = 0$

实战调参

新学期的“容忍度旋钮”到底该拧到几？经验丰富的校长不会拍脑袋，而是拿出过去三年的数据，模拟各种 C 值下的评比结果，看哪种规则能最好地预测未来表现。这份“模拟评比”，在机器学习里叫交叉验证。

实战中选择 C 的标准流程有三步：第一步做特征标准化，让所有特征在同一个尺度上比赛；第二步准备一组候选 C（比如 0.01 到 100 的对数网格）；第三步做 K 折交叉验证，用验证集上的准确率（或 F1 分数）给每个 C 打分，然后选最高分对应的 C。打分用的指标长这样：

调参没有银弹，但“标准化 + 交叉验证 + C 值网格搜索”这套组合拳，就像老校长的“模拟招生”，能让你在真实数据上少走很多弯路。数据预处理、基准评估、择优上线——每一步都是在为模型的“未来表现”而不是“眼前表现”负责。

\displaystyle \text{Acc}(C) = \frac{1}{n}\sum_{i=1}^{n} \mathbb{I}\left(\hat{y}_i = y_i\right)

这个公式计算的是：在给定的 C 下，模型预测正确的样本占总样本的比例——也就是“模拟评比”的得分。

预测比对指示函数 I(·) 在预测与真实标签一致时输出1，否则输出0。
$\displaystyle \mathbb{I}\left(\hat{y}_i = y_i\right)$
平均正确率对所有样本求和再除以 n，得到验证集上的平均正确率，作为不同 C 值的打分依据。
$\displaystyle \frac{1}{n}\sum_{i=1}^{n}(\cdot)$

AI 应用场景

电商用户流失预警

阶段：模型训练与鲁棒性优化

解决的问题：用户历史行为数据充满噪声，例如促销期间涌入的“一次性用户”会让活跃度特征出现大量异常峰值，而且流失用户与非流失用户的特征高度重叠。硬间隔SVM为了“讨好”这些异常样本，会把决策边界拉偏，导致真实用户被误判。软间隔SVM通过松弛变量吸收异常，再用 C 控制容忍度，可以获得更稳健的边界。

具体案例：某电商平台用软间隔SVM（线性核，C=1）预测月活用户是否会流失，特征包含登录频次、客单价、投诉次数。相比硬间隔SVM，误分类率下降了8个百分点；在大促后一周这个噪声高发时段，模型不再把活跃用户误判为流失。

金融信贷风控

阶段：超参数调优与模型评估

解决的问题：信贷场景中，好客户与坏客户的特征空间高度重叠，且坏样本标签存在人工审核误差。直接用硬间隔会让模型对某些“争议样本”过度敏感。通过 K 折交叉验证搜索 C，可以找到在验证集上 Auc 最高的软间隔模型。

具体案例：某消费金融公司用软间隔SVM构建申请评分卡，候选 C 取 [0.01, 0.1, 1, 10] 做5折交叉验证，最终 C=0.5 时 KS 值最佳，坏账率比 C=10 的模型降低0.6个百分点，且模型在月度数据集上表现更稳定。

工业质检瑕疵分类

阶段：特征处理与模型部署

解决的问题：生产线上拍摄的零件图片特征受光照、油污、镜头抖动干扰，存在大量“脏样本”。软间隔SVM允许这些干扰样本落在间隔带内，从而保持主要缺陷模式的清晰边界，避免模型因个别极端光线下的样张而偏离主方向。

具体案例：某电子厂用软间隔SVM对零件表面划痕分类，先做 Z-score 标准化，再用网格搜索找到 C=5 的线性核配置，误检率从硬间隔的6.3%降到2.1%，且在产线光照变化时无需频繁重训。

Python 演示

python33 行

# -*- coding: utf-8 -*-"""演示惩罚系数C对软间隔SVM的影响"""import numpy as npfrom sklearn.svm import SVC # 1. 生成带噪声的二维数据: 正类在左上, 负类在右下rng = np.random.RandomState(42)n = 50X = np.vstack([    rng.randn(n, 2) + np.array([-2.0, 2.0]),   # 正类中心(-2,2)    rng.randn(n, 2) + np.array([2.0, -2.0])    # 负类中心(2,-2)])y = np.array([1] * n + [-1] * n)X = np.vstack([X, [2.5, -2.5]])   # 噪声点: 正类标签却落在负类地盘y = np.append(y, 1)  def train_and_report(C):    model = SVC(kernel='linear', C=C)    model.fit(X, y)    pred = model.predict(X)    errors = int(np.sum(pred != y))    w = model.coef_.ravel()    slope = -w[0] / w[1]    print('C={:<5} 误分类数={:<3} 支持向量数={:<3} 边界斜率={:.3f}'.format(        C, errors, len(model.support_), slope))    return model  if __name__ == '__main__':    print('软间隔SVM: C值越大越难容忍错误, 边界越倾斜去迁就噪声点')    for C in (0.1, 1.0, 10.0):        train_and_report(C)

目的：生成一个含噪声的二维二分类数据集，分别用三种不同的 C 训练线性核软间隔SVM，并打印误分类数、支持向量数量和决策边界的斜率，直观对比“宽容”与“严格”。

X = np.vstack([...])把两组正态分布随机点拼接成两类样本，模拟现实中“鱼龙混杂”的数据。
X = np.vstack([X, [2.5, -2.5]])人为加入一个“走错片场”的噪声点，考验模型是否会被它带偏。
model = SVC(kernel='linear', C=C)创建线性核软间隔SVM，C 就是我们要观察的容忍度旋钮。
errors = int(np.sum(pred != y))统计预测与真实标签不一致的数量，相当于班级里的“记过总人数”。
w = model.coef_.ravel()取出线性模型的权重向量 (w0, w1)，用来计算决策边界的斜率。
slope = -w[0] / w[1]由 w0·x + w1·y + b = 0 解出斜率，观察边界被噪声点“拽”歪了多少。

常见误区

误区我调参时觉得 C 越大，模型对错误的惩罚越重，那训练出来的模型肯定越准。于是直接把 C 设成 1000，看到训练集上零错误，开心地以为大功告成。

正解C 太大时，模型会把每个噪声点都当作“重要规律”去迁就，决策边界被拉扯得歪歪扭扭、间隔急剧缩窄。这样的模型在训练集上完美无缺，一上测试集就原形毕露——过拟合。正确做法是用交叉验证在候选 C 值中挑选，让模型在“训练误差”和“间隔宽度”之间取得平衡。就像班主任为了不让任何一个学生违纪而把全班管得死气沉沉，反而影响整体学习效果，这就是典型的“因小失大”。

为何常见：训练误差是即时可见的指标，而泛化误差要到“考场”上才现身。初学者天然会被“眼前的全对”迷惑，忘记了机器学习的目标是“未来上的全对”。

误区松弛变量 ξ 看着就是“错误记录”，所以我希望所有样本的 ξ 都等于0，认为这才代表模型足够完美。

正解ξ=0 意味着所有样本都干净地待在间隔带之外——这正是硬间隔SVM。如果数据本身含有噪声或类别重叠，强求 ξ=0 会让模型牺牲间隔宽度去硬凑，最终过拟合。软间隔的价值恰恰体现在“允许一些 ξ>0”：只要 ξ 的总量可控，模型就能保持更宽的间隔和更好的泛化。就像优秀的班级并不追求零违纪，而是把违纪控制在“不影响大局”的程度。

为何常见：把“ξ=0“等同于”完美“，是因为只盯着单个样本看，没有从整体目标函数的角度理解”局部代价换取全局利益”。

误区我总以为 C 是“投入越大效果越好”的旋钮，所以 C 越大，模型应该越努力把间隔撑得越宽。

正解事实恰好相反。C 管的是“对分类错误的容忍度”，C 越大模型越不敢犯错，于是它宁可把间隔边界往两侧压缩，也要把一个个样本“掰”回正确一侧，结果间隔变小。C 越小，模型才舍得放弃个别样本，换来更宽的间隔。一个直观记忆：间隔宽度与 C 大致呈负相关。

为何常见：“C = Cost（成本）”的字面意思让人直觉地以为“成本高=投入多=间隔大”。实际上这里的成本是“错误的代价”，代价越高，模型越保守、越贴身拟合。

误区SVM 名字里带有“支持向量机”，没有明说“距离”，所以我以为它对特征尺度不敏感，把年龄、年收入、点击量直接拼在一起扔进去训练。

正解软间隔SVM的目标函数中含有 ||w||² 和 x_i^T x_j 内积，本质依赖欧氏距离。如果“年收入”的量纲达到万级而“年龄”只有几十，距离计算会被年收入主导，决策边界几乎只看这一个特征。训练前先做 Z-score 或 Min-Max 标准化，是SVM实战的标准前置步骤，能让每个特征在“招生评比”中拥有平等的发言权。

为何常见：很多入门材料强调“SVM 通过支持向量工作”，让人误以为它像树模型一样不关心特征尺度，忽略了它依然是距离类算法的本质。

面试题

Q1. 软间隔SVM引入松弛变量ξ的主要目的是什么？

单选题 · easy

A.加快模型收敛速度
B.容忍小错换取鲁棒性← 正确答案
C.让目标函数变可导
D.减少支持向量的数量

答案：B。软间隔的关键创新是“允许少量样本违反间隔约束”，从而在噪声数据下获得更稳的决策边界。A 说的是优化算法的事，与松弛变量无关；C 是附带好处而非目的；D 与事实相反——允许错误通常会增加而不是减少支持向量。

Q2. 当惩罚系数C增大时，软间隔SVM会怎样变化？

单选题 · easy

A.错误容忍度反而更高
B.间隔变窄贴合训练数据← 正确答案
C.训练时间线性增加
D.模型参数自动减少

答案：B。C 越大，每个违规样本的“罚金”越重，模型越不敢犯错，只能缩小间隔去迁就训练点。A 说反了，C 大意味着容忍度低；C 的训练时间与 C 没有线性关系；D 的参数数量由样本和优化过程决定，不会因为 C 变大而自动减少。

Q3. 某个样本的松弛变量满足 0 < ξ_i < 1，它处于什么状态？

单选题 · mid

A.已分错且完全失控
B.分对了但落在间隔带内← 正确答案
C.一定不是支持向量
D.属于噪声必须丢弃

答案：B。当 0<ξ_i<1 时，1-ξ_i>0，所以 y_i(w^T x_i+b)≥1-ξ_i>0，分类方向是对的；但函数间隔没达到1，说明样本落进了间隔带内。这类样本通常就是支持向量，不能随意丢弃；A 要求分错，需要 ξ_i>1，两者不是一回事。

Q4. 关于软间隔SVM的目标函数 min ½||w||² + CΣξ_i，下列说法正确的是？

单选题 · mid

A.两个目标完全相同
B.C越大间隔约束越弱
C.本质是折中两种目标← 正确答案
D.目标函数无约束可解

答案：C。目标函数前半部分追求“大间隔”，后半部分惩罚“误差”，二者互相矛盾，C 决定了折中位置，所以 C 正确。A 显然不对；B 应与实际相反——C 越大模型越不敢违反间隔约束；D 忽略了问题仍有 y_i(w^T x_i+b)≥1-ξ_i 和 ξ_i≥0 等约束。

Q5. KKT条件中，0 < α_i < C 对应的样本会满足什么性质？

单选题 · hard

A.位于间隔带的外侧
B.恰好落在间隔边界上← 正确答案
C.被模型错误分类了
D.一定属于噪声样本

答案：B。根据 KKT 互补松弛条件，当 0<α_i<C 时，对应的松弛变量 ξ_i=0 且函数间隔恰好为1，样本正好卡在间隔边界上。A 对应 α_i=0 的样本；C 对应 α_i=C 且 ξ_i≥1 的样本；D 不成立，噪声与否与 α 的取值没有必然关系。

Q6. 以下哪些场景适合调大惩罚系数C？

多选题 · mid

A.噪声大希望边界更平滑
B.数据干净并且模型欠拟合← 正确答案
C.重叠样本追求零训练误差← 正确答案
D.希望算法训练时间更短

答案：BC。调大 C 意味着“更不容忍训练错误”。数据干净且欠拟合时，加大 C 可降低训练误差；某些业务要求尽量拟合训练数据、追求零训练误差的场景，也可以调大 C。而噪声大应调小 C 换取平滑边界；C 与训练时间没有直接关系。

Q7. 当惩罚系数C趋于无穷大时，软间隔SVM会退化成什么？

单选题 · mid

A.完全忽略间隔约束
B.退化为硬间隔SVM← 正确答案
C.变成概率分类器
D.等价于线性回归

答案：B。C→∞ 时，任何 ξ_i>0 都会带来无限大的惩罚，最优解只能让所有 ξ_i=0，即所有样本都满足原始硬间隔约束，问题退化为硬间隔SVM。A 是 C→0 的表现；C 和 D 与SVM的判别模型本质不符。

Q8. 关于软间隔SVM的支持向量，下列说法哪些正确？

多选题 · hard

A.所有ξ>0的样本都是支持向量← 正确答案
B.间隔内与边界上的样本都是支持向量← 正确答案
C.支持向量的数量越少模型越好
D.非支持向量对决策无贡献← 正确答案

答案：ABD。ξ_i>0 的样本必有 α_i>0，间隔内与边界上的样本也满足 α_i>0，所以 A、B 正确；决策函数只由支持向量及其 α 决定，非支持向量的 α=0，对决策无贡献，D 正确。C 把“稀疏性”当成了选模型的标准，实际上支持向量数量多少与模型好坏没有直接关系，应以验证集效果为准。

Q9. 软间隔相对于硬间隔，核心改进是什么？

单选题 · easy

A.强制所有样本都必须分对
B.允许少量样本违反间隔约束← 正确答案
C.用梯度下降代替精确求解
D.把类别数从两类扩展为多类

答案：B。软间隔在硬间隔基础上加入松弛变量 ξ，允许少量样本越界甚至错分，从而提升对噪声的鲁棒性和泛化能力。A 是硬间隔的做法；C 与SVM的标准求解方式不符，SVM 常用 SMO 等二次规划方法；D 是另一个话题，不是软间隔的改进点。

Q10. K折交叉验证在软间隔SVM调参中的主要作用是什么？

多选题 · mid

A.用验证集评估不同C的泛化能力← 正确答案
B.直接优化松弛变量ξ的取值
C.防止单次数据划分的偶然性← 正确答案
D.保证训练集错误率为零

答案：AC。交叉验证把数据分成 K 份轮流当验证集，用来估计不同 C 下模型的泛化表现，并减少一次随机划分带来的偶然性，所以 A、C 正确。ξ 是由优化问题本身求解出来的，不是交叉验证直接调的；D 与交叉验证的目的相反——它评估的是验证表现，而不是追求训练集零错误。