用Sigmoid做分类的逻辑回归入门

可视化演示

展示Sigmoid函数将线性输出映射到概率空间的过程，以及逻辑回归如何通过决策边界实现二分类。

初识逻辑回归：穿“回归”外衣的分类医生

还记得那位“概率医生”吗？他之所以能给出 87% 这样的答案，是因为他先做了一道算术题：把你的血压、血糖、年龄等体检指标分别乘以一个“重视程度”（权重），再加起来，得到一个“风险得分” z。这个得分可以非常大，也可以非常小，甚至可能是负数——就像线性回归的输出一样，取值范围是正负无穷。但这显然不适合直接当概率用。

于是医生掏出了他的“诊断转换表”——Sigmoid 函数。这张表只有一个任务：把任意实数 z，映射到 0 到 1 之间的概率 p。这就是逻辑回归的完整流程：先像回归模型那样算一个线性得分，再用 Sigmoid 函数把得分“翻译”成概率，最后按概率决定分类。所以逻辑回归的名字虽然带“回归”，干的却是分类的活——它内里有一副线性回归的骨架，外面却披着概率分类的外衣。

完整模型可以写成下面这个公式：

就像那位概率医生从不直接甩给你一个“你病了”的结论，而是先给概率——逻辑回归输出的也是一个概率值，再由你（或业务规则）决定怎么行动。这种“先算分、再翻译、后判定”的流程，正是它与纯线性回归最大的不同。

Sigmoid函数：一张神奇的“诊断转换表”

现在让我们把这“诊断转换表”拿在手里仔细端详。它的名字叫 Sigmoid 函数，希腊字母 σ（读作 sigma）是它的代号。它的形状是一个平滑的 S 形曲线：当输入 z 非常小（负得厉害）时，输出趋近 0；当 z 非常大时，输出趋近 1；当 z = 0 时，输出恰好是 0.5。整个曲线单调递增，不存在“回退”或“震荡”。

为什么这条曲线这么适合当“诊断转换表”？因为它的输出被严格限制在 (0, 1) 开区间内。无论体检指标多么极端——比如血糖高到爆表，z 算出来等于 1000——经过 Sigmoid 之后，输出的概率也只是无限接近 1，但永远不会超过 1。反过来，就算 z 是 -1000，输出也只无限接近 0，不会变成负数。这就像一个精密的限压阀，无论上游水压多大，下游的“概率仪表盘”永远在 0% 到 100% 之间摆动。

Sigmoid 函数的数学定义如下：

这张“诊断转换表”的妙处在于它既平滑又可导。医生们（优化算法）可以根据它的斜率来调整诊断策略——这一性质在后面的训练环节会大放异彩。

决策边界：医生的“诊断标准线”

有了概率 p 之后，医生怎么下结论？这时需要一条“诊断标准线”。好比诊断高血压，收缩压超过 140 mmHg 就算高血压——这条 140 的线就是决策边界。在逻辑回归里，默认的“标准线”是 p = 0.5：概率超过一半，判为正类；低于一半，判为负类。

那么 p = 0.5 对应什么样的条件呢？我们回头看 Sigmoid 函数：只有当 z = 0 时，σ(z) 才等于 0.5。也就是说，决策边界的条件是 z = w·x + b = 0。在二维特征空间中，w₁x₁ + w₂x₂ + b = 0 是一条直线；在三维空间中是一个平面；在高维空间中则是一个“超平面”。所以逻辑回归的决策边界是线性的，这是它作为线性模型的根本标志。

医生划出这条“标准线”后，新病人来了，只需看看他落在线的哪一侧——得分 z 大于 0，概率就超过一半，判高风险；得分 z 小于 0，则判低风险。线性边界的简洁性，让逻辑回归的解释变得非常直观。

训练学习：医生如何“拜师学艺”

好医生不是天生的。逻辑回归的权重 w 和偏置 b 需要从历史数据中学习而来，这个过程叫“训练”。训练的核心是回答一个问题：怎样才算“诊断得好”？答案是——真实情况是“患病”的病人，模型给出的患病概率要尽量高；真实情况是“健康”的人，模型给出的患病概率要尽量低。

为了量化这个目标，我们引入“交叉熵损失”（Cross-Entropy Loss）。它像一个严格的考官：每诊断一个病人，就根据模型的置信度和真实结果打分，预测得越离谱，扣分越狠。把所有病人的扣分加起来取平均，就是我们需要最小化的损失。为什么用交叉熵而不用均方误差？因为逻辑回归的输出是概率，而交叉熵专门衡量“两个概率分布之间的差距”，对概率的错误判断特别敏感。用通俗的话说：把 80% 概率的样本判成 60%，比把 99% 判成 98% 更值得扣分——前者可能影响医生决策，后者无伤大雅。

单样本的交叉熵损失如下：

有了损失函数，训练就变成了“沿着损失下降最快的方向调整参数”——这正是梯度下降（Gradient Descent）在做的事。每次迭代，模型都计算当前参数下损失对每个 wᵢ 和 b 的梯度，然后朝梯度的反方向迈一小步。随着迭代进行，医生的“诊断标准线”不断微调，直到整批病人的平均扣分降到一个较低水平。这就是“拜师学艺”的完整闭环。

评估与优化：如何考核一位医生的水平

模型训练好了，怎么判断它到底行不行？就像医院考核医生，不能只看“他说对了几个”，还要看他会不会误诊、漏诊。我们把模型的预测结果和真实情况放在一张 2×2 的表格里，这就是混淆矩阵（Confusion Matrix）。四个格子分别记录：真正例 TP（有病且判有病）、假正例 FP（没病但判有病，即误报）、假负例 FN（有病但判没病，即漏报）、真负例 TN（没病且判没病）。

有了这四个数，我们可以回答两种不同的问题。“预测为正的里面有多少是真正有病？”——这是精确率（Precision），衡量“说得准不准”。“真正有病的人里有多少被查出来了？”——这是召回率（Recall），衡量“查得全不全”。两者常常此消彼长：标准线定得严，误报少但漏报多；定得松，漏报少但误报多。具体业务中要根据代价权衡，比如疫情筛查宁可多误报也要少漏报，就优先保召回率。

精确率的公式如下：

除了评估，优化也不能少。当模型在训练集上表现极好、却在测试集上大幅下滑时，就是过拟合（Overfitting）——医生把训练样本背得滚瓜烂熟，换一批病人就不会看病了。常用的对策是正则化（Regularization），比如 L2 正则化在损失函数后追加一项“权重平方和”，惩罚那些过于极端的权重值，逼着模型“别太死记硬背”，从而提升泛化能力。

扩展与应用：从单科医生到全科会诊

到目前为止，逻辑回归都在回答“是/否”的二分类问题——有没有高血压、会不会流失、违不违约。但现实世界经常是多选一：这个病人得的是高血压、糖尿病，还是高血脂？银行客户流失是去了竞争对手、降额使用还是彻底不用？这时我们需要把逻辑回归从“单科医生”升级成“全科会诊”。

最直接的办法是“一对多”（One-vs-Rest）：为每个类别训练一个二分类器，比如“是不是高血压”、“是不是糖尿病”、“是不是高血脂”，然后看哪个分类器给出的概率最高。更进一步的做法是用 Softmax 函数，它是 Sigmoid 在多分类上的推广，一次性输出所有类别的概率，并且保证这些概率加起来等于 1——就像会诊后给出的每种疾病概率之和必然是 100%。

Softmax 的公式如下：

从“单科诊断”到“全科会诊”，逻辑回归完成了从二分类到多分类的蜕变。更重要的是，Softmax 正是现代神经网络分类输出层的标准组件——你今天学到的这张“诊断转换表”，正是深度学习大厦的第一块基石。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score, precision_score, recall_score, confusion_matrix  def main():    # 生成二分类模拟数据: 500 个样本, 2 个特征    X, y = make_classification(        n_samples=500,        n_features=2,        n_redundant=0,        n_clusters_per_class=1,        random_state=42,    )     # 划分训练集与测试集    X_train, X_test, y_train, y_test = train_test_split(        X, y, test_size=0.3, random_state=42    )     # 创建并训练逻辑回归模型    model = LogisticRegression()    model.fit(X_train, y_train)     # 输出概率与预测类别    y_proba = model.predict_proba(X_test)[:, 1]    y_pred = model.predict(X_test)     # 评估指标    acc = accuracy_score(y_test, y_pred)    prec = precision_score(y_test, y_pred)    rec = recall_score(y_test, y_pred)    cm = confusion_matrix(y_test, y_pred)     print(f"准确率: {acc:.3f}")    print(f"精确率: {prec:.3f}")    print(f"召回率: {rec:.3f}")    print("混淆矩阵:")    print(cm)    print(f"特征系数: {model.coef_.ravel()}")    print(f"截距: {model.intercept_[0]:.3f}")  if __name__ == "__main__":    main()

1. make_classification(n_samples=500, n_features=2)生成 500 个带标签的二维样本，模拟体检病人的两个特征指标。
2. train_test_split(..., test_size=0.3)把数据按 7:3 分成训练集和测试集，让模型“学过的题”和“考试的题”分开。
3. model = LogisticRegression()创建逻辑回归模型，sklearn 封装了 Sigmoid + 交叉熵 + 梯度下降的全部细节。
4. model.fit(X_train, y_train)训练模型，内部通过梯度下降自动学习权重 w 和截距 b，相当于医生在“实习”。
5. model.predict_proba(X_test)[:, 1]输出每个样本属于正类的概率，这是逻辑回归的核心价值所在。
6. y_pred = model.predict(X_test)按 0.5 阈值把概率转化为 0/1 类别标签。
7. precision_score(y_test, y_pred)计算精确率，衡量“预测为正类中真正正确的比例”。
8. confusion_matrix(y_test, y_pred)生成混淆矩阵，是计算各类指标的原始素材。

常见误区

面试题