线性模型：逻辑回归

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

分类本质

阿海的航海日志上记满了过去四十年的决策：哪天出了海、哪天没出、那天的风浪云雨。翻到最后一页，他忽然意识到，自己其实从来不需要回答“明天浪高几米”这种精细问题，只需要回答一个二选一的问题——出海，还是不出海？天气预报员报数字，老船长做选择。机器学习沿用了这个分工：预测连续数值（比如浪高 3.72 米）的任务叫回归，在几个固定选项里选一个（出/不出）的任务叫分类。

逻辑回归这个名词容易让人误会，它名字里带着“回归”，实际上是一个分类算法。线性回归学出来的是一条直线，直接读出连续的预测值；逻辑回归虽然也是先把特征做加权求和，但它不会把那个总分直接输出，而是把总分换算成一个“出海概率”。从学习方法上看，它属于监督学习——训练数据里每个样本都带标签（“出了”还是“没出”），模型从这些“标准答案”中学会规则。

具体地，逻辑回归先把每个特征乘以自己对应的权重，再加一个偏置项，得到总分 \(z\)；然后把 \(z\) 送入一个压缩函数，最终输出 \((0,1)\) 之间的概率 \(p\)。概率越接近 1，代表“出海”的信心越足；越接近 0 则越倾向“不出海”。整个模型可以用下面的式子表示：

阿海心里就是一台“逻辑回归机”：风大扣分，浪高扣分，天晴加分，最后加出一个总分，再按自己多年练就的软开关换算成出海概率。他报出来的从来是“大概能行”，而不是“明天浪高 3.72 米”——因为做决策时，概率比精确数字更重要。

Sigmoid函数

那台“软开关”究竟是什么？阿海年轻时用的是“硬开关”：总分超过 0 就出海，否则坚决不出。可渐渐地他发现这太武断了——差一分的天气，真就有天壤之别吗？于是他换成“软开关”：得分极高时几乎 100% 出海，得分极低时几乎 0%，中间的过渡地带则给出平滑的概率。这个“软开关”就是 Sigmoid 函数。

Sigmoid 函数把任意实数 \(z\) 压缩到 \((0,1)\) 区间内。\(z=0\) 时输出恰好是 0.5；\(z\) 越大，输出越接近 1；\(z\) 越小，输出越接近 0。它是一条平滑的 S 形曲线，因此也叫 S 形函数（Sigmoid 就是“S 形”的意思）。在逻辑回归中，这个函数让“加权总分”变成一个可以被解读为“概率”的数字，这是整套算法的关键一步。

Sigmoid 有三个对训练至关重要的性质。第一，单调：分数越高，输出的概率越大，保证预测和打分的直觉一致。第二，光滑：处处可导，梯度下降才有明确的“坡向”可以参考。第三，求导简单：它的导数恰好是 \(\sigma(z)(1-\sigma(z))\)，这个漂亮的性质让后面计算梯度时格外省事。此外，把公式两边取对数，会得到 \(\log \frac{p}{1-p} = z\)——左边是“几率”取对数，逻辑回归的“逻辑”（logistic）正是来源于此，说明它本质上是在用线性模型刻画“对数几率”。

老渔民的软开关让他的判断越来越细腻：风平浪静时他几乎拍胸脯保证出海；台风天他死也不出；只有“多云有风浪”的中间地带，他才会犹豫着说“七成能行”。这个“七成”就是 Sigmoid 给他的语言——让决策从非黑即白，变成有层次的灰度。

决策边界

阿海做决定时，心里其实有条线：总分高于某个值就出海，低于这个值就不出。用数学的话说，当模型输出的概率恰好是 0.5 时，对应的输入满足 \(\mathbf{w}^{\top}\mathbf{x} + b = 0\)。这被称为决策边界。权重向量 \(\mathbf{w}\) 决定这条线的朝向——哪个特征更“占分量”；偏置 \(b\) 决定线的位置——整体门槛有多高。在二维平面上它是一条直线，在三维空间是一个平面，在高维空间则称为超平面，它把整个特征空间一分为二：一边预测正类，一边预测负类。

默认的“划线位置”是概率 0.5，但它完全可以调整。假设今天气象警报很多，阿海可能会更加保守：概率超过 0.3 就不出海，因为翻船的风险他承受不起。反之，如果警报系统老是误报，让他少捕了太多鱼，他又会把阈值调高。阈值往低调，能兜住更多“潜在的坏天气”（不漏判），但也会误伤“本来挺好的天气”（多误报）；阈值往高调则相反。这种两难，就是“误判权衡”——任何分类模型都要面对：漏判和误报，哪个是你更不想承担的代价？

阿海的“保守线”不是天生的：年轻时阈值设得低，稍微有点风浪就不出海，结果少捕了很多鱼；后来阈值设高了，又差点在风暴里翻了船。经过几十年摸爬滚打，他才找到那条“刚刚好”的线——既不会太怂，也不会玩命。模型训练的目的，就是自动找到这条线。

交叉熵损失

阿海每次出海归来都会在日志上记一笔账：平安归来，轻轻画个勾；翻船了，狠狠记一笔；没出海但当天其实风平浪静，也要记一笔——因为白白错过了好收成。观察这本账，会发现一个规律：他记的最重的，不是“没出海结果天晴了”这种小失误，而是“拍胸脯保证没事，结果差点回不来”这种自信的错误。这个按把握程度加权的记账思路，对应的正是损失函数。

逻辑回归的账本叫交叉熵损失（cross entropy loss），也叫对数损失。单个样本的公式如下：当真实标签 \(y=1\) 时，损失是 \(-\log p\)。如果模型很有把握地输出 \(p=0.1\)（只有 10% 的把握认为是正类，结果真是正类），损失高达 \(-\log 0.1 \approx 2.3\)；反过来当 \(y=0\) 时，损失是 \(-\log(1-p)\)，模型若自信地输出 \(p=0.9\)，同样会被重罚。核心思想是：错得越离谱、越自信，惩罚越重。

那为什么不干脆用均方误差（MSE）呢？逻辑回归的输出是概率，概率分布之间的差距更适合用“信息量”来度量。更关键的是，MSE 套在 Sigmoid 上会让损失函数变成非凸函数——山谷里有很多坑，梯度下降容易掉进局部最低点；而交叉熵配合 Sigmoid 会得到凸函数，只有一个全局最低点的“碗”，训练过程又稳又快。因此交叉熵是逻辑回归的天然搭档。

阿海从不平均地记错账：没出海但天气不错，只在本子上轻轻划一道；可要是他信誓旦旦说“铁定能出海”，结果船差点翻在风口，他会用红笔重重画个叉。这份“按把握程度加权”的账本，正是交叉熵损失的精髓。

梯度下降

账本记下来之后，要怎么改进自己？阿海的方法是“复盘”：这次翻船，是因为我把“东风”的分加得太高了。于是他下次会把这个因素的权重调低一点，把“浪高”的权重调高一点。下一次再遇到类似天气，总分变了，决策也跟着变。这个过程在机器学习里叫参数学习，而最常用的优化算法，就是梯度下降。

想象你站在一片雾蒙蒙的山谷里，要找到谷底（损失最小的地方）。你视野有限，看不清全局，只能感受脚下土地的坡度——这个坡度就是梯度。每一步，你朝“最陡下坡”的方向迈一小步；迈多长由学习率决定。如此重复成百上千次，你终将走到谷底。梯度下降的每一步，都在重复这个“感受坡度、迈步下山”的动作。

对逻辑回归的交叉熵损失求梯度，会得到一个非常优雅的结果：对某个权重 \(w_j\) 的梯度，等于“预测概率减去真实标签”乘以特征 \(x_j\) 在所有样本上的平均值。这个式子意味着：如果模型预测高了（\(p>y\)），就往下调权重；预测低了，就往上调。每次更新的方向永远是“减少错误”的方向，于是损失函数一路下降，直到收敛。

学习率就像步子大小：步子太大，容易在山谷两边来回弹跳甚至直接冲出山外——这叫震荡或发散；步子太小，走半天还在半山腰，训练迟迟不收敛。阿海花了大半辈子才摸清“该以多快的速度调整自己对每个因素的看法”——机器学习里的学习率，就是那个步幅。

多分类扩展

阿海并不只需要回答“出不出海”，有时候他还要决定“明天是捕鱼、修船，还是赶集”——三个选项。逻辑回归天生是二分类器，一次只能回答“是 or 否”，那面对三选一甚至更多选项怎么办？有两个常用思路。

思路一是“一对多”（One-vs-Rest）：对每个类别各训练一个二分类器，比如“捕鱼 vs 其他”、“修船 vs 其他”、“赶集 vs 其他”，预测时把所有分类器的得分拿出来比大小，谁分高就选谁。思路二是直接扩展成 Softmax 回归，也叫多项逻辑回归：模型一次计算出每个类别的得分，再把这些得分转换成一个覆盖所有类别的概率分布。

Softmax 的公式如下：先把每个类别的得分 \(z_k\) 做指数运算得到 \(e^{z_k}\)，再除以所有类别指数之和。指数运算会放大得分之间的差距，让得分高的类别概率优势更明显，但又不像“取最大值”那样一刀切地赢者通吃——它保留了温和的竞争性，输出的一组概率非负且总和为 1，正好是一个合法的概率分布。

阿海的三选一决策从来不会拍板“百分之百捕鱼”，而是在心里盘算：六成捕鱼、三成修船、一成赶集。这三个数加在一起正好是十成——这就是 Softmax 输出的概率分布。它把一个模糊的偏好，变成了可比较、可决策的具体数字。

正则化

阿海有一年特别迷信“看云出海”：他观察到某天西边有成片的鱼鳞云，出海后满载而归，于是从此把“鱼鳞云”的权重加得极高。结果那一年，他因为这个执念翻了好几次船——他把偶然当成了规律，记住了太多噪声。数据科学家把这种现象叫做过拟合：模型太贴合训练数据里的每一个细节，反而失去了对新数据的泛化能力。

正则化就是给模型“泼冷水”的办法：在原有损失函数后面加上一项惩罚项，逼着模型的权重不要太大。权重太大意味着模型对个别特征反应过度，很容易被一条样本牵着鼻子走。加上惩罚项之后，模型会更“克制”、更简单，也更愿意去抓数据中普遍存在的规律，而不是死记硬背某几个特例。这个“泼冷水”的力度由一个超参数 \(\lambda\) 控制。

最常见的两种正则化是 L2 和 L1。L2 正则化在损失后面加上所有权重的平方和 \(\lambda \sum w_j^2\)，它倾向于把大的权重压小，但很少让权重变成精确的 0；L1 正则化加的是绝对值之和 \(\lambda \sum |w_j|\)，它会把一些不重要的权重直接压成 0——相当于在做模型训练的同时，自动完成了一次特征选择。\(\lambda\) 越大，惩罚越重，模型越简单；但 \(\lambda\) 过大也会让模型“缩手缩脚”，把所有权重都压得太小，导致欠拟合。

老渔民后来被儿子点醒：“那片云是运气，不是规律。”他重新翻出老账本，把“鱼鳞云”的权重调回正常水平。这段经历让他明白：做判断时不仅要看眼前的特征，还要警惕自己给某些特征“加戏”——正则化就是那个提醒你收着点的儿子。

工程实践

阿海最终把一辈子的经验整理成了一套完整的工作流：记日志（收集数据）、提炼指标（特征工程）、划经验线（训练模型）、反复验证（模型评估）、上船前再看一眼（部署应用）。逻辑回归落地的过程，跟这套流程几乎一模一样。这也是为什么逻辑回归虽然诞生了半个多世纪，至今仍是许多公司的首选基线模型——够快、够稳、够清楚。

整个流程中最容易被低估的是特征工程。风速是用原始米/秒，还是转成风力等级？浪高是取原始值，还是取对数让大浪不那么“扎眼”？要不要把两个特征相乘得到交互项（比如“风速 × 浪高”）？这些选择直接决定了决策边界能否表达真实规律，因为逻辑回归的原始形式只有一条线性边界，数据中的非线性关系必须靠人先做好特征变换，模型才能学得到。

评估环节同样讲究。当正负样本严重不平衡时（比如 1000 个贷款申请里只有 5 个违约），准确率会骗人。这时候要看精确率（Precision）和召回率（Recall）：信贷风控更看重精确率，因为放贷给不该放的人损失惨重；医疗筛查更看重召回率，因为漏诊一个病人后果难以挽回。F1 分数是两者的调和平均，用来在“精打细算”与“宁抓勿漏”之间找平衡。

从渔船到金融、医疗和广告，逻辑回归至今仍是工业界最可靠的“老船长”之一。阿海用一辈子悟出的经验，今天用一行 model.fit(X, y) 就能让机器自己学到——但真正拉开差距的，从来不是那行代码，而是对数据、对特征、对指标的理解，这些功夫，和判断风向一样，需要日积月累。

AI 应用场景

Python 演示

import mathimport random  class LogisticRegression:    def __init__(self, n_features, lr=0.5, epochs=200):        self.w = [random.uniform(-0.5, 0.5) for _ in range(n_features)]        self.b = 0.0        self.lr = lr        self.epochs = epochs     def sigmoid(self, z):        return 1.0 / (1.0 + math.exp(-z))     def predict_proba(self, x):        z = self.b + sum(wi * xi for wi, xi in zip(self.w, x))        return self.sigmoid(z)     def train(self, X, y):        n = len(X)        for epoch in range(self.epochs):            total_loss = 0.0            for xi, yi in zip(X, y):                p = self.predict_proba(xi)                err = p - yi                for j in range(len(self.w)):                    self.w[j] -= self.lr * err * xi[j]                self.b -= self.lr * err                total_loss += -math.log(p) if yi == 1 else -math.log(1 - p)            if epoch % 20 == 0 or epoch == self.epochs - 1:                acc = self.accuracy(X, y)                print("epoch=%3d  loss=%.4f  acc=%.3f" % (epoch, total_loss / n, acc))     def predict(self, x):        return 1 if self.predict_proba(x) >= 0.5 else 0     def accuracy(self, X, y):        correct = sum(1 for xi, yi in zip(X, y) if self.predict(xi) == yi)        return correct / len(y)  def make_data(n=80, seed=42):    random.seed(seed)    X, y = [], []    for i in range(n):        if i < n // 2:            X.append([random.gauss(0.30, 0.14), random.gauss(0.35, 0.14)])            y.append(1)        else:            X.append([random.gauss(0.70, 0.14), random.gauss(0.65, 0.14)])            y.append(0)    return X, y  if __name__ == "__main__":    X, y = make_data()    model = LogisticRegression(n_features=2, lr=0.8, epochs=200)    model.train(X, y)    print("最终准确率: %.3f" % model.accuracy(X, y))    print("学到的权重: w1=%.3f, w2=%.3f, b=%.3f" % (model.w[0], model.w[1], model.b))

1. class LogisticRegression定义一个完整的逻辑回归模型类，包含权重、偏置和训练所需的方法。
2. self.sigmoid实现 S 形压缩函数，把任意线性得分映射为 0 到 1 之间的概率。
3. predict_proba(self, x)先计算加权总分再套 Sigmoid，对外输出“属于正类的概率”。
4. err = p - yi关键梯度信号：预测概率与真实标签之差，驱动所有参数的更新。
5. self.w[j] -= self.lr * err * xi[j]梯度下降的核心更新公式：沿负梯度方向微调第 j 个权重。
6. total_loss += -math.log(p) ...累计交叉熵损失，用来监控模型训练进展。
7. make_data()生成两类有重叠的高斯分布数据，模拟“想出海”与“不想出海”的人群。
8. if __name__ == "__main__":可执行入口，先造数据，再训练模型，最后打印准确率与学到的权重。

常见误区

面试题