TF-IDF 变体：sublinear TF 与 max df

可视化演示

模拟Sublinear TF变换、Max DF过滤与IDF权重曲线，展示TF-IDF变体如何改善文本特征质量与检索效果。

变体动机：为什么非要改

小李是“知味轩”餐厅的主厨。他有个习惯：为每道菜写一张“风味名片”，客人凭名片上的食材排序来找菜。起初他的办法很朴素——数食材出现的次数，次数多的排前面。可写着写着他发现不对劲：番茄炒蛋里“番茄”“蛋”确实该靠前，但每道菜都少不了的“水”“盐”也凑了进来，名片越写越没区分度。他问自己：数次数，真的能代表风味吗？

在信息检索的世界里，小李的“菜谱”就是文档，“食材”就是词（term）。一种经典打分法是 TF-IDF：词频（Term Frequency）衡量一个词在文档里的分量，逆文档频率（Inverse Document Frequency）衡量它在整个语料里有多稀有，两者相乘得到词的权重。基础公式如下：

但原始 TF 有两个天生的毛病。第一，它按次数线性累加，长文档天然有更高的词频，容易被整体放大；第二，一个词重复 5 次和重复 20 次的信噪比差距远没有 4 倍。再加上只靠 IDF 压不住“又常见又高频”的词，于是业界提出了两类最实用的变体——次线性 TF（sublinear tf）和最大文档频率过滤（max df），也就是本文的主角。

用小李的话说：“数次数只是入门，真正的大厨还要问两个问题：重复加了这么多，风味真的翻倍了吗？这道菜人人都有，写上去还有意义吗？”这两个问题，正是两个变体要解决的事。

次线性词频：第一勺最咸

小李在调一碗牛骨汤时顿悟：第一勺盐下去，咸味立刻点亮整碗汤；第二勺还能尝出来；到第五勺、第十勺，舌头几乎麻木了。他对徒弟说：“味觉对重复刺激是递减的——第一勺盐最咸。”这让他联想到名片上的食材次数：蒜放了三瓣和九瓣，名次能写成九倍吗？

词频也是同理。一个词在一篇文档中出现 1 次和 10 次，提供的信息量远没有 10 倍差距；出现 100 次和 200 次更是几乎没差别。次线性 TF（sublinear tf）要做的，就是让“重复”的收益逐步递减，别让高频词靠堆次数霸占名片。最常见的实现是取对数后用 $1+\log\mathrm{tf}$，加 1 是为了让 tf=1 时权重保持为 1，与原始计数平滑衔接；对数底用自然常数还是 2 差别不大，只影响整体缩放。

小李把这条经验写进了后厨手册：“第一勺最咸，第十勺白搭。”sublinear TF 让名片的排序更诚实——一道菜里蒜放了三瓣、六瓣、九瓣，名片上不会写出九倍的蒜味，而是温和地说一声“蒜香浓郁”。

MaxDF 过滤：倒掉那盆水

小李整理名片时，桌角总堆着一批“废料”食材：水、盐、食用油——餐厅 95% 的菜品都用它们。徒弟问要不要写进名片，小李摇头：“家家户户都有，写上去等于没写。”他定下规矩：出现在超过七成菜品里的食材，直接不上名片。这把废料篓，就是 max df 的雏形。

检索里的“水盐”就是那些文档频率（df）过高的词。df 衡量一个词在多少篇文档里出现，df 越高说明越常见、区分度越低。max df（最大文档频率）的做法是设定一个比例阈值 $\lambda$，凡是 df 超过 $\lambda N$ 的词，一律从词表里剔除——相当于一张数据驱动的自动停用词表。

它和 min_df（最小文档频率）是一对搭档：min_df 过滤只出现一两次的生僻词，避免统计噪声；max_df 过滤烂大街词汇，避免“水盐”稀释区分度。相比人工维护的静态停用词表，max_df 的独特优势是能抓住“这本语料特有”的泛滥词——比如某个社区里刷屏的“打卡”“集美”，人工词表永远跟不上。

小李的废料筐越用越顺手。它告诉后厨一个道理：名片的价值不在于写了多少食材，而在于敢把没用的划掉。“水、盐、油”退场后，松露的香气才真正浮出水面。

参数调优：试菜的艺术

阈值到底设多大？小李先试 0.3——结果把“蒜”“胡椒”都滤掉了，招牌菜名片变得寡淡；再试 0.9——等于没滤，水盐照旧上榜。最后他在 0.5 到 0.7 之间反复试，才算找到这家店的最佳比例。他的结论是：调料比例看菜系，过滤阈值看语料。

工程实践里有一些经验默认值：sklearn 的 TfidfVectorizer 默认 sublinear_tf=False、max_df=1.0，也就是说两个变体默认都没开启，需要显式配置。短文本场景（新闻标题、商品短标题）常用 max_df=0.5~0.7；长文本和垂直领域语料可以放宽到 0.8~0.95；而 sublinear_tf=True 几乎总是安全的选择，因为它只压缩重复收益，不牺牲任何词。

更严谨的做法是用验证集做参数搜索：把 max_df 和次线性开关作为候选组合，用网格搜索选出让效果指标最优的一组。指标常用 F1——精确率与召回率的调和平均，它同时惩罚“端错菜”和“漏菜”。

好的主厨会按季节换菜单、按客人调咸淡。好的调参工程师也不会照抄默认值，而是用自己的验证集“试菜”——毕竟同一勺盐，在成都和广州的客人尝起来完全不同。

效果评估：品鉴团打分

改了配方后，小李请来熟客品鉴团。品鉴团只问两个问题：端上来的菜是不是我想吃的？我想吃的菜上齐了吗？不过对搜索引擎来说，还有一个更精细的问题：我想要的菜，有没有排在菜单最前面？

sublinear TF 和 max df 的效果，在很多公开语料上有稳定的正向收益。sublinear 把堆词文档的高频权重压下来，长文档不再靠重复刷分；max df 把“通稿词”清出词表后，中频关键词开始主导排序。典型实验里，sublinear_tf=True + max_df=0.8 相比原始 TF-IDF，F1 能提升数个百分点，语料越脏（噪声越多）收益越明显。这正对应思维导图中的“检索准确率提升、召回率改善、鲁棒性增强”。

工业界看排序质量更常用 NDCG——它不只关心文档相关不相关，还关心相关文档是否真的排在了前面。

品鉴团把“招牌松露面”从第 9 名挪到第 2 名时，小李知道这两个变体起作用了——它们没有发明新菜，只是让真正的好菜不再被“水盐系”挤到菜单角落。

应用落地：开向连锁店

小李的“风味名片”法从一家店火到了整个餐饮集团。总部把它写成标准手册：先压重复增量（sublinear TF），再滤烂大街食材（max df），最后按稀有度排序（IDF）。搜索引擎、文本分类、推荐系统都来“抄作业”。

搜索引擎的相关性打分中，查询词与文档的匹配权重就是这个权重公式；更进阶的 BM25 在它基础上又加了词频饱和度和文档长度归一化，可以看作 sublinear 思想的集大成者。文本分类用 sklearn 一行配置就能完成特征工程——TfidfVectorizer(sublinear_tf=True, max_df=0.8)。推荐系统的内容画像则把每篇文档变成权重向量，用来计算物品相似度和召回候选。

生产环境有几个细节要留意：df 统计来自全量语料，新文档上线后要增量更新；max_df 在离线阶段就把词表固定，线上只查表；idf 预计算成数组，打分时 O(1) 读取。最终权重公式把两个变体合在一起：

连锁店的后厨墙上都挂着同一块牌子：“重复不贪多，常见不废话。”sublinear TF 管住贪多，max df 管住废话——这两条后厨铁律，如今也是整个检索家族入门的第一课。

AI 应用场景

Python 演示

import mathfrom collections import Counter # 五道"菜"（文档），已经分好词docs = [    "这家 餐厅 的 松露 意面 很 好吃",    "这家 餐厅 的 烤鸭 很 有名",    "松露 巧克力 配 咖啡 一绝",    "今天 天气 不错 我们 去 公园",    "咖啡 和 松露 都 是 我们 的 最爱",]max_df = 0.7  # 超过 70% 文档出现的词直接剔除 def sublinear(tf):    # 1 + log(tf)：第一勺最咸，后几勺收益递减    return 1 + math.log(tf) if tf > 0 else 0 doc_tfs = []df = Counter()N = len(docs)for doc in docs:    tokens = doc.split()    tf = Counter(tokens)    doc_tfs.append(tf)    for term in tf:        df[term] += 1 # max_df 过滤：数据驱动的停用词表vocab = [t for t in df if df[t] / N <= max_df] def tfidf(tf, df_t):    idf = math.log((N + 1) / (df_t + 1)) + 1  # 平滑 idf，防止除零    return sublinear(tf) * idf print("过滤后词表:", " ".join(sorted(vocab)))print()for i, tf in enumerate(doc_tfs):    vec = {t: round(tfidf(tf[t], df[t]), 3) for t in vocab if t in tf}    print("文档%d 向量: %s" % (i + 1, vec))

1. max_df = 0.7定下过滤阈值：超过 70% 文档出现的词直接剔除，这是数据驱动的“停用词表”。
2. return 1 + math.log(tf) if tf > 0 else 0次线性核心：重复越多，每勺增量越小；tf 为 0 时返回 0 保护。
3. df = Counter()用一个计数器统计每个词出现在多少篇文档里，这是计算 df 的基础。
4. vocab = [t for t in df if df[t] / N <= max_df]按比例过滤出最终词表，“的”因出现在 80% 文档中被剔除，“松露”因只有 60% 被保留。
5. idf = math.log((N + 1) / (df_t + 1)) + 1平滑版 IDF，避免小语料里出现除零和负权重的极端情况。

常见误区

面试题