AI评测与基准测试篇
工程系统层 · 6 章 251 篇知识点,章内按学习顺序排列。
同方向:AI工程化篇AI硬件与算力篇AI编译器与系统软件篇AI评测与基准测试篇云计算与AI基础设施篇现代软件架构与云原生篇分布式系统与高并发设计篇
LLM评测体系68 篇
GPQA Extended对战样本量需求GPQA DiamondElo评分系统盲测流程准确率计算学科分组分析评测稳定性准确率计算方法SuperCLUE中文评测函数级生成测试用例代码执行安全沙箱代码评测挑战GSM-Hard增强难度学科深度数学评测vs人类表现Elo统计显著性LMSYS评测体系few-shot评测学科覆盖多任务知识理解few-shot/zero-shot评测57学科覆盖MMLU-ProMMLU-Pro增强版Chatbot Arena Elo排名难度分层评估污染检测MMLU-ReduxOpen LLM Leaderboard中文评测基准C-Eval/CMMLUTVM AutoTVM/Ansor:模板自动调优与计算图级别调度、Ansor自动搜索空间生成、MetaSchedule统一调优框架MLIR方言:Linalg/Affine/SCF/LLVM IR多层表示、自定义Dialect定义与Lowering Pass、LLVM生态整合Apache TVM Unity:Relax表示与TensorIR统一、PyTorch 2.0 export+Dynamo整合、Composable Compiler设计自定义算子Codegen:TVM TensorIR手写调度、Triton Block-level GPU编程、CUDA PTX内联汇编与CUTLASS模板IREE:Google MLIR端到端编译器、Vulkan/SPIR-V GPU后端、移动端与边缘设备部署代码生成评测pass@k指标函数级代码生成MBPP基准HumanEval+增强HumanEval+测试用例覆盖小学数学推理多步推理链答案抽取CoT评测数学推理错误分析MATH竞赛数学基准答案抽取与验证多步推理链CoTMATH基准防搜索设计研究生级问答专家级难度专家vs AI对比GPQA MainGPQA Diamond子集难度校准学科深度覆盖人类偏好对战Bradley-Terry模型排行榜分析Chatbot ArenaArena Hard自动评测领域Arena排行多语言代码评测MultiPL-E
多模态模型评测35 篇
GQA图推理OK-VQA外部知识视觉groundingScienceQA多模态MMBench综合评测密集预测benchmarkVideo-MME评测多模态CoTMMMU综合评测视觉问答VQAv2TextVQA OCRVQA准确性度量图像描述COCOVQA评估指标图像分割mIoU指代表达REC目标检测mAP视频字幕图像描述COCO Caption时序定位动作识别Kinetics图像分类ImageNet视频问答VideoQA时序定位Temporal Grounding视频字幕Dense Captioning长视频理解Long Video视频时序推理图表理解ChartQA视频检索文档理解DocVQAMathVista数学视觉空间推理视觉推理CLEVR空间推理Spatial多模态幻觉评测
模型能力维度评估44 篇
ARC推理挑战推理链评估代码修复代码修复Bug FixingLiveCodeBench数学建模代码安全性评测Codeforces竞赛评测定理证明Lean故事生成创意评估方法创意写作评测创意多样性逻辑推理Benchmark常识推理因果推理数学推理BBH BigBench Hard常识推理HellaSwag数学推理GSM8K/MATH因果推理评估Winogrande代码翻译SWE-bench集成多步推理评测代码补全代码生成HumanEval代码补全Copilot评测代码翻译Transpilation多语言代码评测定理证明形式化验证竞赛数学奥数级推理竞赛数学AMC/AIME奥数级推理IMO形式化验证Formal ProofMiniF2F形式化数学数学推理自洽性诗歌创作创意写作创意一致性故事生成评估人工vs自动评估
RAG与Agent评测39 篇
RAG三要素RAG三要素评估真实GitHub PR修复验证浏览器操作网页交互任务浏览器操作评测工具选择参数生成正确性工具错误恢复长horizon任务Agent工具使用评测WebArena vs Mind2WebAPI调用准确率答案相关性上下文召回上下文精确率上下文精确率Context Precision上下文召回Context Recall答案相关性Answer RelevanceRAG对比实验设计软件工程任务RAG噪声鲁棒性RAG端到端评测任务难度分级Agent解决率SWE-bench Lite修复验证Pass/FailSWE-bench Verified多步骤任务代码理解评测成功率指标真实网站环境参数生成多工具编排ToolBench工具选择评测BFCL Berkeley Function Calling工具调用安全性
评测方法论33 篇
人工标注流程自评局限评测一致性评测成本权衡评测设计最佳实践偏差与校准Bias训练-测试重叠动态评测集数据泄露检测训练-测试重叠检测成员推断检测污染影响量化私有评测集构建众包评测指标与人类相关性自动指标BLEU/ROUGE指标相关性众包评测平台混合评测策略裁判模型选择评分Prompt设计偏差与校准自评局限性裁判一致性LLM裁判vs人类位置偏差处理成员推断裁判模型放大效应多裁判集成去重策略去重策略Dedup动态评测集Live Benchmark持续更新评测集
AI安全测试32 篇
安全分级模糊测试Fuzzing罕见组合LLM Fuzzing回归测试报告模板严重度评分安全指标追踪修复优先级越狱攻击对抗样本生成AdvBench提示注入Prompt Injection越狱攻击Jailbreak提示注入HarmBench故障注入边界输入用例生成罕见组合测试覆盖引导测试用例自动生成边界输入Edge Case红队自动化测试框架(Garak/Giskard)安全评估数据集(ToxiGen/RealToxicityPrompts)危害分类风险等级划分对抗性Prompt生成器危害分类Harm Taxonomy严重度评分CVSS安全合规对标安全基线对比
返回 知识体系总目录 查看其他篇章。