- A+
在自然语言处理（NLP）领域，如何自动、快速、可重复地评估模型生成的文本质量，一直是个核心难题。尤其是机器翻译，人工评价虽然准确，但成本高、耗时长，难以在模型开发迭代中实时反馈。于是，BLEU 应运而生。
什么是BLEU？
BLEU（Bilingual Evaluation Understudy，双语评估替补）是2002年由IBM团队提出的一种自动评估指标，最初用于衡量机器翻译结果与人工参考译文之间的相似度。它的名字“替补”非常传神——在无法随时请到人类专家时，BLEU充当了临时的评分员。
简单来说，BLEU做的事情是：把机器翻译的句子和人类专家翻译的句子放在一起，数一数它们共同使用了哪些词语组合（n-gram），组合重叠越多，得分越高。
BLEU的核心原理
BLEU的计算并不复杂，但它巧妙地将“精确率”与“句子长度”结合起来，避免机器钻空子。
1. n-gram 精确率（Precision）
1-gram：单个词是否命中 → 反映译文的忠实度，即关键词有没有翻对。
2-gram、3-gram、4-gram：连续两个词、三个词、四个词的组合是否命中 → 反映译文的流畅度，即词语顺序是否自然。
最终得分会综合1-gram到4-gram的精确率，通常取它们的几何平均值（加权平均）。
2. 短句惩罚（Brevity Penalty, BP）
如果机器只翻译了参考译文中很短的一部分，即使每个词都正确，精确率也可能很高。例如参考译文是“I love you very much”，机器只输出“I love you”，虽然每个1-gram、2-gram都正确，但显然信息不完整。短句惩罚会对比参考译文短的输出进行惩罚，防止模型“偷懒”。
3. BLEU分数范围
0 ~ 1（或乘以100变成0~100分）。
0.2~0.3：勉强能读懂大意，但语法错误较多。
0.4~0.5：高质量的翻译，接近人工水平。
0.6以上：极其罕见，通常需要译文与参考译文高度一致。
BLEU的最大弱点：形式重于语义
BLEU之所以长期被诟病，是因为它只看词汇表面的重合，完全不理解意思。
一个经典的反例：
机器翻译：He killed her.
参考译文：She killed him.
BLEU分数：很高（因为“He”和“She”、“killed”、“her”和“him”都是常见词，且1-gram、2-gram重合度不低）。
但这两句话的意思完全相反！BLEU对此完全无感。此外，使用不同表达方式的同义句（例如“The cat sat on the mat”与“The cat is on the rug”）也会因词汇差异而得低分，尽管语义完全相同。
因此，BLEU分数高并不绝对代表翻译质量好，更多时候它反映的是译文风格与参考译文的接近程度。
主要应用场景
虽然BLEU诞生于机器翻译，但它凭借“快速、低成本、无语言壁垒”的优势，迅速扩展到其他自然语言生成任务：
机器翻译：依然是学术论文和工业界最主流的自动评价指标。
图像描述生成（Image Captioning）：模型生成的图片描述与人工标注的描述进行BLEU对比。
文本摘要（Text Summarization）：衡量生成的摘要与参考摘要的相似度。
对话生成、语法纠错等任务中也有广泛应用。
当然，现代NLP研究通常会同时报告BLEU、ROUGE（用于摘要）、METEOR、CIDEr等多种指标，互相补充，减少单一指标的偏差。
总结
BLEU是一个“经验主义”的胜利——它用最朴素的字符串匹配，解决了当时机器翻译评估的燃眉之急。20多年过去，虽然出现了基于BERT等预训练模型的语义相似度指标（如BERTScore），但BLEU依然凭借计算简单、可解释性强、与人工评价相关性尚可等优点，稳居NLP评估工具箱的C位。
下次你看到一篇机器翻译论文中写着“BLEU=45.3”，你就知道：这个模型的输出，在n-gram层面已经非常接近人类专家的翻译了——但小心，别忘了检查它有没有把“杀人犯”译成“受害者”哦。
