Evaluation metrics for generation based models in NLP
BLEU
转自： http://www.cnblogs.com/by-dream/p/7679284.html
n-gram
BLEU 采用一种N-gram的匹配规则，原理比较简单，就是比较译文和参考译文之间n组词的相似的一个占比。
例如：
原文：今天天气不错
机器译文：It is a nice day today
人工译文：Today is a nice day
如果用1-gram匹配的话：
可以看到机器译文一共6个词，有5个词语都命中的了参考译文，那么它1-gram的匹配度为 5/6
我们再以3-gram举例：
可以看到机器译文一共可以分为四个3-gram的词组，其中有两个可以命中参考译文，那么它3-gram的匹配度为 2/4
依次类推，我们可以很容易实现一个程序来遍历计算N-gram的一个匹配度。一般来说1-gram的结果代表了文中有多少个词被单独翻译出来了，因此它反映的是这篇译文的忠实度；而当我们计算2-gram以上时，更多时候结果反映的是译文的流畅度，值越高文章的可读性就越好。
召回率修正
面所说的方法比较好理解，也比较好实现，但是没有考虑到召回率，举一个非常简单的例子说明：
原文：猫站在地上
机器译文：the the the the
人工译文：The cat is standing on the ground
在计算1-gram的时候，the 都出现在译文中，因此匹配度为4/4 ，但是很明显 the 在人工译文中最多出现的次数只有2次，因此BLEU算法修正了这个值的算法，首先会计算该n-gram在译文中可能出现的最大次数：
$$Count_{clip}=min(Count, Max_ref_count)$$
Count是N-gram在机器翻译译文中的出现次数，$Max_Ref_Count$是该N-gram在一个参考译文中最大的出现次数，最终统计结果取两者中的较小值。然后在把这个匹配结果除以机器翻译译文的N-gram个数。因此对于上面的例子来说，修正后的1-gram的统计结果就是2/4。
我们将整个要处理的将机器翻译的句子表示为$C_{i}$，标准答案表示为 $S_{i}=s_{i1},…,s_{im}$（m表示有m个参考答案）
n-grams表示n个单词长度的词组集合，令$W_{k}$第k个n-gram
比如这样的一句话，”I come from china”，第1个2-gram为：I come; 第2个2-gram为：come from; 第3个2-gram为：from china;
$H_{k}(C_{i})$ 表示$W_{k}$翻译选译文$C_{i}$中出现的次数
$H_{k}(S_{ij})$ 表示$W_{k}$在标准答案$S_{ij}$中出现的次数
所以各阶n-gram的精度可以用下面的公式计算：
$$P_{n} = frac{sum_{i}sum_{k}min(H_{k}(C_{i}, max_{jin m}H_{k}(S_{ij})))}{sum_{i}sum_{k}min(H_{k}(C_{i}))}$$
惩罚因子
上面的算法已经足够可以有效的翻译评估了，然而N-gram的匹配度可能会随着句子长度的变短而变好，因此会存在这样一个问题：一个翻译引擎只翻译出了句子中部分句子且翻译的比较准确，那么它的匹配度依然会很高。为了避免这种评分的偏向性，BLEU在最后的评分结果中引入了长度惩罚因子(Brevity Penalty)。
$l_{c}$代表表示机器翻译译文的长度，$l_{s}$表示参考答案的有效长度，当存在多个参考译文时，选取和翻译译文最接近的长度。当翻译译文长度大于参考译文的长度时，惩罚系数为1，意味着不惩罚，只有机器翻译译文长度小于参考答案才会计算惩罚因子。
BLEU
由于各N-gram统计量的精度随着阶数的升高而呈指数形式递减，所以为了平衡各阶统计量的作用，对其采用几何平均形式求平均值然后加权，再乘以长度惩罚因子，得到最后的评价公式：
$$BLEU = BP× exp(sum_{n=1}^{N}W_{n}logP_{n})$$
其中，$W_{n}=1/n$，N的取值最大为4。
ROUGE
Rouge(Recall-Oriented Understudy for Gisting Evaluation) 一种基于召回率的相似性度量方法。
ROUGE-N
$$ROUGE-N = frac{sum_{Sin{ReferencesSummaries}sum_{gram_{n}in S}Count_{match}(gram_{n})}}{sum_{Sin{ReferencesSummaries}sum_{gram_{n}in S}Count(gram_{n})}}$$
n代表n元组，$Count_{match}(gram_{n})$是待评测句子中出现的最大匹配的n-grams的个数，从分子中可以看出ROUGE-N是一个基于召回率的指标
ROUGE-L
L即是LCS(longest common subsequence，最长公共子序列)的首字母，因为Rouge-L使用了最长公共子序列。
$$R_{cls} = frac{LCS(X,Y)}{m}$$
$$P_{cls}=frac{LCS(X,Y)}{n}$$
$$F_{cls}=frac{(1+beta^{2}R_{cls}P_{cls})}{R_{cls}+beta^{2}P_{cls}}$$
其中$LCS(X, Y)$是X和Y的最长公共子序列的长度，m，n分别表示参考摘要和自动摘要的长度$R_{cls}$和$P_{cls}$分别表示召回率和率，$精确F_{cls}$就是我们的ROUGE-L
| ROUGE-N | 基于n-gram共现性统计 |
|---|---|
| ROUGE-L | 基于最长共有子序列共现性精确度和召回率Fmeasure统计 |
| ROUGE-W | 带权重的最长共有子序列共现性精确度和召回率Fmeasure统计 |
| ROUGE-S | 不连续二元组共现性精确度和召回率Fmeasure统计 |