概率语言模型的分词方法(下)

3/3/2017来源:C/C++教程人气:1997

评价语言模型的好坏–困惑度(perplexity) 这里写图片描述 x为整个测试集中句子的概率和除以W,所以困惑度越小,语言模型越好。