缩写检测

(自动)缩写的检测也是一般的主要子问题和句子分割和标记化过程的任务,即:从附加到缩写的标点符号中消除句子结尾的歧义.已经应用统计方法(NLP)来成功地检测和提取它们,主要是以(半)监督的方式.例如,实际上已经开发用于句子边界检测的PUNKT系统能够基于这样的假设来检测高精度的缩写,基于这样的假设:一旦识别出缩写,就可以消除确定句子边界中的大量歧义(Kiss)等.无监督的多语言句子边界检测).

现在,在尝试修改PUNKT系统或类似系统之前,我只是试图给出一个方向.基于NLP的abbr.检测.例如,上述系统应用技术来测量令牌对之间的搭配强度,其可以是两个单词,但也可以是单词和一些标点符号,被视为令牌.这一切都基于频率和概率,尽管传统搭配分析的结果确实允许进行语义研究.

谢谢所有帮助我的人，我想我自己找到了答案。我相信它是因为它来自Yahoo!发明缩写扩展算法的人的一份研究论文。而且还显示出人工智能的迹象。再次感谢大家。

对于与我同舟共济的其他人，这是解决方案：

海边的SEO-搜索引擎如何扩展搜索查询中的缩写