分词

名词解释

NLP(Natural Language Processing)是人工智能领域中的一个重要方向,主要研究人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析(还包括词性标注和命名实体识别)中最基本的任务,也是众多 NLP 算法中必不可少的第一步,其切分准确与否往往与整体结果息息相关。

LeanCloud 解读

分词是自然语言处理 – NLP 中的重要一步。分词就是将句子、段落、文章这种长文本,分解为以字词为单位的数据结构,方便后续的处理分析工作。

分词示例图

参考内容:

HanLP

统计自然语言处理(第2版)

自然语言处理(NLP)的基础难点:分词算法

评论

正在加载评论