最大正向匹配算法

发布时间: 2022-09-11 10:25:27

㈠ java中文分词组件word怎么使用

参考如下
1、快速体验
运行项目根目录下的脚本demo-word.bat可以快速体验分词效果
用法: command [text] [input] [output]
命令command的可选值为：demo、text、file
demo
text 杨尚川是APDPlat应用级产品开发平台的作者
file d:/text.txt d:/word.txt
exit

2、对文本进行分词
移除停用词：List<Word> words = WordSegmenter.seg("杨尚川是APDPlat应用级产品开发平台的作者");
保留停用词：List<Word> words = WordSegmenter.segWithStopWords("杨尚川是APDPlat应用级产品开发平台的作者");
System.out.println(words);

输出：
移除停用词：[杨尚川, apdplat, 应用级, 产品, 开发平台, 作者]
保留停用词：[杨尚川, 是, apdplat, 应用级, 产品, 开发平台, 的, 作者]

3、对文件进行分词
String input = "d:/text.txt";
String output = "d:/word.txt";
移除停用词：WordSegmenter.seg(new File(input), new File(output));
保留停用词：WordSegmenter.segWithStopWords(new File(input), new File(output));

4、自定义配置文件
默认配置文件为类路径下的word.conf，打包在word-x.x.jar中
自定义配置文件为类路径下的word.local.conf，需要用户自己提供
如果自定义配置和默认配置相同，自定义配置会覆盖默认配置
配置文件编码为UTF-8

5、自定义用户词库
自定义用户词库为一个或多个文件夹或文件，可以使用绝对路径或相对路径
用户词库由多个词典文件组成，文件编码为UTF-8
词典文件的格式为文本文件，一行代表一个词
可以通过系统属性或配置文件的方式来指定路径，多个路径之间用逗号分隔开
类路径下的词典文件，需要在相对路径前加入前缀classpath:

指定方式有三种：
指定方式一，编程指定（高优先级）：
WordConfTools.set("dic.path", "classpath:dic.txt，d:/custom_dic");
DictionaryFactory.reload();//更改词典路径之后，重新加载词典
指定方式二，Java虚拟机启动参数（中优先级）：
java -Ddic.path=classpath:dic.txt，d:/custom_dic
指定方式三，配置文件指定（低优先级）：
使用类路径下的文件word.local.conf来指定配置信息
dic.path=classpath:dic.txt，d:/custom_dic

如未指定，则默认使用类路径下的dic.txt词典文件

6、自定义停用词词库
使用方式和自定义用户词库类似，配置项为：
stopwords.path=classpath:stopwords.txt，d:/custom_stopwords_dic

7、自动检测词库变化
可以自动检测自定义用户词库和自定义停用词词库的变化
包含类路径下的文件和文件夹、非类路径下的绝对路径和相对路径
如：
classpath:dic.txt，classpath:custom_dic_dir,
d:/dic_more.txt，d:/DIC_DIR，D:/DIC2_DIR，my_dic_dir，my_dic_file.txt

classpath:stopwords.txt，classpath:custom_stopwords_dic_dir，
d:/stopwords_more.txt，d:/STOPWORDS_DIR，d:/STOPWORDS2_DIR，stopwords_dir，remove.txt

8、显式指定分词算法
对文本进行分词时，可显式指定特定的分词算法，如：
WordSegmenter.seg("APDPlat应用级产品开发平台", SegmentationAlgorithm.BidirectionalMaximumMatching);

SegmentationAlgorithm的可选类型为：
正向最大匹配算法：MaximumMatching
逆向最大匹配算法：ReverseMaximumMatching
正向最小匹配算法：MinimumMatching
逆向最小匹配算法：ReverseMinimumMatching
双向最大匹配算法：BidirectionalMaximumMatching
双向最小匹配算法：BidirectionalMinimumMatching
双向最大最小匹配算法：
全切分算法：FullSegmentation
最少分词算法：MinimalWordCount
最大Ngram分值算法：MaxNgramScore

9、分词效果评估
运行项目根目录下的脚本evaluation.bat可以对分词效果进行评估
评估采用的测试文本有253 3709行，共2837 4490个字符
评估结果位于target/evaluation目录下：
corpus-text.txt为分好词的人工标注文本，词之间以空格分隔
test-text.txt为测试文本，是把corpus-text.txt以标点符号分隔为多行的结果
standard-text.txt为测试文本对应的人工标注文本，作为分词是否正确的标准
result-text-***.txt，***为各种分词算法名称，这是word分词结果
perfect-result-***.txt，***为各种分词算法名称，这是分词结果和人工标注标准完全一致的文本
wrong-result-***.txt，***为各种分词算法名称，这是分词结果和人工标注标准不一致的文本

㈡ seo问题，什么叫正向匹配什么叫逆向匹配举例说明

下面牛到家SEO介绍的分词算法中最简单的正向最大匹配和反向最大匹配。

这种两种方法都是机械分词方法，它是按照一定的策略将待分析的汉字串与一个”充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。
按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下：
1）正向最大匹配法（由左到右的方向）；
2）逆向最大匹配法（由右到左的方向）；
3）最少切分（使每一句中切出的词数最小）。
还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。
一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率。另一种方法是将分词和词类标注结合起来，利用丰富的词
类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率
定义比较抽象，举个例子来说明正向最大匹配和反向最大匹配。
例子:’今天来了许多新同事’
1.正向最大匹配方式，最大长度为5
今天来了许
今天来了
今天来
今天 ====》得到一个词–今天
来了许多新
来了许多
来了许
来了
来 ====》得到一个词–来
了许多新同
了许多新
了许多
了许
了 ====》得到一个词–了
许多新同事
许多新同
许多新
许多 ====》得到一个词– 许多
新同事
新同
新 ====》得到一个词– 新
同事 ====》得到一个词– 同事
最后正向最大匹配的结果是：
/今天/来/了/许多/新/同事/
2.反向最大匹配方式，最大长度为5
许多新同事
多新同事
新同事
同事 ====》得到一个词– 同事
来了许多新
了许多新
许多新
多新
新 ====》得到一个词– 新
天来了许多
来了许多
了许多
许多 ====》得到一个词– 许多
今天来了
天来了
来了
了 ====》得到一个词– 了
今天来
天来
来 ====》得到一个词– 来
今天 ====》得到一个词– 今天
最后反向最大匹配的结果是：
/今天/来/了/许多/新/同事/
正向最大匹配和反向最大匹配的结果并不一定相同
例子:’我一个人吃饭’
1.正向最大匹配方式，最大长度为5
我一个人吃
我一个人
我一个
我一
我 ====》得到一个词– 我
一个人吃饭
一个人吃
一个人
一个 ====》得到一个词– 一个
人吃饭
人吃
人 ====》得到一个词– 人
吃饭 ====》得到一个词– 吃饭
最后正向最大匹配的结果是：
/我/一个/人/吃饭/
2.反向最大匹配方式，最大长度为5
一个人吃饭
个人吃饭
人吃饭
吃饭 ====》得到一个词– 吃饭
我一个人
一个人
个人 ====》得到一个词– 个人
我一
一 ====》得到一个词– 一
我 ====》得到一个词– 我
最后反向最大匹配的结果是：
/我/一/个人/吃饭/
这次两种方式的结果就不一致了。更多SEO知识请网络搜牛到家SEO

㈢什么是百度分词百度分词技术又是什么

首先查询专用词典(人名,部分地名等)，将专有名称切出，剩下的部分采取双向匹配分词策略。

如果两者切分结果相同，说明没有歧义，直接输出分词结果

如果不一致，则输出最短路径的那个结果

如果长度相同。则选择单字词少的那一组切分结果。如果单字也相同，则选择正向分词结果。

如果说网络有优势的话，唯一的优势就是那个很大的专用词典。

这个专用词典登录了人名(比如大长今)。称谓(比如老太太)。部分地名(比如阿联酋等)。

从语料库里面不断识别出词典未登录词。逐渐扩充这个专门词典。Spelling Checker（网络词典）拼写检查错误提示(以及拼音提示功能)，拼写检查错误提示是搜索引擎都具备的一个功能。也就是说用户提交查询给搜索引擎，搜索引擎检查看是否用户输入的拼写有错误。

对于中文用户来说一般造成的错误是输入法造成的错误。

那么我们就来分析看看网络是怎么实现这一功能的。

我们分析拼写检查系统关注以下几个问题:

(1)系统如何判断用户的输入是有可能发生错误的查询?

那么网络有又是如何做到这些的？网络判断用户输入是否错误的标准，

我觉得应该是查字典，如果发现字典里面不包含这个词汇，那么很有可能是个错误的输入。此时启动错误提示功能，这个很好判断，

因为如果是一个正常词汇的话，网络一般不会有错误提示。而你故意输入一个词典不可能包含的所谓词汇

此时网络一般会提示你正确的检索词汇。

网络又是怎么提示正确词汇的呢？

很明显是通过拼音的方式，在网络输入查询“紫材”。

网络提供的提示词汇为: “紫菜”，

是同音字。所以网络必然维持着一个同音词词典。里面保留着同音词信息

比如可能包含着下面这条词条: “ zi cai 紫材”，

另外还有一个标注拼音程序，

现在能够看到的基本流程是：用户输入“紫材”，查词典。发现没有这个词汇，启动标注拼音程序。将“紫材”标注为拼音“ cai”。然后查找同音词词典，发现同音词“紫菜”，那么提示用户可能的正确拼写。

但是还有一些遗留的小问题。比如是否将词表里面所有同音词都作为用户的提示信息？

比如某个拼音有10个同音词，是否都输出呢？

大家觉得网络会都输出吗？网络并没有将所有同音词都输出，而是选择一定筛选标准。选择其中几个输出，怎么证明这一点？

我们看看拼音“liu li”的同音词。搜狗拼音输入法提示同音词汇有“六里刘历琉璃流利刘丽”等N个。

这里是故意输入一个词典不包含的词汇，这样网络的拼写检查才开始工作。网络提示您要找的是不是: “流氓”。我们改换输入“遛邙”。

看网络的查询呈现，

就没有提示您要找的是不是“流氓”了。看看我两次输入的字有什么区别，这说明什么？

说明不是所有同音词都给提示，而是选择性的做呈现提示。那么选择的标准是什么？

大家再回头看看，第一次和第二次输入的“遛氓与遛邙”是有绝对的区别的。

第一次输入的“遛氓”的“氓”字是流氓的氓字，所以网络做了提示您要找的是不是“流氓”了。

去网络，就是有一点对的，一个字是对的，网络也会给你个流氓

另外一个小问题:同音词词典是否包含一字词? 包含2字词，3字词,那么是否包含4字词以及更长的词条?

这里一字词好回答,不用测试也能知道肯定不包含，因为你输入一个字，谁知道是否是错误的呢？

反正只要是汉字就能在词表里面找到，所以没有判断依据。

二字词是包含的，上面有例子

三字词也包含吗？

下面我们查询 “中城药”网络错误提示:“中成药”

修改查询为“重城药”。

那么我们看看4字词汇网络怎么处理？网络是不是还是会给我们提示呢，

输入:静华烟云

输入静话烟云

输入京花阎晕

那么更长的词汇网络是否也提示？

我们现在输入: “落花世界有风军”，这个查询是什么意思，估计读过古诗的都知道。看看网络的提示

这说明什么？

说明同音词词典包含不同长度的同音词信息。

另外也说明了网络的核心中文处理技术，也就是那个词典还真挺大的。

还有一个比较重要的问题。如果汉字是多音字那么怎么处理？网络比较偷懒。它根本就没有对多音字做处理。

我们来看看网络的一个标注拼音的错误。在看这个错误前先看看对于多音字网络是怎么提示错误的。

网络提示“局长”！！“俱长”的拼音有几种拼法，大家说说？两种“ju zhang / ju chang”

可见如果是多音字则几种情况都提示。

现在我们来看看错误的情况,我们输入查询“距长”，看看结果

网络提示为“局长”当然好解释，因为是同音字。

但是为什么会被提示“局长”呢？这说明网络的同音字词典有错误，

说明在“ju chang”这个词条里面包含“局长”这个错误的同音词。

让我们顺藤摸瓜。这个错误又说明什么问题呢？

说明网络的同音词典是自动生成的。而且没有人工校对。还说明在自动生成同音词典的过程中，网络不是根据对一篇文章标注拼音然后，在抽取词汇和对应的拼音信息获得的。而是完全按照某个词典的词条来标注音节的，以对于多音字造成的错误无法识别出来，

如果是对篇章进行拼音标注，可能就不会出现这种很容易发现的错误标注。当然还有另外一种解释，就是“局长”是故意被网络提示出来可能的正确提示词汇。

因为考虑到南方人“zh”和 “ch”等前后鼻音分不清么。

我们继续测试到底是何种情况

是网络有错误还是这是网络的先进的算法?

我们输入查询“悬赏”，故意将之错误输入为“悬桑”。

没有错误提示。说明确实没有考虑这种情况，鼻音没有考虑。

根据以上推导, 我们可以得出如下结论：

网络是将分词词典里面每个词条利用拼音标注程序标注成拼音，然后形成同音词词典。

所以两个词典是同样大的而且这个词典也随着分词词典的增长而在不断增长。

至于标注过程中多音字网络没有考虑，如果是多音字就标注成多个发音组合，

通过这种方式形成同音词词典。这样的同音词词典显然包含着很多错误。

最后一个问题：网络对于英文进行拼写检查么？让我们试试看，输入查询“china”，

大家告诉我，什么情况

专注中文搜索的网络还能搜索到英文

真是意外的惊喜。变换一下查询“chini”。

那么拼音搜索和中文检查错误是否采用同一套同音词词典呢,让我们来实验一下,搜索”rongji”，

最后让我们总结归纳一下网络的拼写检查系统:

就是网络的后台作业:

(1)前面我们说过,网络分词使用的词典至少包含两个词典一个是普通词典,另外一个是专用词典(专名等),

最后让我们总结归纳一下网络的拼写检查系统:

网络利用拼音标注程序依次扫描所有词典中的每个词条,

然后标注拼音,如果是多音字则把多个音都标上,比如”长大”,会被标注为”zhang da/chang da”两个词条.

(2)通过标注完的词条,建立同音词词典,比如上面的”长大”,会有两个词条: zhang daà长大chang daà长大。

(3)利用用户查询LOG频率信息给予每个中文词条一个权重;LOG大家知道是什么吗？函数

(4)同音词词典建立完成了,当然随着分词词典的逐步扩大,同音词词典也跟着同步扩大;

拼写检查:

(1)用户输入查询,如果是多个子字符串,不作拼写检查;

(2)对于用户查询，先查分词词典，如果发现有这个单词词条，不作拼写检查;

(3)如果发现词典里面不包含用户查询，启动拼写检查系统：

首先利用拼音标注程序对用户输入进行拼音标注

(4)对于标注好的拼音在同音词词典里面扫描，

如果没有发现则不作任何提示；

(5)如果发现有词条，则按照顺序输出权重比较大的几个提示结果；

拼音提示:

(1)对于用户输入的拼音在同音词词典里面扫描,如果没有发现则不作任何提示;

(2)如果发现有词条，则按照顺序输出权重比较大的几个提示结果。

对网络分词算法的进一步分析，上面说过，经过分析得出网络的分词系统采用双向最大匹配分词，

但是后来发现推理过程中存在一个漏洞，而且推导出来的网络分词算法步骤还是过于繁琐。所以进一步进行分析，看看是否前面的推导有错误。

那么以前的分析有什么漏洞呢？

我们推导网络分词有反向最大匹配的依据是网络将“北京华烟云”分词为“北/京华烟云”，从这里看好像采用了反向最大匹配。因为正向最大匹配的结果应该是“北京/华/烟云”，但是由此就推论说网络采用了双向最大匹配还是太仓促了。

前面我们也讲过，网络有两个词典，一个普通词典，一个专有词典。

而且是专有词典的词汇先切分，然后将剩余片断交给普通词典去切分。

以上面的“北京华烟云”之所以被切分成“北/京华烟云”，

另外一个可能是“京华烟云”这个词汇是在专有词典里面存储的。

所以先分析，这样得出“京华烟云”剩下“北”，没什么好切分的，所以就呈现出来了。

这里只是假设，那么是否确实“京华烟云”在专有词典呢？

我们再看一个例子“山东北京华烟云”，

如果“京华烟云”在普通词典，如果是反向切分，那么结果应该是，如果是正向切分应该是，无论如何都分不出。这说明什么？说明“京华烟云”是在那个专有词典

所以先切分出“京华烟云”，然后剩下的“山东北”交由普通词典切分，明显是正向最大匹配的结果呈现。

当然按照我们在前面讲的算法推导“山东北”的切分也会得出的结论。

但是明显比正向最大匹配多几个判断步骤，既然效果一样，另外一个更加简洁的方法也能说得通，那当然选择简便的方法了。所以初步判断网络采取的是正向最大匹配。

我们继续测试采用何种分词算法，

为了减少专有词典首先分词造成的影响，那么查询里面不能出现相对特殊的词汇

我们查询“天才能量级”，看看

这里应该没有专有词典出现过的词汇，网络切分为天才 /能量/ 级

看来是正向最大匹配的结果。

另外，如果所有查询词汇都出现在专有词典，那么采取的是何种方法？

这样首先就得保证词汇都出现在专有词典，这么保证这一点呢?我们构造查询“山东京城”，网络切分为“山东/京城”，说明“东京”是在普通词典的。构造查询“陈晓东京华烟云”，

通过前面分析可以看出两个词汇都在专有词典里面，网络切分为陈晓东 /京华烟云，

说明对于专有词典词汇也是采取正向最大匹配或者双向最大匹配。

那么使用反向最大匹配了吗？构造查询例子“陈晓东方不败”。

首先我们肯定“陈晓东”和“东方不败”都是在专有词典出现的，

如果是正向切分陈晓东 /方/ 不败

那么应该是或者如果是反向切分则是陈晓/东方不败

可以看出网络的切分是或者，说明采用的是正向最大匹配。

通过分析，网络的词典不包含“不败”这个单词。所以实际上网络的切分很明显这和我们以前推导的算法是有矛盾的，所以以前的分析算法确实有问题，所以结论是网络采取的是正向最大匹配算法

重新归纳一下网络的分词系统:首先用专有词典采用最大正向匹配分词,切分出部分结果，剩余没有切分交给普通词典，同样采取正向最大匹配分词，最后输出结果。

另外,GOOGLE也是采用正向最大匹配分词算法，

不过好像没有那个专用词典，所以很多专名都被切碎了

㈣什么叫正向最大匹配算法,反向最大匹配算法

分词算法里的吧

比如我是一个好人

由于词语很多，所以分词中先设定一个可能的，最长的词组的词数
比如说，我认定最长的词组是3个字，那在比对中，会将句子3个字为始进行比对
正向匹配算法好象是从左到右反向区域算法是从右到左，具体忘记了

以 “我是一个好人” 为例

正向的顺序为
我是一
我是
我 ===> 得到一个词
是一个
是一
是 ===>得到一个词
一个好
一个===> 得到一个词
好人===>得到一个词
结果我、是、一个、好人

反向算法
个好人
好人==> 好人
是一个
一个==> 一个
我是
是==> 是
我==> 我
结果我、是、一个、好人

㈤切词技术是什么

二、中文分词技术的分类

我们讨论的分词算法可分为三大类：基于字典、词库匹配的分词方法;基于词频度统计的分词方法和基于知识理解的分词方法。

第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词，如：最大匹配法、最小分词方法等。这类方法简单、分词效率较高,但汉语语言现象复杂丰富，词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。第二类基于统计的分词方法则基于字和词的统计信息，如把相邻字间的信息、词频及相应的共现信息等应用于分词，由于这些信息是通过调查真实语料而取得的，因而基于统计的分词方法具有较好的实用性。

下面简要介绍几种常用方法:

1)逐词遍历法

逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。这种方法效率比较低，大一点的系统一般都不使用。

2)基于字典、词库匹配的分词方法(机械分词法)

这种方法按照一定策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。识别出一个词，根据扫描方向的不同分为正向匹配和逆向匹配。根据不同长度优先匹配的情况，分为最大(最长)匹配和最小(最短)匹配。根据与词性标注过程是否相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的方法如下：

(一)最大正向匹配法 (Maximum Matching Method)通常简称为MM法。

其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理…… 如此进行下去，直到匹配成功，即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。

其算法描述如下：

初始化当前位置计数器，置为0;

从当前计数器开始，取前2i个字符作为匹配字段，直到文档结束;

如果匹配字段长度不为0，则查找词典中与之等长的作匹配处理。

如果匹配成功，则，

a)把这个匹配字段作为一个词切分出来，放入分词统计表中

b)把当前位置计数器的值加上匹配字段的长度

c)跳转到步骤2)

否则

a) 如果匹配字段的最后一个字符为汉字字符

则①把匹配字段的最后一个字去掉;

②匹配字段长度减2;

否则①把匹配字段的最后一个字节去掉;

②匹配字段长度减1;

b)跳转至步骤3)

否则a)如果匹配字段的最后一个字符为汉字字符，

则当前位置计数器的值加2;

否则当前位置计数器的值加1;

b)跳转到步骤2)

(二)逆向最大匹配法 (Reverse Maximum Matcing Method)通常简称为RMM法。RMM法的基本原理与MM法相同 ,不同的是分词切分的方向与MM法相反，而且使用的分词辞典也不同。逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的2i个字符(i字字串)作为匹配字段，若匹配失败，则去掉匹配字段最前面的一个字，继续匹配。相应地，它使用的分词词典是逆序词典，其中的每个词条都将按逆序方式存放。在实际处理时，先将文档进行倒排处理，生成逆序文档。然后，根据逆序词典，对逆序文档用正向最大匹配法处理即可。

由于汉语中偏正结构较多，若从后向前匹配，可以适当提高精确度。所以，逆向最大匹配法比正向最大匹配法的误差要小。统计结果表明 ,单纯使用正向最大匹配的错误率为 1/16 9,单纯使用逆向最大匹配的错误率为 1/245。例如切分字段“硕士研究生产”，正向最大匹配法的结果会是“硕士研究生 / 产”，而逆向最大匹配法利用逆向扫描，可得到正确的分词结果“硕士 / 研究 / 生产”。

当然，最大匹配算法是一种基于分词词典的机械分词法，不能根据文档上下文的语义特征来切分词语，对词典的依赖性较大，所以在实际使用时，难免会造成一些分词错误，为了提高系统分词的准确度，可以采用正向最大匹配法和逆向最大匹配法相结合的分词方案(即双向匹配法，见(四)。)

(三)最少切分法：使每一句中切出的词数最小。

(四)双向匹配法：将正向最大匹配法与逆向最大匹配法组合。先根据标点对文档进行粗切分，把文档分解成若干个句子，然后再对这些句子用正向最大匹配法和逆向最大匹配法进行扫描切分。如果两种分词方法得到的匹配结果相同，则认为分词正确，否则，按最小集处理。

3).全切分和基于词的频度统计的分词方法

基于词的频度统计的分词方法是一种全切分方法。在讨论这个方法之前我们先要明白有关全切分的相关内容。

全切分

全切分要求获得输入序列的所有可接受的切分形式，而部分切分只取得一种或几种可接受的切分形式，由于部分切分忽略了可能的其他切分形式，所以建立在部分切分基础上的分词方法不管采取何种歧义纠正策略，都可能会遗漏正确的切分，造成分词错误或失败。而建立在全切分基础上的分词方法，由于全切分取得了所有可能的切分形式，因而从根本上避免了可能切分形式的遗漏，克服了部分切分方法的缺陷。

全切分算法能取得所有可能的切分形式，它的句子覆盖率和分词覆盖率均为100%，但全切分分词并没有在文本处理中广泛地采用，原因有以下几点：

1)全切分算法只是能获得正确分词的前提，因为全切分不具有歧义检测功能，最终分词结果的正确性和完全性依赖于独立的歧义处理方法，如果评测有误，也会造成错误的结果。

2)全切分的切分结果个数随句子长度的增长呈指数增长，一方面将导致庞大的无用数据充斥于存储数据库;另一方面当句长达到一定长度后，由于切分形式过多,造成分词效率严重下降。

基于词的频度统计的分词方法：

这是一种全切分方法。它不依靠词典,而是将文章中任意两个字同时出现的频率进行统计,次数越高的就可能是一个词。它首先切分出与词表匹配的所有可能的词,运用统计语言模型和决策算法决定最优的切分结果。它的优点在于可以发现所有的切分歧义并且容易将新词提取出来。

㈥ java中文分词组件word怎么使用

㈦中文分词中正向最大匹配算法的分词速度是多少准确率大概为多少

主要看你的词表结构了，最大词长的初始值，查词典的次数和匹配的次数，然后得出时间复杂度，原始hash算法复杂度没记错的话应该是2.89，11年看过一个文献，提出一种改进的算法时间复杂度是2.291……

另外，分词算法并不是原封不动的，比如有些搜索引擎的词表结构就采用tire树结构，这样不用设置最大词长，不过内存空间方面就要有取舍，甚至还有采用减少查典次数增加匹配次数的搜索引擎……
所以单纯的给你一个189.3m/M纯内存分词速度，但是这算法换个台更高配置的服务器却变成了497.6ms/M，这没有任何意义……
记得哪个文献上有人说，分词本身不是目的，而是后续处理过程的必要阶段，所以，除非你是研究算法的，否则单纯追求这东西的速度和准确率没什么太大意义

㈧ matlab用正向最大匹配算法实现中文分词！急！！！

sqlConnection con = new SqlConnection
con.Open();
string sqlstr = "sql语句";
SqlDataAdapter da = new SqlDataAdapter(sqlstr, con);
DataSet ds= new DataSet();
da.Fill(ds);
dataGridView1.DataSource = ds.Tables[0];
con.Close();

㈨加分求搜索引擎的工作机制

搜索引擎是一种依靠技术取胜的产品，搜索引擎的各个组成部分，包括页面搜集器、索引器、检索器等，都是搜索引擎产品提供商进行比拼的着力点。

近几年，搜索引擎的商业化取得了巨大的成功，如着名搜索引擎公司Google、Yahoo（本文中提到Yahoo时，特指英文Yahoo）、网络等纷纷成功上市，引发了众多公司涉足于该领域，带动了人力、资本的大量投入，连软件巨人Microsoft公司也禁不住诱惑积极打造自己的搜索引擎。但是，从性能上来说，目前的搜索引擎还不尽如人意，搜索返回的结果往往与用户的检索要求相去甚远，有效性还不是很高。本文将对搜索引擎的工作原理及其实现技术进行分析，从中可以了解限制搜索引擎用户体验改善的因素到底有哪些。

——————————————————————————

[相关链接]

搜索引擎的技术流派

搜索引擎的技术流派可以分为三类：第一类是利用计算机程序自动进行信息处理的自动化派，其典型代表是Google以及Ghunt等；第二类是以人工进行信息分类处理为主的人力加工派，这方面的典型代表是早期的Yahoo，正在兴起的Web2.0、网摘等社区化搜索是这一流派的新发展；第三类是强调智能化人机交互、协同的融合派，目前英文Yahoo的搜索引擎在发展这方面的技术，MSNLive也显示出其更加重视融合性的技术，联索IFACE专业搜索融入了用户知识和机器学习方法，可以看做是融合派在中文搜索引擎方面的典型代表。

如果按照网页库的容量、相关度计算技术、用户搜索体验以及商业模式等方面来划分，到目前为止，搜索引擎的发展大约经历了两代。第一代搜索引擎(1994年～1997年)的索引网页量一般都在数百万量级左右，采用全文检索技术和分布式并行运算技术，但极少重新搜集网页并去刷新索引，而且其检索速度较慢，一般都要等待10秒甚至更长的时间，同时承受的检索请求也受到很大限制，商业模式处于探索期并且尚未成型。

第二代搜索引擎(1998年至今)大多采用分布式协同处理方案，其网页索引库一般都在数千万个网页量级甚至更多，采用可伸缩的索引库架构，每天能够响应数千万次甚至数以亿计的用户检索请求。1997年11月，当时最先进的几个搜索引擎宣称能建立1亿数量级的网页索引。以Google为代表的第二代搜索引擎通过链接分析和点击分析（网页流行度）方法来计算（网页权威性）相关度取得了巨大的成功。另外，以自然语言进行问题解答的搜索引擎在某种程度上改善了用户体验，更重要的是第二代搜索引擎奠定了目前搜索引擎普遍采用的成熟商业模式，如Google、Overture、网络等收费搜索服务均受益于此商业模式。

最大正向匹配算法

与最大正向匹配算法相关的资讯