语义映射算法

⑴ 二元语义评价法怎么用

一、序言
二元语义层次分析法是指运用二元语义判断矩阵与层次分析法相结合，对知识管理能力测度总体上使用层次分析法的框架结构，但在具体测度时主要采用二元语义判断这种模糊综合评价的方法。模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化，进行综合评价的一种方法。在多属性决策中，属性值评价一般有定量与定性两种处理方法。通常情况下，定量处理方法一般是给出一些确定的数值，而定性处理方法一般采用自然语言变量（如很好、好、差等）或其他形式来实现。由Herrera首次提出的二元语义以及相应的集结算子，能尽量降低定性指标在计算过程中信息的丢失，其最大优点是将语言短语看作在其定义域内是连续的，它能以预定的语言短语集合中的短语和一个数值的形式来表达语言评价信息集结后所获得的所有信息，因此在语言信息的集结过程中能够确保信息的完整与真实。
二、知识管理能力的评价指标体系
知识管理能力是组织通过协调各种知识管理行为，整合存在于组织内部及组织外部的各种知识，从而使组织增强竞争力的能力。企业若有效地增强其竞争优势，则必须具有良好的知识管理基础能力和流程能力。本文在前人研究的基础上，按照知识管理系统的构成，从知识链，技术工具和环境支持几个维度将知识管理能力定义为如下几个方面：
1、知识获取能力：信息检索，多途径、多模式、多方法获取知识的能力。包括：与同行进行沟通的主动程度（G1），与政府部门或科研机构沟通的主动程度（G2），与科研机构联系的主动程度（G3），员工提高自我能力的主动程度（G4），企业总结各种工作经验与方法的水平（G5）。
2、知识组织能力（O）：主要指对知识进行整理、编码的能力（O1），运用数据库、知识库等技术存储知识的能力（O2），运用电子邮件、知识地图检索知识的能力（O3），知识的维护能力（O4）和知识的保护能力（O5）。
3、知识转移能力（T）：知识转移是指知识被定位后被扩散吸收的过程。包括知识扩散能力（T1）和知识吸收能力（T2）。
4、知识利用能力（U）：知识的应用是企业员工对获取、吸收的新知识与已有知识进行整合，应用到工作流程中解决问题或制定决策的过程。主要包括：运用新知识的能力（U1），员工利用知识处理新任务的能力（U2），员工利用知识开发新产品的能力（U3），员工利用知识提高工作效率的有效性（U4）。
5、设施性的知识管理能力：指组织建立高效的信息技术基础结构的能力。包括：对所获取知识编码化的程度（I1），外部网络资源的便利性（I2），内部企业数据库建设及应用水平（I3），寻找所需知识资源的方便度（I4），技术设备及数据库的更新速度（I5）。
6、结构性的知识管理能力：指知识管理能力在组织结构方面和其在政策、管理、激励系统及部门分工等制度方面的体现。包括：CKO职位设立及其职能行使水平（F1），组织结构扁平化水平（F2），员工胜任度的考核与激励程度（F3），组织结构具有内部市场性的程银缺度（F4）。
7、文化性的知识管理能力：指企业良好的组织文化的培养能力。包括：员工工作环境的开放和信任程度（C1），员工之间关系的融洽程度（C2），员工之间进行非正式交流的程度（C3），有专长的员工具有的薪资水平（C4），有专长的员工受到的尊重程度（C5）。
上述评价指标的评价信息分别于专家评判或对被评价对象的自身情况统计，其中定性指标对其评价一般具有模糊性，通常需要专家以语言变量形式做出评判，定量指标一般可通过企业财务数据或统计分析得到。
三、二元语义模糊评价方法
（一）相关概念。二元语义是采用一个二元组（Si，?琢i）表示语言评价信息的方法。其中，Si表示事先定义的语言评价信息集中的语言短语，?琢i表示链察计算得到的语言信息与初始语言评价信息集中最贴近语言短语之间的差，该差是区间［-0.5，0.5）内的一个数值。下面给出二元语义有关的运算算子的定义。
定义1：假设语言评价集S＝｛S0，…，Sg｝，?茁∈［0，锋唤辩g］是一个数值，表示语言符号集结运算的结果，则与?茁相应的二元语义可由函数得到：
∶［0，g］S×［-0.5，0.5）
（?茁）＝（si，?琢） （2）
其中，i＝round（?茁），?琢＝?茁－i，?琢∈（-0.5，0.5）。这里，round表示“四舍五入”运算。
定义2：假设语言评价集S＝｛S0，…，Sg｝，（Si，?琢）是一个二元语义，则存在一个逆函数－1使得二元语义可以转化为相应的数值?茁∈［0，g］（这里也成为二元语义的代表值），即：
－1：S×［-0.5，0.5］［0，g］
－1（si，?琢）＝i＋?琢＝?茁
定义3：二元语义集X＝｛（r1，?琢1），…，（rn，?琢n）｝，W=｛w1，…，wn｝为相应的权重向量，则其加权平均数e的计算公式为：
4、运用模糊语言权重算法计算相应的权重。权重计算方法同（3）。
5、计算最终知识管理能力的整体评价。根据公式（3）计算最终的知识管理能力整体评价。
四、算例
某公司拟对2010年度的知识管理能力进行绩效评价，以考核公司实施知识管理后的情况。该公司聘请3位专家（即p1，p2，p3），对这一年度知识管理能力做出评价，具体指标按上述内容为准。各位专家给出的评价指标，评价结果和权重向量如表2所示。（表2）根据模型计算步骤，该企业知识管理能力业绩贡献度为（S4，0.13）。
从结果中可以看出，企业最终由三位专家进行语义评价后的综合值为4.13，结合表1中的三角模糊数集，企业的知识管理能力的价值贡献评价为中上。通过这种方法可以将专家的定性评价转换为数理分析，进行运算后，得到具体的数值，再根据数值所属的区间，得出最终的评价结果。
五、结论
本文将二元语义和层次分析法结合，为知识管理能力的测评提供了一种新的思路和方法。根据这种方法得出的结论有利于企业管理者对知识进行综合管理和运用。这种方法最大优点是，在无法定量的指标上，并且指标数众多的情况下，综合的考察到参与的所有专家的各项评价。另外，这种定性方法也可以在多个方案中进行比较，判断比较企业间知识管理能力的价值增值能力的高低。同时，企业管理者可以根据这个测评结果，更直观地看出企业目前业绩驱动的关键知识管理能力的因素所在，可以加强对此的投入和管理，以更有效地提高企业绩效。

⑵ 语义相似度

一、语义相似度的简介

       在很多情况下，直接计算词语之间的相似度非常的困哪，一般情况下，先计算词语之间的距离，再转换为相似度。

        语义之间的距离，通常有两种计算方式，一种是通过大量的语料库进行统计，一种是根据某种本体或分类关系。

        利用大规模的语料库进行统计，这种基于统计的方锋闷法主要将上下文信息的概率分布作为词汇语义相似度的参照依据。基于统计的词语语义相似度计算方法是一种经验主义方法，它把词语相似度的研究建立在可观察的语言事实上。它是建立在两个词语语义相似当且仅当它们处于相似的上下文环境中的这一假设的基础上。它利用大规模语料库，将词语的上下文信息作为语义相似度计算的参照依据。基于统计的定量分析方法能够对词汇间的语义相似性进行比较精确和有效的度量，但是这种方法比较依赖于训练所用的语料库，计算量大，计算方法复杂，另外，受数据稀疏和数据噪声的干扰较大，有时会出现明显的错误。

    根据本体或分类关系计算词语语义距离的方法，一般是利用一部同义词词典。一般同义词词典都是将所有的词组织在银高弯一棵或几棵树状的层次结构中。在一棵树状图中，任何结点之间有且只有一条路径，于是这条路径的长度就可以作为这两个概念的语义距离的一种度量。有些研究者考虑的情况更复杂。除了节点件的路径长度外，还考虑到了其它一些因素。如:概念层次树的深度，概念层次树的区域密度等等。基于本体或分类关系的计算方法比较简单有效，无需用语料库进行训练，也比较直念洞观，易于理解，但这种方法得到的结果受人的主观意识影响较大，有时并不能准确反映客观事实。

 二、基于WordNet语义相似度算法研究

      WordNet中的概念是由概念间关系连接在一起的，每个概念都通过关系和其他概念相连，而整个WordNet则是由概念和关系组成的巨大的网络。最上面图是WordNet中部分概念网络结构图。

       下图是以"car"和“bag”为主体的概念，得到is_a关系树状分类图

⑶ 如何实现两个声音相似度匹配算法

作为自然语言理解的一项基础工作,词语语义相似度度量一直是研究的重点。语义相似度度量本身是一个中间任务,它是大多数自然语言处理任务中一个必不可少的中间层次,在自然语言处理中有着广泛的应用,如词义消歧、信息检索以及机器翻译等。 本文的核心内容是汉语词语语义相似度算法研究以及如何将其应用于跨语言信息检索(Cross-Language Information Retrieval, CLIR)领域。首先对语义相似度度量算法进行综述,然后重点描述基于HowNet的语义相似度度量算法,提出根据知识词典描述语言(Knowledge Dictionary Mark-up Language, KDML)的结构特性将词语语义相似度分为三部分进行计算,每部分采用最大匹配的算法,同时加入义原深度信息以区别对待不同信息含量的义原。较以往同类算法,其计算结果具有区分度,更加符合人的主观感觉。 本文尝试将所建立的汉语语义相似度度量模式应用于跨语言信息检索系统。跨语言信息检索结合传统文本信息检索技术和机器翻译技术,在多方面涉及到语义问题,是语义相似度良好的切入点。两者的结合主要体现在两方面：(1)将语义相似度度量应用于查询翻译,利用语义相似度对查询关键词进行消歧翻译,提高翻译质量；(2)将语义相似度应用于查询扩展,使扩展内容与原查询具有更高相关性,以提高检索的召回率和准确率。 本文提出相对客观的评价标准,如为单独衡量词义消歧的性能,而使用第三届词义消歧系统评价会议(The 3rd Evaluating Word Sense Disambiguation Systems, SENSEVAL-3)语料进行测试；为衡量应用语义相似度于跨语言检索后的性能,又使用第九届文本检索会议(The 9th Text Retrieval Conference, TREC-9) CLIR评价任务的查询集、语料库和结果集进行评估。这使得我们的实验结果相对公正客观,具有一定可比性。本文对原有英汉跨语言信息检索系统进行一定程度的改进,使得各种相关算法都可方便地在系统中进行集成,成为一个研究跨语言信息检索的实验平台,其系统的设计思想充分体现模块化和扩展性。 综上,本文通过综合分析主流的语义相似度算法,而提出一种新的基于HowNet的汉语语义相似度算法,并给出其在英汉跨语言信息检索中的尝试性应用,希望能给相关领域的研究者有所借鉴。

⑷ 二、词向量和语义

基于统计的词向量目的是，希望通过低维稠密向量来表示词的含义，例如：

在上面三个句子中，比如对于like这个词，在三个句子中，其左右共出现2次I，1次deep 和1次NLP，所以like对谨基卜应的词向量中，I、deep和NLP维的值分别为2,1,1。

词梳理很多时，矩阵很大，维度很高，需要的存储空间也很大
当词的数目是在不断增长，则词向量的维度也在不断增长
矩阵很稀疏，即词向量很稀疏，会遇到稀疏计算的问题

表示上下文单词
代表单词
表示在特定大小的上下文窗口(context window)内共同出现的次数。这个次数的最小单位是1，但是 GloVe不这么认为: 它根据两个单词在上下文窗口的距离dd.提出了一个衰减函数(decreasing weighting): 用于计算权重，也就是说距离越远的两个单词所占总 计数(total count)的权重越小。

其中， 是我们最终要求解的词向量; 分别是两个 词向量的bias term
那它到底是怎么来的，为什么祥穗要使用这个公式?为什么要构锋凳造两个词向量 ?
有了上述公式之后，我们可以构建Loss function:

实验中作者设定 ，并且发现 时效果比较好。

GloVe 与word2vec，两个模型都可以根据词汇的 "共现 co-occurrence" 信息，将词汇编码成一个向量。

两者最直观的区别在于，word2vec是 "predictive" 的模型，而GloVe是 "count-based" 的模型。

Glove 和 word2vec 从算法实现的角度来说，它们区别在于loss的计算是不同的：

两个模型在并行化上有一些不同，即GloVe更容易并行化，所以对于较大的训练数据，GloVe更快。

⑸ 语义分割(4)Faster RCNN

由于之前的RCNN或是SPPnet或是FasterRCNN都是利用select search来做Region proposal的,即使把这种算法移植到GPU上,这种算法也忽略了很多sharing computation的机会.所以这篇文章提出了Region Proposal Network(RPN),只利用深度凳则学习网络来训练得到Region Proposal.

RPN 的输入是一张照片,输出是一个长方形的区域,以及这个区域是否为物体的得分.

具体计算原理是先对VGG等常规网络最后的卷积层轿磨后加入3*3的小卷积,作为一个滑动窗口,然后分枣帆棚别再做两次1*1的卷积,得到anchor box分别是否为物体,以及他对应的候选区域的长方形.对于每一个feature map,我们这里可以得到9个anchor.

最后在经过一个loss function做整体优化.

具体细节,参考:

⑹ NLP第十篇-语义分析

对于不同的语言单位，语义分析的任务各不相同。在词的层次上，语义分析的基本任务是进行 词义消歧（WSD） ，在句子层面上是 语义角色标注（SRL） ，在篇章层面上是 指代消歧 ，也称共指消解。

词义消歧

由于词是能够独立运用的最小语言单位，句子中的每个词的含义及其在特定语境下的相互作用构成了整个句子的含义，因此，词义消歧是句子和篇章语义理解的基础，词义消歧有时也称为词义标注，其任务就是确定一个多义词在给定上下文语境中的具体含义。

词义消歧的方法也分为有监督的消歧方法和无监督的消歧方法，在有监督的消歧方法中，训练数据是已知的，即每个词的词义是被标注了的；而在无监督的消歧方法中，训练数据是未经标注的。

多义词的词义识别问题实际上就是该词的上下文分类问题，还记得词性一致性识别的过程吗，同样也是根据词的上下文来判断词的词性。

有监督词义消歧根据上下文和标注结果完成分类任务。而无监督词义消歧通常被称为聚类任务，使用聚类算法对同一个多义词的所有上下文进行等价类划分，在词义识别的时候，将该词的上下文与各个词义对应上下文的等价类进行比较，通过上下文对应的等价类来确定词的词义。此外，除了有监督和无监督的词义消歧，还有一种基于词典的消歧方法。

在词义消歧方法研究中，我们需要大量测试数据，为了避免手工标注的困难，我们通过人工制造数据的方法来获得大规模训练数据和测试数据。其基本思路是将两个自然词汇合并，创建一个伪词来替代所有出现在语料中的原词汇。带有伪词的文本作为歧义原文本，最初的文本作为消歧后的文本。

有监督的词义消歧方法

有监督的词义消歧方法通过建立分类器，用划分多义词上下文类别的雀简方法来区分多义词的词义。

基于互信息的消歧方法

基于互信息的消歧方法基本思路是，对每个需要消歧的多义词寻找一个上下文特征，这个特征能够可靠地指示该多义词在特定上下文语境中使用的是哪种语义。

互信息是两个随机变量X和Y之间的相关性，X与Y关联越大，越相关，则互信息越大。

这里简单介绍用在机器翻译中的Flip-Flop算法，这种算法适用于这样的条件，A语言中有一个词，它本身有两种意思，到B语言之后，有两种以上的翻译。

我们需要得到的，是B语言中的哪些翻译对应义项1，哪些对应义项2。

这个问题复杂的地方在于，对于普通的词义消歧，比如有两个义项的多义词，词都是同一个，上下文有很多，我们把这些上下文划分为两个等价类；而这种跨语言的，不仅要解决上下文的划分，在这之前还要解决两个义项多种词翻译的划分。

这里面最麻烦的就是要先找到两种义项分别对应的词翻译，和这两种义项分别对应的词翻译所对应的上下文特征，以及他们之间的对应关系。

想象一下，地上有两个圈，代表两个义项；这两个圈里，分别有若干个球，代表了每个义项对应的词翻译；然后这两个圈里还有若干个方块，代表了每个义项在该语言中对应的上下文。然后球和方块之间有线连着（球与球，方块与方块之间没有），随便连接，球可以连多个方块，方块也可以连多个球。然后，圈没了，两个圈里的球和方块都混在了一起，乱顷察裤七八糟的，你该怎么把属于这两个圈的球和方块分开。

Flip-Flop算法给出的方法是，试试。把方块分成两个集合，球也分成两个集合，然后看看情况怎么样，如果情况不好就继续试，找到最好的划分。然后需要解决的问题就是，怎么判定分的好不好？用互信息。

如果两个上下文集（方块集）和两个词翻译集（球集）之间的互信息大，那我们就认为他们的之间相关关系大，也就与原来两个义项完美划分更接近。

实际上，基于互信息的这种方法直接把词翻译的义项划分也做好了。

基于贝叶斯分类器的消歧方法

基于贝叶斯分类器的消歧方法的思想与《浅谈机器学习基础》中讲的朴素贝叶斯分类算法相同，当时是用来判定垃圾邮件和正常邮件，这里则是用来判定不同义项（义项数可以大于2），我们只需要计算给定上下文语境下，概率最大的词义就好了。

根据贝叶斯公式，两种情况下，分母都可以忽略，所要计算的就是分子，找最大的分子，在垃圾邮件识别中，分子是P(当前邮件所出现的词语|垃圾邮件)P(垃圾邮件)，那么乘起来就是垃圾邮件和没陪当前邮件词语出现的联合分布概率，正常邮件同理；而在这里分子是P(当前词语所存在的上下文|某一义项)P(某一义项)，这样计算出来的就是某一义项和上下文的联合分布概率，再除以分母P(当前词语所存在的上下文)，计算出来的结果就是P(某一义项|当前词语所存在的上下文)，就能根据上下文去求得概率最大的义项了。

基于最大熵的词义消歧方法

利用最大熵模型进行词义消歧的基本思想也是把词义消歧看做一个分类问题，即对于某个多义词根据其特定的上下文条件（用特征表示）确定该词的义项。

基于词典的词义消歧方法

基于词典语义定义的消歧方法

M. Lesk 认为词典中的词条本身的定义就可以作为判断其词义的一个很好的条件，就比如英文中的core，在词典中有两个定义，一个是‘松树的球果’，另一个是指‘用于盛放其它东西的锥形物，比如盛放冰激凌的锥形薄饼’。如果在文本中，出现了‘树’、或者出现了‘冰’，那么这个core的词义就可以确定了。

我们可以计算词典中不同义项的定义和词语在文本中上下文的相似度，就可以选择最相关的词义了。

基于义类词典的消歧方法

和前面基于词典语义的消歧方法相似，只是采用的不是词典里义项的定义文本，而是采用的整个义项所属的义类，比如ANMINAL、MACHINERY等，不同的上下文语义类有不同的共现词，依靠这个来对多义词的义项进行消歧。

无监督的词义消歧方法

严格地讲，利用完全无监督的消歧方法进行词义标注是不可能的，因为词义标注毕竟需要提供一些关于语义特征的描述信息，但是，词义辨识可以利用完全无监督的机器学习方法实现。

其关键思想在于上下文聚类，计算多义词所出现的语境向量的相似性就可以实现上下文聚类，从而实现词义区分。

语义角色标注概述

语义角色标注是一种浅层语义分析技术，它以句子为单位，不对句子所包含的予以信息进行深入分析，而只是分析句子的谓词-论元结构。具体一点讲，语义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用语义角色来描述它们之间的关系。比如：

实际上就是填槽吧，找到句子中的时间、地点、施事者、受事者和核心谓词。

目前语义角色标注方法过于依赖句法分析的结果，而且领域适应性也太差。

自动语义角色标注是在句法分析的基础上进行的，而句法分析包括短语结构分析、浅层句法分析和依存关系分析，因此，语义角色标注方法也分为 基于短语结构树 的语义角色标注方法、 基于浅层句法分析结果 的语义角色标注方法和 基于依存句法分析结果 的语义角色标注方法三种。

它们的基本流程类似，在研究中一般都假定谓词是给定的，所要做的就是找出给定谓词的各个论元，也就是说任务是确定的，找出这个任务所需的各个槽位的值。其流程一般都由4个阶段组成：

候选论元剪除的目的就是要从大量的候选项中剪除掉那些不可能成为论元的项，从而减少候选项的数目。

论元辨识阶段的任务是从剪除后的候选项中识别出哪些是真正的论元。论元识别通常被作为一个二值分类问题来解决，即判断一个候选项是否是真正的论元。该阶段不需要对论元的语义角色进行标注。

论元标注阶段要为前一阶段识别出来的论元标注语义角色。论元标注通常被作为一个多值分类问题来解决，其类别集合就是所有的语义角色标签。

最终，后处理阶段的作用是对前面得到的语义角色标注结果进行处理，包括删除语义角色重复的论元等。

基于短语结构树的语义角色标注方法

首先是第一步，候选论元剪除，具体方法如下：

将谓词作为当前结点，依次考察它的兄弟结点：如果一个兄弟结点和当前结点在句法结构上不是并列的关系，则将它作为候选项。如果该兄弟结点的句法标签是介词短语，则将它的所有子节点都作为候选项。

将当前结点的父结点设为当前结点，重复上一个步骤，直至当前结点是句法树的根结点。

举个例子，候选论元就是图上画圈的：

经过剪除得到候选论元之后，进入论元识别阶段，为分类器选择有效的特征。人们总结出了一些常见的有效特征，比如谓词本身、路径、短语类型、位置、语态、中心词、从属类别、论元的第一个词和最后一个词、组合特征等等。

然后进行论元标注，这里也需要找一些对应的特征。然后后处理并不是必须的。

基于依存关系树的语义角色标注方法

该语义角色标注方法是基于依存分析树进行的。由于短语结构树与依存结构树不同，所以基于二者的语义角色标注方法也有不同。

在基于短语结构树的语义角色标方法中，论元被表示为连续的几个词和一个语义角色标签，比如上面图给的‘事故 原因’，这两个词一起作为论元A1；而在基于依存关系树的语义角色标注方法中，一个论元被表示为一个中心词和一个语义角色标签，就比如在依存关系树中，‘原因’是‘事故’的中心词，那只要标注出‘原因’是A1论元就可以了，也即谓词-论元关系可以表示为谓词和论元中心词之间的关系。

下面给一个例子：

句子上方的是原来的依存关系树，句子下方的则是谓词‘调查’和它的各个论元之间的关系。

第一步仍然是论元剪除，具体方法如下：

将谓词作为当前结点

将当前结点的所有子结点都作为候选项

将当前结点的父结点设为当前结点，如果新当前结点是依存句法树的根结点，剪除过程结束，如果不是，执行上一步

论元识别和论元标注仍然是基于特征的分类问题，也有一些人们总结出来的常见特征。这里不详述。

基于语块的语义角色标注方法

我们前面知道，浅层语法分析的结果是base NP标注序列，采用的方法之一是IOB表示法，I表示base NP词中，O表示词外，B表示词首。

基于语块的语义角色标注方法将语义角色标注作为一个序列标注问题来解决。

基于语块的语义角色标注方法一般没有论元剪除这个过程，因为O相当于已经剪除了大量非base NP，也即不可能为论元的内容。论元辨识通常也不需要了，base NP就可以认为是论元。

我们需要做的就是论元标注，为所有的base NP标注好语义角色。与基于短语结构树或依存关系树的语义角色标注方法相比，基于语块的语义角色标注是一个相对简单的过程。

当然，因为没有了树形结构，只是普通序列的话，与前两种结构相比，丢失掉了一部分信息，比如从属关系等。

语义角色标注的融合方法

由于语义角色标注对句法分析的结果有严重的依赖，句法分析产生的错误会直接影响语义角色标注的结果，而进行语义角色标注系统融合是减轻句法分析错误对语义角色标注影响的有效方法。

这里所说的系统融合是将多个语义角色标注系统的结果进行融合，利用不同语义角色标注结果之间的差异性和互补性，综合获得一个最好的结果。

在这种方法中，一般首先根据多个不同语义角色标注结果进行语义角色标注，得到多个语义角色标注结果，然后通过融合技术将每个语义角色标注结果中正确的部分组合起来，获得一个全部正确的语义角色标注结果。

融合方法这里简单说一种基于整数线性规划模型的语义角色标注融合方法，该方法需要被融合的系统输出每个论元的概率，其基本思想是将融合过程作为一个推断问题处理，建立一个带约束的最优化模型，优化目标一般就是让最终语义角色标注结果中所有论元的概率之和最大了，而模型的约束条件则一般来源于人们根据语言学规律和知识所总结出来的经验。

除了基于整数线性规划模型的融合方法之外，人们还研究了若干种其他融合方法，比如最小错误加权的系统融合方法。其基本思想是认为，不应该对所有融合的标注结果都一视同仁，我们在进行融合时应当更多的信赖总体结果较好的系统。

END

⑺ 在C#中使用语义分析解析文字进行搜索，该怎么做，有什么什么好的算法推荐一下

这种搜索一般都是数据腊仿库歼绝中控制的.
已sqlserver为例:
搜索轮改纤带有"你好"的所有文章. 条件就是 select * from 文章表 where 文章名称 like '%你好%'

⑻ NLP中的Attention机制

如下图所示，Attention从数学角度来形容是一个变量Query到一系列Key-Value对的映射，从公式上描述是根据Query和Key计算Values的加权求和的机制。

attention计算主要分为三步:
第一步，是将Query和每个Key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；
第二步，一般是使用一个softmax函数对这些权重进行归一化；
最后，将权重和相应的键值Value进行加权求和得到最后的attention。
目前在NLP研究中，key和value常常都是同一个，即key=value。单纯的文字描述很难理解attention，以下从实际算法角度来理解。

接下来，我们以Seq2Seq中的attention作为例子，讲述attention在seq2seq的计算流程。
（1）什么是Seq2seq模型（常用语翻吵迅举译的RNN模型）
Seq2Seq又叫Encoder-Decoder模型，常见于机器翻译。下图是它的基本结构，以一个RNN作为编码器，获得句子的语义向量，以另外一个RNN作为解码器，进行翻译。如图中所展示，我们要翻译“知识就是力量。”这句话。Encoder是一个RNN，将要翻译的话转换成向量特征，输入到Decoder中。

（2）语义向量C

首先，先进行数学符号的描述。
（1）在Encoder编码器中，保留每一个RNN单元的隐藏状态（hidden state）
（2）在Decoder解码器中，每个一个RNN单元的隐藏状升碧态是由输入和上一步的隐藏状昌贺态决定的，假设第t步的隐藏状态记为 （下图中的START）

到这里其实attention的计算就结束了，得到的这个 就已经是decoder的第t时刻的注意力向量了(在后面的文章中，这也称作是上下文向量， context vector ，符号表示也可能是用 来表示的）

最后将注意力向量 ，以及decoder的t时刻的hidden state ，并联起来，然后做后续的步骤（比如,加个dense全连接层做标签预测之类的)

（1）Soft-attention结构

Soft attention也就是上面Seq2Seq讲过的那种最常见的attention，是在求注意力分配概率分布的时候，对于输入句子X中任意一个单词都给出个概率，是个概率分布，把attention变量（context vecor）用 表示，attention得分在经过了softmax过后的权值用 表示.
简单来说
（1）计算attention scores 通过
（2）获得attention distribution 通过
（3）计算 对应的上下文向量

了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下

参考文献

⑼ 语义关系的类型

关系语义 Kripke 语义(也叫做关系语义或框架语义，并经常混淆于可能世界语义)是模态逻辑系统的形式语义，于 1950 年代晚期和 1960 年代早期由 Saul Kripke 建立。它后来为另一个非经典逻辑，最重要的直觉逻辑所接受。Kripke 语义的发现是非经典逻辑开发中重大突破，因为这种逻辑的模型论在 Kripke 之前实际上是不存在的。
模态逻辑的语义
对于我们的目的，模态逻辑的语言由命题变量，读者喜欢的布尔连结词的完备集合(比如 {→,¬} 或 {∨,∧,¬})，和模态算子 <math>\Box</math> (“必然性”)构成。对偶的模态算子 <math>\Diamond</math> (“可能性”) 定义为一个简写: <math>\Diamond A:=\neg\Box\neg A</math>。更多背景请参见模态逻辑。
基本定义
Kripke 框架或模态框架是 <W,R> 对，这里的 W 是非空集合，R 是在 W 上的二元关系。W 的元素叫做节点或世界，而 R 叫做可及关系。
Kripke 模型是 <W,R,<math>\Vdash</math>> 三元组，这里的 <W,R> 是 Kripke 框架，而 <math>\Vdash</math> 是在 W 的节点和模态公式之间的如下关系:
<math>w\Vdash\neg A</math> 当且仅当 <math>w\not\Vdash A</math>，
<math>w\Vdash A\to B</math> 当且仅当 <math>w\not\Vdash A</math> 或 <math>w\Vdash B</math>，
<math>w\Vdash\Box A</math> 当且仅当 <math>\forall u\,(w\; R\; u \Rightarrow u\Vdash A)</math>。
我们把 w <math>\Vdash</math>A 读做 “w 满足 A”，“A 满足于 w”，或 “w 力迫 A”。关系 <math>\Vdash</math> 叫做“满足关系”、“求值关系”或“力迫关系”。注意满足关系由它在命题变量上的值唯一确定。
公式 A 在下列之中是有效的:
模型 <W,R,<math>\Vdash</math>>，如果对于所有 w ∈W 有 w <math>\Vdash</math>A，
框架 <W,R>，如果对于 <math>\Vdash</math> 的所有可能的选择，它在 <W,R,<math>\Vdash</math>> 中是有效的，
框架或模型的类 C，如果它在 C 的每个成员中都是有效的。
我们定义 Thm(C) 为在 C 中有效的所有公式的集合。反过来说，如果 X 是公式的集合，则设 Mod(X) 是使来自 X 的所有公式有效的所有框架的类。
一个模态逻辑(就是说一个公式的集合) L 关于框架的类 C 是可靠的，如果 L⊆Thm(C)。L 关于C 是完备的，如果 L⊇Thm(C)。
对应性和完备性
语义对于逻辑(就是推理系统)研究是有用的，条件是在语义蕴涵关系忠实的反映语法对应物 -- 推论关系 (可推导性)。所以知道哪个模态逻辑关于哪类 Kripke 框架是可靠早渣稿的和完备的，并为它们确定这种类是关键性的。
对于 Kripke 框架的任何类 C，Thm(C) 是正规模态逻辑；特别是，最小化正规模态逻梁银辑 K 的定理，在所有 Kripke 模型中都是有效的。不幸的是，逆命题不是一般性成立的: 有 Kripke 不完备的正规模态逻辑。事实上这不是问题，因为实际中研究的多数模态系统关于由简单条件所描陆孝述的框架类是完备的。
正规模态逻辑 L 对应于框架类 C，条件是 C=Mod(L)。换句话说，C 是 L 关于 C 是可靠的最大的框架类；随后 L 是 Kripke 完备的当且仅当它关于它所对应的类是完备的。
作为一个例子，考虑模式 T : <math>\Box</math>A → A。T 在任何自反的框架 <W,R> 中是有效的: 如果 w <math>\Vdash \Box</math>A，则 w <math>\Vdash</math>A，因为 w R w。在另一方面，使 T 有效的框架必须是自反的: 固定 w ∈W，并定义命题变量 p 的满足为如下: u <math>\Vdash</math>p 当且仅当 w R u。那么 w <math>\Vdash \Box</math>p，所以 w <math>\Vdash</math>p 于 T，这意味着 w R w 使用了 <math>\Vdash</math> 的定义。我们见到 T 对应于自反的 Kripke 框架的类。
特征化 L 的对应类经常比证明它的完备性要容易许多，所以对应性充当完备性证明的指导。对应性还用于证实模态逻辑的不完备性: 假定 L1⊆L2 是对应于同一个框架类的正规模态逻辑，L1 不证明 L2 的所有定理。那么 L1 是 Kripke 不完备的。例如，模式 <math>\Box(A\equiv\Box A)\to\Box A</math> 生成一个不完备的逻辑，因为它对应于同 GL 一样的框架类(viz. 传递性和逆良基的框架)，但是它不证明 <math>\Box A\to\Box\Box A</math>。
规范模型
对于任何正规模态逻辑 L，我们可以构造一个 Kripke 模型(称为规范模型)，它且只有它使 L 的定理有效，通过接纳使用极大一致集合作为模型的标准技术。规范 Kripke 模型扮演的角色类似于在代数语义中的 Lindenbaum–Tarski代数构造。
公式集合 L是一致的，如果从它们、L 的公理和肯定前件中不能推导出矛盾。极大 L一致的集合(简写为 L-MCS)是没有真L一致的超集的 L一致的集合。
L 的规范模型是 Kripke 模型 <W,R,<math>\Vdash</math>>，这里的 W 是所有L-MCS，而关系 R 和 <math>\Vdash</math> 为如下:
<math>X\;R\;Y</math> 当且仅当对所有的公式 <math>A</math>，如果 <math>\Box A\in X</math> 则 <math>A\in Y</math>，
<math>X\Vdash A</math> 当且仅当 <math>A\in X</math>。
规范模型是 L 的模型，因为所有的 L-MCS 包含 L 的所有定理。通过 Zorn 引理，每个 L一致的集合都包含在一个 L-MCS 中，特别是在 L 中不可证明的所有公式都在规范模型中有一个反例。
规范模型的主要应用是完备性证明。例如，K 的规范模型的性质直接蕴含 K 关于所有 Kripke 框架类的完备性。这个论证不适合任意的 L，因为没有对规范模型的底层框架满足 L 的框架条件的担保。
我们说一个公式或公式的集合 X 关于 Kripke 的一个性质 P 是规范的，如果
X 在满足 P 的所有框架中是有效的，
对于包含 X 的任何正规模态逻辑 L，L 的规范模型底层框架满足 P。
明显的，公式的规范集合的并集自身是规范的。服从前面的讨论，由公式的规范集合公理化的任何逻辑是 Kripke 完备的和紧凑的。
公理 T、4、D、B、5、H、G(和它们的任意组合)都是规范的。GL 和 Grz 不是规范的，因为他们不是紧凑的。公理 M 自身不是规范的(Goldblatt, 1991)，但是组合的逻辑 S4.1(事实上甚至 K4.1) 是规范的。
一般的，给定的公理是否是规范的是不可判定的。不过我们知道一个好的充分条件: H。Sahlqvist 识别了如下广泛的一类公式(现在叫做Sahlqvist 公式)
Sahlqvist 公式是规范的，
对应于 Sahlqvist 公式的框架类是一阶可定义的，
有计算对一个给定的 Sahlqvist 公式的对应框架条件的算法。
这是一个非常强力的准则；例如，上面列出的规范的所有公理是实际上的(等价于) Sahlqvist 公式。
有限模型性质
逻辑拥有有限模型性质(FMP)，如果它关于有限框架的类是完备的。这个概念的主要应用之一是可判定性问题: 它服从 Post 定理，有 FMP 的递归公理化的模态逻辑 L 是可判定的，倘若给定的有限框架是否是 L 的模型是可判定的。特别是，有 FMP 的所有的有限可公理化的逻辑都是可判定的。
有各种方法为给定的逻辑建立 FMP。精练并扩展规范模型构造通常就行了，使用工具如过滤或拆分。还有一种可能性，给予免切的相继式演算的完备性证明通常直接产生有限模型。
多数实际上使用的模态系统(包括所有上面列出的)都有 FMP。
在某些情况下，我们可以使用 FMP 来证明逻辑的 Kripke 完备性: 所有正规模态逻辑关于模态代数的类都是完备的，而有限的模态代数可以变换成 Kripke 框架。作为例子，Robert Bull 使用这个方法证明了 S4.3 的所有普通扩展都有 FMP，并且是 Kripke 完备的。
多模态逻辑
Kripke 语义对有多于一个模态的逻辑有直接的推广。带有 <math>\{\Box_i;\,i\in I\}</math> 作为必然性算子的集合的语言的 Kripke 框架，由对每个 i ∈I 装备上二元关系 Ri 一个非空集合 W构成。满足关系的定义修改为如下:
<math>w\Vdash\Box_i A</math> 当且仅当 <math>\forall u\,(w\;R_i\;u\Rightarrow u\Vdash A)</math>。
由 Tim Carlson 发现的简化的语义，经常用于多模态可证明性逻辑。Carlson 模型是结构 <W,R,i∈I,⊩>，带有一个单一的可及关系 R，和给每个模态的子集 Di ⊆ W。满足性定义为
<math>w\Vdash\Box_i A</math> 当且仅当 <math>\forall u\in D_i\,(w\;R\;u\Rightarrow u\Vdash A)</math>。
Carlson 模型比通常的多模态 Kripke 模型易于形象化和使用；但是，Kripke 完备的多模态逻辑是 Carlson 不完备的。
直觉逻辑的语义
直觉逻辑的 Kripke 语义服从和模态逻辑的语义同样的原理，但是它使用了满足的不同的定义。
直觉 Kripke 模型是一个三元组 <W,≤,<math>\Vdash</math>>，这里的 <W,≤> 是传递的和自反的 Kripke 框架(就是说可及关系是预序)，而 <math>\Vdash</math> 满足下列条件:
如果 p 是命题变量，w ≤ u，而且 w <math>\Vdash</math>p，则 u <math>\Vdash</math>p (坚持条件)，
w <math>\Vdash</math>A ∧ B 当且仅当 w <math>\Vdash</math>A 并且 w <math>\Vdash</math>B，
w <math>\Vdash</math>A ∨ B 当且仅当 w <math>\Vdash</math>A 或者 w <math>\Vdash</math>B，
w <math>\Vdash</math>A → B 当且仅当对于所有 u ≥ w，u <math>\Vdash</math>A 蕴含 u <math>\Vdash</math>B，
无 w <math>\Vdash</math>⊥。
直觉逻辑关于它的 Kripke 语义是可靠的和完备的，并且它有 FMP。
直觉一阶逻辑
设 L 是一阶语言。L 的 Kripke 模型是三元组 <W,≤,w∈W>，这里的 <W,≤> 是直觉 Kripke 框架，Mw 是每个节点 w ∈W 的(经典) L-结构，而下列相容性条件只要在 u ≤ v 时都是成立的:
Mu 的域包含在 Mv 的域中，
Mu 和 Mv 中的函数符号实现一致于 Mu 的元素，
对于每个 n 元谓词 P 和元素 a1,...,an ∈Mu: 如果 P(a1,...,an) 成立于 Mu，则它成立于 Mv。
给出经由 Mw 的元素的变量求值 e，我们定义满足关系 w <math>\Vdash</math>A[e]:
w <math>\Vdash</math>P(t1,...,tn)[e] 当且仅当 'P(t1[e],...,tn[e]) 成立于 Mw，
w <math>\Vdash</math>(A ∧ B)[e] 当且仅当 w <math>\Vdash</math>A[e] 并且 w <math>\Vdash</math>B[e]，
w <math>\Vdash</math>(A ∨ B)[e] 当且仅当 w <math>\Vdash</math>A[e] 或者 w <math>\Vdash</math>B[e]，
w <math>\Vdash</math>(A → B)[e] 当且仅当对于所有的 u ≥ w，u <math>\Vdash</math>A[e] 蕴含 u <math>\Vdash</math>B[e]，
无 w <math>\Vdash</math>⊥[e]，
w <math>\Vdash</math>(∃x A)[e] 当且仅当存在一个 a ∈Mw，使得 w <math>\Vdash</math>A[e(x→a)]，
w <math>\Vdash</math>(∀x A)[e] 当且仅当对于所有的 u ≥ w 和所有的 a ∈Mu，u <math>\Vdash</math>A[e(x→a)]。
这里的 e(x→a) 是给予 x 值 a 的求值，在其他方面一致于 e。
Kripke-Joyal 语义
作为独立开发的层论的一部分，在 1965 年左右认识到 Kripke 语义密切相关于在 topos 论中对存在量化的处理。就是对一个层的截面的存在性的'局部'示象是一种'可能性'的逻辑。因为这种开发是很多人的工作，比之于理论更合于概念上洞察的天性，归与荣誉不是很容易的。Kripke-Joyal 语义这个名称经常用做这种联系。
模型构造
同在经典的模型论中一样，有从其他模型构造一个新的 Kripke 模型的方法。
在 Kripke 语义中天然的同态叫做p-态射(它是伪满射的简写，但这个术语很少用)。Kripke 框架 <W,R> 和 <W’,R’> 的 p-态射是一个映射 f:W → W’ 满足
f 保留可及关系，就是说 u R v 蕴涵 f(u) R’ f(v)，
在 f(u) R’ v’ 的时候，有一个 v ∈ W 使得 f(v)=v’。
Kripke 模型 <W,R,<math>\Vdash</math>> 和 <W’,R’,<math>\Vdash</math>’> 的 p-态射是它们的底层框架的 p-态射 f:W → W’，它满足
对于任何命题变量 p，w <math>\Vdash</math>p 当且仅当 f(w) <math>\Vdash</math>’p。
P-态射是特殊种类的双仿(bisimulation)。一般的说，在框架 <W,R> 和 <W’,R’> 之间的 双仿是关系 B ⊆ W × W’，它满足下列 “zig-zag” 性质:
如果 u B u’ 并且 u R v，则存在 v’ ∈ W’ 使得 v B v’，
如果 u B u’ 并且 u’ R’ v’，则存在 v ∈ W 使得 v B v’。
模型的双仿是对保持原子公式的力迫的补充要求:
对于任何命题变量 p，如果 w B w’，则 w <math>\Vdash</math>p 当且仅当 w’ <math>\Vdash</math>’p。
从这个定义我们得到的关键性质是模型的双仿(所以也是 p-态射)保持所有公式的满足性，而不只是命题变量。
我可以使用拆分(unravelling)把 Kripke 模型变换成树。给出一个模型 <W,R,<math>\Vdash</math>> 和固定的节点 w0 ∈ W，我们定义一个模型 <W’,R’,<math>\Vdash</math>’>，这里的 W’ 是所有有限序列 s=<w0,w1,...,wn> 的集合，使得对于所有 i<n 和 s <math>\Vdash</math>p，wi R wi+1 当且仅当对于所有变量 p，wn <math>\Vdash</math>p。定义可及关系 R’ 变化；在最简单的情况下我们置
<w0,w1,...,wn> R’ <w0,w1,...,wn,wn+1>,
但是很多应用需要这个关系的自反与/或传递闭包，或类似的变更。
过滤是 p-态射的一个变种。设 X 是在采纳子公式(subformulas)下闭合的公式的集合。模型 <W,R,<math>\Vdash</math>> 的 X-过滤是从W 到模型 <W’,R’,<math>\Vdash</math>’> 的映射 f，使得
f 是满射，
f 保持可及关系，和(在两个方向上)变量 p ∈ X 的满足性，
如果 f(u) R’ f(v) 并且 u <math>\Vdash \Box</math>A，这里的 <math>\Box</math>A ∈X，则 v <math>\Vdash</math>A。
得到了 f 保持来自 X 的所有公式的满足性。在典型的应用中，我们把 f 采纳为在W 在下列关系上对份额的投影
u ≡X v 当且仅当对于所有 A ∈X，u <math>\Vdash</math>A 当且仅当 v <math>\Vdash</math>A。
同在拆分的情况下一样，定义可及关系在份额变化上。
历史和术语
Kripke 语义不是 Kripke 首创的，以上述方式给出的基于使求值相对于节点的语义早于 Kripke 的工作许久:
Carnap 好像是首先有了这种想法，通过给予求值函数以莱布尼兹的可能世界为范围的一个参数的方式，对必然性和可能性的模态给出一种可能世界语义。Bayart 进一步发展了这种想法，但是他们都没能给出 Tarski 介入的这种风格的满足的递归定义；
Jónsson 和 Tarski 给出了仍然影响着当代模态逻辑研究的表达语义的方式，就是代数方法，这包含了 Kripke 语义的很多关键想法。他们把这个想法应用于直觉逻辑的语义研究，但没有见到与模态逻辑的联系；
Kanger 对模态逻辑的释义给出了更加复杂的方式，但是包含了 Kripke 方式的很多关键想法。他首先注意到在关于可及关系的条件和 Lewis-风格的模态逻辑公理之间的联系。但是 Kanger 没能给出对他的系统的完备性证明；
Jaakko Hintikka 在他的论文中介入了是 Kripke 语义的简单变体的认识逻辑，等同于通过最大化一致集合的方式构造求值的塑造。他没能为认识逻辑给出推理规则，所以没能给出完备性证明；
Richard Montague 有了包含在 Kripke 工作中的很多关键想法，但是他没有把它们当作是重要的，所以一直没有发表直到 Kripke 的论文出版在逻辑学社区中造成了轰动之后；
Evert W. Beth 为直觉逻辑提出了一种基于树的语义，它极其类似于 Kripke 语义，除了使用了更加麻烦的满足定义之外。
尽管Kripke 语义的根本思想在 Kripke 首次发表之前就广为流传了，Saul Kripke 关于模态逻辑的工作仍可恰当的当作是开拓性的。最重要的是，Kripke 是第一个为模态逻辑证明了完备性定理的人，并且 Kripke 识别了最弱的正规模态逻辑。
尽管 Kripke 的工作有开创性贡献，很多模态逻辑学家反对术语 Kripke 语义，因为这是对先驱们做的重要贡献的失礼。反对另一个最广泛使用的术语可能世界语义的理由是它不适合应用于不是可能性和必然性的模态，比如在认识或道义逻辑中。他们喜欢术语关系语义或框架语义。