語義映射演算法

⑴ 二元語義評價法怎麼用

一、序言
二元語義層次分析法是指運用二元語義判斷矩陣與層次分析法相結合，對知識管理能力測度總體上使用層次分析法的框架結構，但在具體測度時主要採用二元語義判斷這種模糊綜合評價的方法。模糊綜合評價是以模糊數學為基礎，應用模糊關系合成的原理，將一些邊界不清，不易定量的因素定量化，進行綜合評價的一種方法。在多屬性決策中，屬性值評價一般有定量與定性兩種處理方法。通常情況下，定量處理方法一般是給出一些確定的數值，而定性處理方法一般採用自然語言變數（如很好、好、差等）或其他形式來實現。由Herrera首次提出的二元語義以及相應的集結運算元，能盡量降低定性指標在計算過程中信息的丟失，其最大優點是將語言短語看作在其定義域內是連續的，它能以預定的語言短語集合中的短語和一個數值的形式來表達語言評價信息集結後所獲得的所有信息，因此在語言信息的集結過程中能夠確保信息的完整與真實。
二、知識管理能力的評價指標體系
知識管理能力是組織通過協調各種知識管理行為，整合存在於組織內部及組織外部的各種知識，從而使組織增強競爭力的能力。企業若有效地增強其競爭優勢，則必須具有良好的知識管理基礎能力和流程能力。本文在前人研究的基礎上，按照知識管理系統的構成，從知識鏈，技術工具和環境支持幾個維度將知識管理能力定義為如下幾個方面：
1、知識獲取能力：信息檢索，多途徑、多模式、多方法獲取知識的能力。包括：與同行進行溝通的主動程度（G1），與政府部門或科研機構溝通的主動程度（G2），與科研機構聯系的主動程度（G3），員工提高自我能力的主動程度（G4），企業總結各種工作經驗與方法的水平（G5）。
2、知識組織能力（O）：主要指對知識進行整理、編碼的能力（O1），運用資料庫、知識庫等技術存儲知識的能力（O2），運用電子郵件、知識地圖檢索知識的能力（O3），知識的維護能力（O4）和知識的保護能力（O5）。
3、知識轉移能力（T）：知識轉移是指知識被定位後被擴散吸收的過程。包括知識擴散能力（T1）和知識吸收能力（T2）。
4、知識利用能力（U）：知識的應用是企業員工對獲取、吸收的新知識與已有知識進行整合，應用到工作流程中解決問題或制定決策的過程。主要包括：運用新知識的能力（U1），員工利用知識處理新任務的能力（U2），員工利用知識開發新產品的能力（U3），員工利用知識提高工作效率的有效性（U4）。
5、設施性的知識管理能力：指組織建立高效的信息技術基礎結構的能力。包括：對所獲取知識編碼化的程度（I1），外部網路資源的便利性（I2），內部企業資料庫建設及應用水平（I3），尋找所需知識資源的方便度（I4），技術設備及資料庫的更新速度（I5）。
6、結構性的知識管理能力：指知識管理能力在組織結構方面和其在政策、管理、激勵系統及部門分工等制度方面的體現。包括：CKO職位設立及其職能行使水平（F1），組織結構扁平化水平（F2），員工勝任度的考核與激勵程度（F3），組織結構具有內部市場性的程銀缺度（F4）。
7、文化性的知識管理能力：指企業良好的組織文化的培養能力。包括：員工工作環境的開放和信任程度（C1），員工之間關系的融洽程度（C2），員工之間進行非正式交流的程度（C3），有專長的員工具有的薪資水平（C4），有專長的員工受到的尊重程度（C5）。
上述評價指標的評價信息分別於專家評判或對被評價對象的自身情況統計，其中定性指標對其評價一般具有模糊性，通常需要專家以語言變數形式做出評判，定量指標一般可通過企業財務數據或統計分析得到。
三、二元語義模糊評價方法
（一）相關概念。二元語義是採用一個二元組（Si，?琢i）表示語言評價信息的方法。其中，Si表示事先定義的語言評價信息集中的語言短語，?琢i表示鏈察計算得到的語言信息與初始語言評價信息集中最貼近語言短語之間的差，該差是區間［-0.5，0.5）內的一個數值。下面給出二元語義有關的運算運算元的定義。
定義1：假設語言評價集S＝｛S0，…，Sg｝，?茁∈［0，鋒喚辯g］是一個數值，表示語言符號集結運算的結果，則與?茁相應的二元語義可由函數得到：
∶［0，g］S×［-0.5，0.5）
（?茁）＝（si，?琢） （2）
其中，i＝round（?茁），?琢＝?茁－i，?琢∈（-0.5，0.5）。這里，round表示「四捨五入」運算。
定義2：假設語言評價集S＝｛S0，…，Sg｝，（Si，?琢）是一個二元語義，則存在一個逆函數－1使得二元語義可以轉化為相應的數值?茁∈［0，g］（這里也成為二元語義的代表值），即：
－1：S×［-0.5，0.5］［0，g］
－1（si，?琢）＝i＋?琢＝?茁
定義3：二元語義集X＝｛（r1，?琢1），…，（rn，?琢n）｝，W=｛w1，…，wn｝為相應的權重向量，則其加權平均數e的計算公式為：
4、運用模糊語言權重演算法計算相應的權重。權重計算方法同（3）。
5、計算最終知識管理能力的整體評價。根據公式（3）計算最終的知識管理能力整體評價。
四、算例
某公司擬對2010年度的知識管理能力進行績效評價，以考核公司實施知識管理後的情況。該公司聘請3位專家（即p1，p2，p3），對這一年度知識管理能力做出評價，具體指標按上述內容為准。各位專家給出的評價指標，評價結果和權重向量如表2所示。（表2）根據模型計算步驟，該企業知識管理能力業績貢獻度為（S4，0.13）。
從結果中可以看出，企業最終由三位專家進行語義評價後的綜合值為4.13，結合表1中的三角模糊數集，企業的知識管理能力的價值貢獻評價為中上。通過這種方法可以將專家的定性評價轉換為數理分析，進行運算後，得到具體的數值，再根據數值所屬的區間，得出最終的評價結果。
五、結論
本文將二元語義和層次分析法結合，為知識管理能力的測評提供了一種新的思路和方法。根據這種方法得出的結論有利於企業管理者對知識進行綜合管理和運用。這種方法最大優點是，在無法定量的指標上，並且指標數眾多的情況下，綜合的考察到參與的所有專家的各項評價。另外，這種定性方法也可以在多個方案中進行比較，判斷比較企業間知識管理能力的價值增值能力的高低。同時，企業管理者可以根據這個測評結果，更直觀地看出企業目前業績驅動的關鍵知識管理能力的因素所在，可以加強對此的投入和管理，以更有效地提高企業績效。

⑵ 語義相似度

一、語義相似度的簡介

       在很多情況下，直接計算詞語之間的相似度非常的困哪，一般情況下，先計算詞語之間的距離，再轉換為相似度。

        語義之間的距離，通常有兩種計算方式，一種是通過大量的語料庫進行統計，一種是根據某種本體或分類關系。

        利用大規模的語料庫進行統計，這種基於統計的方鋒悶法主要將上下文信息的概率分布作為詞彙語義相似度的參照依據。基於統計的詞語語義相似度計算方法是一種經驗主義方法，它把詞語相似度的研究建立在可觀察的語言事實上。它是建立在兩個詞語語義相似當且僅當它們處於相似的上下文環境中的這一假設的基礎上。它利用大規模語料庫，將詞語的上下文信息作為語義相似度計算的參照依據。基於統計的定量分析方法能夠對詞彙間的語義相似性進行比較精確和有效的度量，但是這種方法比較依賴於訓練所用的語料庫，計算量大，計算方法復雜，另外，受數據稀疏和數據雜訊的干擾較大，有時會出現明顯的錯誤。

    根據本體或分類關系計算詞語語義距離的方法，一般是利用一部同義詞詞典。一般同義詞詞典都是將所有的片語織在銀高彎一棵或幾棵樹狀的層次結構中。在一棵樹狀圖中，任何結點之間有且只有一條路徑，於是這條路徑的長度就可以作為這兩個概念的語義距離的一種度量。有些研究者考慮的情況更復雜。除了節點件的路徑長度外，還考慮到了其它一些因素。如:概念層次樹的深度，概念層次樹的區域密度等等。基於本體或分類關系的計算方法比較簡單有效，無需用語料庫進行訓練，也比較直念洞觀，易於理解，但這種方法得到的結果受人的主觀意識影響較大，有時並不能准確反映客觀事實。

 二、基於WordNet語義相似度演算法研究

      WordNet中的概念是由概念間關系連接在一起的，每個概念都通過關系和其他概念相連，而整個WordNet則是由概念和關系組成的巨大的網路。最上面圖是WordNet中部分概念網路結構圖。

       下圖是以"car"和「bag」為主體的概念，得到is_a關系樹狀分類圖

⑶ 如何實現兩個聲音相似度匹配演算法

作為自然語言理解的一項基礎工作,詞語語義相似度度量一直是研究的重點。語義相似度度量本身是一個中間任務,它是大多數自然語言處理任務中一個必不可少的中間層次,在自然語言處理中有著廣泛的應用,如詞義消歧、信息檢索以及機器翻譯等。 本文的核心內容是漢語詞語語義相似度演算法研究以及如何將其應用於跨語言信息檢索(Cross-Language Information Retrieval, CLIR)領域。首先對語義相似度度量演算法進行綜述,然後重點描述基於HowNet的語義相似度度量演算法,提出根據知識詞典描述語言(Knowledge Dictionary Mark-up Language, KDML)的結構特性將詞語語義相似度分為三部分進行計算,每部分採用最大匹配的演算法,同時加入義原深度信息以區別對待不同信息含量的義原。較以往同類演算法,其計算結果具有區分度,更加符合人的主觀感覺。 本文嘗試將所建立的漢語語義相似度度量模式應用於跨語言信息檢索系統。跨語言信息檢索結合傳統文本信息檢索技術和機器翻譯技術,在多方面涉及到語義問題,是語義相似度良好的切入點。兩者的結合主要體現在兩方面：(1)將語義相似度度量應用於查詢翻譯,利用語義相似度對查詢關鍵詞進行消歧翻譯,提高翻譯質量；(2)將語義相似度應用於查詢擴展,使擴展內容與原查詢具有更高相關性,以提高檢索的召回率和准確率。 本文提出相對客觀的評價標准,如為單獨衡量詞義消歧的性能,而使用第三屆詞義消歧系統評價會議(The 3rd Evaluating Word Sense Disambiguation Systems, SENSEVAL-3)語料進行測試；為衡量應用語義相似度於跨語言檢索後的性能,又使用第九屆文本檢索會議(The 9th Text Retrieval Conference, TREC-9) CLIR評價任務的查詢集、語料庫和結果集進行評估。這使得我們的實驗結果相對公正客觀,具有一定可比性。本文對原有英漢跨語言信息檢索系統進行一定程度的改進,使得各種相關演算法都可方便地在系統中進行集成,成為一個研究跨語言信息檢索的實驗平台,其系統的設計思想充分體現模塊化和擴展性。 綜上,本文通過綜合分析主流的語義相似度演算法,而提出一種新的基於HowNet的漢語語義相似度演算法,並給出其在英漢跨語言信息檢索中的嘗試性應用,希望能給相關領域的研究者有所借鑒。

⑷ 二、詞向量和語義

基於統計的詞向量目的是，希望通過低維稠密向量來表示詞的含義，例如：

在上面三個句子中，比如對於like這個詞，在三個句子中，其左右共出現2次I，1次deep 和1次NLP，所以like對謹基卜應的詞向量中，I、deep和NLP維的值分別為2,1,1。

詞梳理很多時，矩陣很大，維度很高，需要的存儲空間也很大
當詞的數目是在不斷增長，則詞向量的維度也在不斷增長
矩陣很稀疏，即詞向量很稀疏，會遇到稀疏計算的問題

表示上下文單詞
代表單詞
表示在特定大小的上下文窗口(context window)內共同出現的次數。這個次數的最小單位是1，但是 GloVe不這么認為: 它根據兩個單詞在上下文窗口的距離dd.提出了一個衰減函數(decreasing weighting): 用於計算權重，也就是說距離越遠的兩個單詞所佔總 計數(total count)的權重越小。

其中， 是我們最終要求解的詞向量; 分別是兩個 詞向量的bias term
那它到底是怎麼來的，為什麼祥穗要使用這個公式?為什麼要構鋒凳造兩個詞向量 ?
有了上述公式之後，我們可以構建Loss function:

實驗中作者設定 ，並且發現 時效果比較好。

GloVe 與word2vec，兩個模型都可以根據詞彙的 "共現 co-occurrence" 信息，將詞彙編碼成一個向量。

兩者最直觀的區別在於，word2vec是 "predictive" 的模型，而GloVe是 "count-based" 的模型。

Glove 和 word2vec 從演算法實現的角度來說，它們區別在於loss的計算是不同的：

兩個模型在並行化上有一些不同，即GloVe更容易並行化，所以對於較大的訓練數據，GloVe更快。

⑸ 語義分割(4)Faster RCNN

由於之前的RCNN或是SPPnet或是FasterRCNN都是利用select search來做Region proposal的,即使把這種演算法移植到GPU上,這種演算法也忽略了很多sharing computation的機會.所以這篇文章提出了Region Proposal Network(RPN),只利用深度凳則學習網路來訓練得到Region Proposal.

RPN 的輸入是一張照片,輸出是一個長方形的區域,以及這個區域是否為物體的得分.

具體計算原理是先對VGG等常規網路最後的卷積層轎磨後加入3*3的小卷積,作為一個滑動窗口,然後分棗帆棚別再做兩次1*1的卷積,得到anchor box分別是否為物體,以及他對應的候選區域的長方形.對於每一個feature map,我們這里可以得到9個anchor.

最後在經過一個loss function做整體優化.

具體細節,參考:

⑹ NLP第十篇-語義分析

對於不同的語言單位，語義分析的任務各不相同。在詞的層次上，語義分析的基本任務是進行 詞義消歧（WSD） ，在句子層面上是 語義角色標注（SRL） ，在篇章層面上是 指代消歧 ，也稱共指消解。

詞義消歧

由於詞是能夠獨立運用的最小語言單位，句子中的每個詞的含義及其在特定語境下的相互作用構成了整個句子的含義，因此，詞義消歧是句子和篇章語義理解的基礎，詞義消歧有時也稱為詞義標注，其任務就是確定一個多義詞在給定上下文語境中的具體含義。

詞義消歧的方法也分為有監督的消歧方法和無監督的消歧方法，在有監督的消歧方法中，訓練數據是已知的，即每個詞的詞義是被標注了的；而在無監督的消歧方法中，訓練數據是未經標注的。

多義詞的詞義識別問題實際上就是該詞的上下文分類問題，還記得詞性一致性識別的過程嗎，同樣也是根據詞的上下文來判斷詞的詞性。

有監督詞義消歧根據上下文和標注結果完成分類任務。而無監督詞義消歧通常被稱為聚類任務，使用聚類演算法對同一個多義詞的所有上下文進行等價類劃分，在詞義識別的時候，將該詞的上下文與各個詞義對應上下文的等價類進行比較，通過上下文對應的等價類來確定詞的詞義。此外，除了有監督和無監督的詞義消歧，還有一種基於詞典的消歧方法。

在詞義消歧方法研究中，我們需要大量測試數據，為了避免手工標注的困難，我們通過人工製造數據的方法來獲得大規模訓練數據和測試數據。其基本思路是將兩個自然詞彙合並，創建一個偽詞來替代所有出現在語料中的原詞彙。帶有偽詞的文本作為歧義原文本，最初的文本作為消歧後的文本。

有監督的詞義消歧方法

有監督的詞義消歧方法通過建立分類器，用劃分多義詞上下文類別的雀簡方法來區分多義詞的詞義。

基於互信息的消歧方法

基於互信息的消歧方法基本思路是，對每個需要消歧的多義詞尋找一個上下文特徵，這個特徵能夠可靠地指示該多義詞在特定上下文語境中使用的是哪種語義。

互信息是兩個隨機變數X和Y之間的相關性，X與Y關聯越大，越相關，則互信息越大。

這里簡單介紹用在機器翻譯中的Flip-Flop演算法，這種演算法適用於這樣的條件，A語言中有一個詞，它本身有兩種意思，到B語言之後，有兩種以上的翻譯。

我們需要得到的，是B語言中的哪些翻譯對應義項1，哪些對應義項2。

這個問題復雜的地方在於，對於普通的詞義消歧，比如有兩個義項的多義詞，詞都是同一個，上下文有很多，我們把這些上下文劃分為兩個等價類；而這種跨語言的，不僅要解決上下文的劃分，在這之前還要解決兩個義項多種詞翻譯的劃分。

這裡面最麻煩的就是要先找到兩種義項分別對應的詞翻譯，和這兩種義項分別對應的詞翻譯所對應的上下文特徵，以及他們之間的對應關系。

想像一下，地上有兩個圈，代表兩個義項；這兩個圈裡，分別有若干個球，代表了每個義項對應的詞翻譯；然後這兩個圈裡還有若干個方塊，代表了每個義項在該語言中對應的上下文。然後球和方塊之間有線連著（球與球，方塊與方塊之間沒有），隨便連接，球可以連多個方塊，方塊也可以連多個球。然後，圈沒了，兩個圈裡的球和方塊都混在了一起，亂頃察褲七八糟的，你該怎麼把屬於這兩個圈的球和方塊分開。

Flip-Flop演算法給出的方法是，試試。把方塊分成兩個集合，球也分成兩個集合，然後看看情況怎麼樣，如果情況不好就繼續試，找到最好的劃分。然後需要解決的問題就是，怎麼判定分的好不好？用互信息。

如果兩個上下文集（方塊集）和兩個詞翻譯集（球集）之間的互信息大，那我們就認為他們的之間相關關系大，也就與原來兩個義項完美劃分更接近。

實際上，基於互信息的這種方法直接把詞翻譯的義項劃分也做好了。

基於貝葉斯分類器的消歧方法

基於貝葉斯分類器的消歧方法的思想與《淺談機器學習基礎》中講的樸素貝葉斯分類演算法相同，當時是用來判定垃圾郵件和正常郵件，這里則是用來判定不同義項（義項數可以大於2），我們只需要計算給定上下文語境下，概率最大的詞義就好了。

根據貝葉斯公式，兩種情況下，分母都可以忽略，所要計算的就是分子，找最大的分子，在垃圾郵件識別中，分子是P(當前郵件所出現的詞語|垃圾郵件)P(垃圾郵件)，那麼乘起來就是垃圾郵件和沒陪當前郵件詞語出現的聯合分布概率，正常郵件同理；而在這里分子是P(當前詞語所存在的上下文|某一義項)P(某一義項)，這樣計算出來的就是某一義項和上下文的聯合分布概率，再除以分母P(當前詞語所存在的上下文)，計算出來的結果就是P(某一義項|當前詞語所存在的上下文)，就能根據上下文去求得概率最大的義項了。

基於最大熵的詞義消歧方法

利用最大熵模型進行詞義消歧的基本思想也是把詞義消歧看做一個分類問題，即對於某個多義詞根據其特定的上下文條件（用特徵表示）確定該詞的義項。

基於詞典的詞義消歧方法

基於詞典語義定義的消歧方法

M. Lesk 認為詞典中的詞條本身的定義就可以作為判斷其詞義的一個很好的條件，就比如英文中的core，在詞典中有兩個定義，一個是『松樹的球果』，另一個是指『用於盛放其它東西的錐形物，比如盛放冰激凌的錐形薄餅』。如果在文本中，出現了『樹』、或者出現了『冰』，那麼這個core的詞義就可以確定了。

我們可以計算詞典中不同義項的定義和詞語在文本中上下文的相似度，就可以選擇最相關的詞義了。

基於義類詞典的消歧方法

和前面基於詞典語義的消歧方法相似，只是採用的不是詞典里義項的定義文本，而是採用的整個義項所屬的義類，比如ANMINAL、MACHINERY等，不同的上下文語義類有不同的共現詞，依靠這個來對多義詞的義項進行消歧。

無監督的詞義消歧方法

嚴格地講，利用完全無監督的消歧方法進行詞義標注是不可能的，因為詞義標注畢竟需要提供一些關於語義特徵的描述信息，但是，詞義辨識可以利用完全無監督的機器學習方法實現。

其關鍵思想在於上下文聚類，計算多義詞所出現的語境向量的相似性就可以實現上下文聚類，從而實現詞義區分。

語義角色標注概述

語義角色標注是一種淺層語義分析技術，它以句子為單位，不對句子所包含的予以信息進行深入分析，而只是分析句子的謂詞-論元結構。具體一點講，語義角色標注的任務就是以句子的謂詞為中心，研究句子中各成分與謂詞之間的關系，並且用語義角色來描述它們之間的關系。比如：

實際上就是填槽吧，找到句子中的時間、地點、施事者、受事者和核心謂詞。

目前語義角色標注方法過於依賴句法分析的結果，而且領域適應性也太差。

自動語義角色標注是在句法分析的基礎上進行的，而句法分析包括短語結構分析、淺層句法分析和依存關系分析，因此，語義角色標注方法也分為 基於短語結構樹 的語義角色標注方法、 基於淺層句法分析結果 的語義角色標注方法和 基於依存句法分析結果 的語義角色標注方法三種。

它們的基本流程類似，在研究中一般都假定謂詞是給定的，所要做的就是找出給定謂詞的各個論元，也就是說任務是確定的，找出這個任務所需的各個槽位的值。其流程一般都由4個階段組成：

候選論元剪除的目的就是要從大量的候選項中剪除掉那些不可能成為論元的項，從而減少候選項的數目。

論元辨識階段的任務是從剪除後的候選項中識別出哪些是真正的論元。論元識別通常被作為一個二值分類問題來解決，即判斷一個候選項是否是真正的論元。該階段不需要對論元的語義角色進行標注。

論元標注階段要為前一階段識別出來的論元標注語義角色。論元標注通常被作為一個多值分類問題來解決，其類別集合就是所有的語義角色標簽。

最終，後處理階段的作用是對前面得到的語義角色標注結果進行處理，包括刪除語義角色重復的論元等。

基於短語結構樹的語義角色標注方法

首先是第一步，候選論元剪除，具體方法如下：

將謂詞作為當前結點，依次考察它的兄弟結點：如果一個兄弟結點和當前結點在句法結構上不是並列的關系，則將它作為候選項。如果該兄弟結點的句法標簽是介詞短語，則將它的所有子節點都作為候選項。

將當前結點的父結點設為當前結點，重復上一個步驟，直至當前結點是句法樹的根結點。

舉個例子，候選論元就是圖上畫圈的：

經過剪除得到候選論元之後，進入論元識別階段，為分類器選擇有效的特徵。人們總結出了一些常見的有效特徵，比如謂詞本身、路徑、短語類型、位置、語態、中心詞、從屬類別、論元的第一個詞和最後一個詞、組合特徵等等。

然後進行論元標注，這里也需要找一些對應的特徵。然後後處理並不是必須的。

基於依存關系樹的語義角色標注方法

該語義角色標注方法是基於依存分析樹進行的。由於短語結構樹與依存結構樹不同，所以基於二者的語義角色標注方法也有不同。

在基於短語結構樹的語義角色標方法中，論元被表示為連續的幾個詞和一個語義角色標簽，比如上面圖給的『事故 原因』，這兩個詞一起作為論元A1；而在基於依存關系樹的語義角色標注方法中，一個論元被表示為一個中心詞和一個語義角色標簽，就比如在依存關系樹中，『原因』是『事故』的中心詞，那隻要標注出『原因』是A1論元就可以了，也即謂詞-論元關系可以表示為謂詞和論元中心詞之間的關系。

下面給一個例子：

句子上方的是原來的依存關系樹，句子下方的則是謂詞『調查』和它的各個論元之間的關系。

第一步仍然是論元剪除，具體方法如下：

將謂詞作為當前結點

將當前結點的所有子結點都作為候選項

將當前結點的父結點設為當前結點，如果新當前結點是依存句法樹的根結點，剪除過程結束，如果不是，執行上一步

論元識別和論元標注仍然是基於特徵的分類問題，也有一些人們總結出來的常見特徵。這里不詳述。

基於語塊的語義角色標注方法

我們前面知道，淺層語法分析的結果是base NP標注序列，採用的方法之一是IOB表示法，I表示base NP詞中，O表示詞外，B表示詞首。

基於語塊的語義角色標注方法將語義角色標注作為一個序列標注問題來解決。

基於語塊的語義角色標注方法一般沒有論元剪除這個過程，因為O相當於已經剪除了大量非base NP，也即不可能為論元的內容。論元辨識通常也不需要了，base NP就可以認為是論元。

我們需要做的就是論元標注，為所有的base NP標注好語義角色。與基於短語結構樹或依存關系樹的語義角色標注方法相比，基於語塊的語義角色標注是一個相對簡單的過程。

當然，因為沒有了樹形結構，只是普通序列的話，與前兩種結構相比，丟失掉了一部分信息，比如從屬關系等。

語義角色標注的融合方法

由於語義角色標注對句法分析的結果有嚴重的依賴，句法分析產生的錯誤會直接影響語義角色標注的結果，而進行語義角色標注系統融合是減輕句法分析錯誤對語義角色標注影響的有效方法。

這里所說的系統融合是將多個語義角色標注系統的結果進行融合，利用不同語義角色標注結果之間的差異性和互補性，綜合獲得一個最好的結果。

在這種方法中，一般首先根據多個不同語義角色標注結果進行語義角色標注，得到多個語義角色標注結果，然後通過融合技術將每個語義角色標注結果中正確的部分組合起來，獲得一個全部正確的語義角色標注結果。

融合方法這里簡單說一種基於整數線性規劃模型的語義角色標注融合方法，該方法需要被融合的系統輸出每個論元的概率，其基本思想是將融合過程作為一個推斷問題處理，建立一個帶約束的最優化模型，優化目標一般就是讓最終語義角色標注結果中所有論元的概率之和最大了，而模型的約束條件則一般來源於人們根據語言學規律和知識所總結出來的經驗。

除了基於整數線性規劃模型的融合方法之外，人們還研究了若干種其他融合方法，比如最小錯誤加權的系統融合方法。其基本思想是認為，不應該對所有融合的標注結果都一視同仁，我們在進行融合時應當更多的信賴總體結果較好的系統。

END

⑺ 在C#中使用語義分析解析文字進行搜索，該怎麼做，有什麼什麼好的演算法推薦一下

這種搜索一般都是數據臘仿庫殲絕中控制的.
已sqlserver為例:
搜索輪改纖帶有"你好"的所有文章. 條件就是 select * from 文章表 where 文章名稱 like '%你好%'

⑻ NLP中的Attention機制

如下圖所示，Attention從數學角度來形容是一個變數Query到一系列Key-Value對的映射，從公式上描述是根據Query和Key計算Values的加權求和的機制。

attention計算主要分為三步:
第一步，是將Query和每個Key進行相似度計算得到權重，常用的相似度函數有點積，拼接，感知機等；
第二步，一般是使用一個softmax函數對這些權重進行歸一化；
最後，將權重和相應的鍵值Value進行加權求和得到最後的attention。
目前在NLP研究中，key和value常常都是同一個，即key=value。單純的文字描述很難理解attention，以下從實際演算法角度來理解。

接下來，我們以Seq2Seq中的attention作為例子，講述attention在seq2seq的計算流程。
（1）什麼是Seq2seq模型（常用語翻吵迅舉譯的RNN模型）
Seq2Seq又叫Encoder-Decoder模型，常見於機器翻譯。下圖是它的基本結構，以一個RNN作為編碼器，獲得句子的語義向量，以另外一個RNN作為解碼器，進行翻譯。如圖中所展示，我們要翻譯「知識就是力量。」這句話。Encoder是一個RNN，將要翻譯的話轉換成向量特徵，輸入到Decoder中。

（2）語義向量C

首先，先進行數學符號的描述。
（1）在Encoder編碼器中，保留每一個RNN單元的隱藏狀態（hidden state）
（2）在Decoder解碼器中，每個一個RNN單元的隱藏狀升碧態是由輸入和上一步的隱藏狀昌賀態決定的，假設第t步的隱藏狀態記為 （下圖中的START）

到這里其實attention的計算就結束了，得到的這個 就已經是decoder的第t時刻的注意力向量了(在後面的文章中，這也稱作是上下文向量， context vector ，符號表示也可能是用 來表示的）

最後將注意力向量 ，以及decoder的t時刻的hidden state ，並聯起來，然後做後續的步驟（比如,加個dense全連接層做標簽預測之類的)

（1）Soft-attention結構

Soft attention也就是上面Seq2Seq講過的那種最常見的attention，是在求注意力分配概率分布的時候，對於輸入句子X中任意一個單詞都給出個概率，是個概率分布，把attention變數（context vecor）用 表示，attention得分在經過了softmax過後的權值用 表示.
簡單來說
（1）計算attention scores 通過
（2）獲得attention distribution 通過
（3）計算 對應的上下文向量

了解了模型大致原理，我們可以詳細的看一下究竟Self-Attention結構是怎樣的。其基本結構如下

參考文獻

⑼ 語義關系的類型

關系語義 Kripke 語義(也叫做關系語義或框架語義，並經常混淆於可能世界語義)是模態邏輯系統的形式語義，於 1950 年代晚期和 1960 年代早期由 Saul Kripke 建立。它後來為另一個非經典邏輯，最重要的直覺邏輯所接受。Kripke 語義的發現是非經典邏輯開發中重大突破，因為這種邏輯的模型論在 Kripke 之前實際上是不存在的。
模態邏輯的語義
對於我們的目的，模態邏輯的語言由命題變數，讀者喜歡的布爾連結詞的完備集合(比如 {→,¬} 或 {∨,∧,¬})，和模態運算元 <math>\Box</math> (「必然性」)構成。對偶的模態運算元 <math>\Diamond</math> (「可能性」) 定義為一個簡寫: <math>\Diamond A:=\neg\Box\neg A</math>。更多背景請參見模態邏輯。
基本定義
Kripke 框架或模態框架是 <W,R> 對，這里的 W 是非空集合，R 是在 W 上的二元關系。W 的元素叫做節點或世界，而 R 叫做可及關系。
Kripke 模型是 <W,R,<math>\Vdash</math>> 三元組，這里的 <W,R> 是 Kripke 框架，而 <math>\Vdash</math> 是在 W 的節點和模態公式之間的如下關系:
<math>w\Vdash\neg A</math> 當且僅當 <math>w\not\Vdash A</math>，
<math>w\Vdash A\to B</math> 當且僅當 <math>w\not\Vdash A</math> 或 <math>w\Vdash B</math>，
<math>w\Vdash\Box A</math> 當且僅當 <math>\forall u\,(w\; R\; u \Rightarrow u\Vdash A)</math>。
我們把 w <math>\Vdash</math>A 讀做 「w 滿足 A」，「A 滿足於 w」，或 「w 力迫 A」。關系 <math>\Vdash</math> 叫做「滿足關系」、「求值關系」或「力迫關系」。注意滿足關系由它在命題變數上的值唯一確定。
公式 A 在下列之中是有效的:
模型 <W,R,<math>\Vdash</math>>，如果對於所有 w ∈W 有 w <math>\Vdash</math>A，
框架 <W,R>，如果對於 <math>\Vdash</math> 的所有可能的選擇，它在 <W,R,<math>\Vdash</math>> 中是有效的，
框架或模型的類 C，如果它在 C 的每個成員中都是有效的。
我們定義 Thm(C) 為在 C 中有效的所有公式的集合。反過來說，如果 X 是公式的集合，則設 Mod(X) 是使來自 X 的所有公式有效的所有框架的類。
一個模態邏輯(就是說一個公式的集合) L 關於框架的類 C 是可靠的，如果 L⊆Thm(C)。L 關於C 是完備的，如果 L⊇Thm(C)。
對應性和完備性
語義對於邏輯(就是推理系統)研究是有用的，條件是在語義蘊涵關系忠實的反映語法對應物 -- 推論關系 (可推導性)。所以知道哪個模態邏輯關於哪類 Kripke 框架是可靠早渣稿的和完備的，並為它們確定這種類是關鍵性的。
對於 Kripke 框架的任何類 C，Thm(C) 是正規模態邏輯；特別是，最小化正規模態邏梁銀輯 K 的定理，在所有 Kripke 模型中都是有效的。不幸的是，逆命題不是一般性成立的: 有 Kripke 不完備的正規模態邏輯。事實上這不是問題，因為實際中研究的多數模態系統關於由簡單條件所描陸孝述的框架類是完備的。
正規模態邏輯 L 對應於框架類 C，條件是 C=Mod(L)。換句話說，C 是 L 關於 C 是可靠的最大的框架類；隨後 L 是 Kripke 完備的當且僅當它關於它所對應的類是完備的。
作為一個例子，考慮模式 T : <math>\Box</math>A → A。T 在任何自反的框架 <W,R> 中是有效的: 如果 w <math>\Vdash \Box</math>A，則 w <math>\Vdash</math>A，因為 w R w。在另一方面，使 T 有效的框架必須是自反的: 固定 w ∈W，並定義命題變數 p 的滿足為如下: u <math>\Vdash</math>p 當且僅當 w R u。那麼 w <math>\Vdash \Box</math>p，所以 w <math>\Vdash</math>p 於 T，這意味著 w R w 使用了 <math>\Vdash</math> 的定義。我們見到 T 對應於自反的 Kripke 框架的類。
特徵化 L 的對應類經常比證明它的完備性要容易許多，所以對應性充當完備性證明的指導。對應性還用於證實模態邏輯的不完備性: 假定 L1⊆L2 是對應於同一個框架類的正規模態邏輯，L1 不證明 L2 的所有定理。那麼 L1 是 Kripke 不完備的。例如，模式 <math>\Box(A\equiv\Box A)\to\Box A</math> 生成一個不完備的邏輯，因為它對應於同 GL 一樣的框架類(viz. 傳遞性和逆良基的框架)，但是它不證明 <math>\Box A\to\Box\Box A</math>。
規范模型
對於任何正規模態邏輯 L，我們可以構造一個 Kripke 模型(稱為規范模型)，它且只有它使 L 的定理有效，通過接納使用極大一致集合作為模型的標准技術。規范 Kripke 模型扮演的角色類似於在代數語義中的 Lindenbaum–Tarski代數構造。
公式集合 L是一致的，如果從它們、L 的公理和肯定前件中不能推導出矛盾。極大 L一致的集合(簡寫為 L-MCS)是沒有真L一致的超集的 L一致的集合。
L 的規范模型是 Kripke 模型 <W,R,<math>\Vdash</math>>，這里的 W 是所有L-MCS，而關系 R 和 <math>\Vdash</math> 為如下:
<math>X\;R\;Y</math> 當且僅當對所有的公式 <math>A</math>，如果 <math>\Box A\in X</math> 則 <math>A\in Y</math>，
<math>X\Vdash A</math> 當且僅當 <math>A\in X</math>。
規范模型是 L 的模型，因為所有的 L-MCS 包含 L 的所有定理。通過 Zorn 引理，每個 L一致的集合都包含在一個 L-MCS 中，特別是在 L 中不可證明的所有公式都在規范模型中有一個反例。
規范模型的主要應用是完備性證明。例如，K 的規范模型的性質直接蘊含 K 關於所有 Kripke 框架類的完備性。這個論證不適合任意的 L，因為沒有對規范模型的底層框架滿足 L 的框架條件的擔保。
我們說一個公式或公式的集合 X 關於 Kripke 的一個性質 P 是規范的，如果
X 在滿足 P 的所有框架中是有效的，
對於包含 X 的任何正規模態邏輯 L，L 的規范模型底層框架滿足 P。
明顯的，公式的規范集合的並集自身是規范的。服從前面的討論，由公式的規范集合公理化的任何邏輯是 Kripke 完備的和緊湊的。
公理 T、4、D、B、5、H、G(和它們的任意組合)都是規范的。GL 和 Grz 不是規范的，因為他們不是緊湊的。公理 M 自身不是規范的(Goldblatt, 1991)，但是組合的邏輯 S4.1(事實上甚至 K4.1) 是規范的。
一般的，給定的公理是否是規范的是不可判定的。不過我們知道一個好的充分條件: H。Sahlqvist 識別了如下廣泛的一類公式(現在叫做Sahlqvist 公式)
Sahlqvist 公式是規范的，
對應於 Sahlqvist 公式的框架類是一階可定義的，
有計算對一個給定的 Sahlqvist 公式的對應框架條件的演算法。
這是一個非常強力的准則；例如，上面列出的規范的所有公理是實際上的(等價於) Sahlqvist 公式。
有限模型性質
邏輯擁有有限模型性質(FMP)，如果它關於有限框架的類是完備的。這個概念的主要應用之一是可判定性問題: 它服從 Post 定理，有 FMP 的遞歸公理化的模態邏輯 L 是可判定的，倘若給定的有限框架是否是 L 的模型是可判定的。特別是，有 FMP 的所有的有限可公理化的邏輯都是可判定的。
有各種方法為給定的邏輯建立 FMP。精練並擴展規范模型構造通常就行了，使用工具如過濾或拆分。還有一種可能性，給予免切的相繼式演算的完備性證明通常直接產生有限模型。
多數實際上使用的模態系統(包括所有上面列出的)都有 FMP。
在某些情況下，我們可以使用 FMP 來證明邏輯的 Kripke 完備性: 所有正規模態邏輯關於模態代數的類都是完備的，而有限的模態代數可以變換成 Kripke 框架。作為例子，Robert Bull 使用這個方法證明了 S4.3 的所有普通擴展都有 FMP，並且是 Kripke 完備的。
多模態邏輯
Kripke 語義對有多於一個模態的邏輯有直接的推廣。帶有 <math>\{\Box_i;\,i\in I\}</math> 作為必然性運算元的集合的語言的 Kripke 框架，由對每個 i ∈I 裝備上二元關系 Ri 一個非空集合 W構成。滿足關系的定義修改為如下:
<math>w\Vdash\Box_i A</math> 當且僅當 <math>\forall u\,(w\;R_i\;u\Rightarrow u\Vdash A)</math>。
由 Tim Carlson 發現的簡化的語義，經常用於多模態可證明性邏輯。Carlson 模型是結構 <W,R,i∈I,⊩>，帶有一個單一的可及關系 R，和給每個模態的子集 Di ⊆ W。滿足性定義為
<math>w\Vdash\Box_i A</math> 當且僅當 <math>\forall u\in D_i\,(w\;R\;u\Rightarrow u\Vdash A)</math>。
Carlson 模型比通常的多模態 Kripke 模型易於形象化和使用；但是，Kripke 完備的多模態邏輯是 Carlson 不完備的。
直覺邏輯的語義
直覺邏輯的 Kripke 語義服從和模態邏輯的語義同樣的原理，但是它使用了滿足的不同的定義。
直覺 Kripke 模型是一個三元組 <W,≤,<math>\Vdash</math>>，這里的 <W,≤> 是傳遞的和自反的 Kripke 框架(就是說可及關系是預序)，而 <math>\Vdash</math> 滿足下列條件:
如果 p 是命題變數，w ≤ u，而且 w <math>\Vdash</math>p，則 u <math>\Vdash</math>p (堅持條件)，
w <math>\Vdash</math>A ∧ B 當且僅當 w <math>\Vdash</math>A 並且 w <math>\Vdash</math>B，
w <math>\Vdash</math>A ∨ B 當且僅當 w <math>\Vdash</math>A 或者 w <math>\Vdash</math>B，
w <math>\Vdash</math>A → B 當且僅當對於所有 u ≥ w，u <math>\Vdash</math>A 蘊含 u <math>\Vdash</math>B，
無 w <math>\Vdash</math>⊥。
直覺邏輯關於它的 Kripke 語義是可靠的和完備的，並且它有 FMP。
直覺一階邏輯
設 L 是一階語言。L 的 Kripke 模型是三元組 <W,≤,w∈W>，這里的 <W,≤> 是直覺 Kripke 框架，Mw 是每個節點 w ∈W 的(經典) L-結構，而下列相容性條件只要在 u ≤ v 時都是成立的:
Mu 的域包含在 Mv 的域中，
Mu 和 Mv 中的函數符號實現一致於 Mu 的元素，
對於每個 n 元謂詞 P 和元素 a1,...,an ∈Mu: 如果 P(a1,...,an) 成立於 Mu，則它成立於 Mv。
給出經由 Mw 的元素的變數求值 e，我們定義滿足關系 w <math>\Vdash</math>A[e]:
w <math>\Vdash</math>P(t1,...,tn)[e] 當且僅當 'P(t1[e],...,tn[e]) 成立於 Mw，
w <math>\Vdash</math>(A ∧ B)[e] 當且僅當 w <math>\Vdash</math>A[e] 並且 w <math>\Vdash</math>B[e]，
w <math>\Vdash</math>(A ∨ B)[e] 當且僅當 w <math>\Vdash</math>A[e] 或者 w <math>\Vdash</math>B[e]，
w <math>\Vdash</math>(A → B)[e] 當且僅當對於所有的 u ≥ w，u <math>\Vdash</math>A[e] 蘊含 u <math>\Vdash</math>B[e]，
無 w <math>\Vdash</math>⊥[e]，
w <math>\Vdash</math>(∃x A)[e] 當且僅當存在一個 a ∈Mw，使得 w <math>\Vdash</math>A[e(x→a)]，
w <math>\Vdash</math>(∀x A)[e] 當且僅當對於所有的 u ≥ w 和所有的 a ∈Mu，u <math>\Vdash</math>A[e(x→a)]。
這里的 e(x→a) 是給予 x 值 a 的求值，在其他方面一致於 e。
Kripke-Joyal 語義
作為獨立開發的層論的一部分，在 1965 年左右認識到 Kripke 語義密切相關於在 topos 論中對存在量化的處理。就是對一個層的截面的存在性的'局部'示象是一種'可能性'的邏輯。因為這種開發是很多人的工作，比之於理論更合於概念上洞察的天性，歸與榮譽不是很容易的。Kripke-Joyal 語義這個名稱經常用做這種聯系。
模型構造
同在經典的模型論中一樣，有從其他模型構造一個新的 Kripke 模型的方法。
在 Kripke 語義中天然的同態叫做p-態射(它是偽滿射的簡寫，但這個術語很少用)。Kripke 框架 <W,R> 和 <W』,R』> 的 p-態射是一個映射 f:W → W』 滿足
f 保留可及關系，就是說 u R v 蘊涵 f(u) R』 f(v)，
在 f(u) R』 v』 的時候，有一個 v ∈ W 使得 f(v)=v』。
Kripke 模型 <W,R,<math>\Vdash</math>> 和 <W』,R』,<math>\Vdash</math>』> 的 p-態射是它們的底層框架的 p-態射 f:W → W』，它滿足
對於任何命題變數 p，w <math>\Vdash</math>p 當且僅當 f(w) <math>\Vdash</math>』p。
P-態射是特殊種類的雙仿(bisimulation)。一般的說，在框架 <W,R> 和 <W』,R』> 之間的 雙仿是關系 B ⊆ W × W』，它滿足下列 「zig-zag」 性質:
如果 u B u』 並且 u R v，則存在 v』 ∈ W』 使得 v B v』，
如果 u B u』 並且 u』 R』 v』，則存在 v ∈ W 使得 v B v』。
模型的雙仿是對保持原子公式的力迫的補充要求:
對於任何命題變數 p，如果 w B w』，則 w <math>\Vdash</math>p 當且僅當 w』 <math>\Vdash</math>』p。
從這個定義我們得到的關鍵性質是模型的雙仿(所以也是 p-態射)保持所有公式的滿足性，而不只是命題變數。
我可以使用拆分(unravelling)把 Kripke 模型變換成樹。給出一個模型 <W,R,<math>\Vdash</math>> 和固定的節點 w0 ∈ W，我們定義一個模型 <W』,R』,<math>\Vdash</math>』>，這里的 W』 是所有有限序列 s=<w0,w1,...,wn> 的集合，使得對於所有 i<n 和 s <math>\Vdash</math>p，wi R wi+1 當且僅當對於所有變數 p，wn <math>\Vdash</math>p。定義可及關系 R』 變化；在最簡單的情況下我們置
<w0,w1,...,wn> R』 <w0,w1,...,wn,wn+1>,
但是很多應用需要這個關系的自反與/或傳遞閉包，或類似的變更。
過濾是 p-態射的一個變種。設 X 是在採納子公式(subformulas)下閉合的公式的集合。模型 <W,R,<math>\Vdash</math>> 的 X-過濾是從W 到模型 <W』,R』,<math>\Vdash</math>』> 的映射 f，使得
f 是滿射，
f 保持可及關系，和(在兩個方向上)變數 p ∈ X 的滿足性，
如果 f(u) R』 f(v) 並且 u <math>\Vdash \Box</math>A，這里的 <math>\Box</math>A ∈X，則 v <math>\Vdash</math>A。
得到了 f 保持來自 X 的所有公式的滿足性。在典型的應用中，我們把 f 採納為在W 在下列關繫上對份額的投影
u ≡X v 當且僅當對於所有 A ∈X，u <math>\Vdash</math>A 當且僅當 v <math>\Vdash</math>A。
同在拆分的情況下一樣，定義可及關系在份額變化上。
歷史和術語
Kripke 語義不是 Kripke 首創的，以上述方式給出的基於使求值相對於節點的語義早於 Kripke 的工作許久:
Carnap 好像是首先有了這種想法，通過給予求值函數以萊布尼茲的可能世界為范圍的一個參數的方式，對必然性和可能性的模態給出一種可能世界語義。Bayart 進一步發展了這種想法，但是他們都沒能給出 Tarski 介入的這種風格的滿足的遞歸定義；
Jónsson 和 Tarski 給出了仍然影響著當代模態邏輯研究的表達語義的方式，就是代數方法，這包含了 Kripke 語義的很多關鍵想法。他們把這個想法應用於直覺邏輯的語義研究，但沒有見到與模態邏輯的聯系；
Kanger 對模態邏輯的釋義給出了更加復雜的方式，但是包含了 Kripke 方式的很多關鍵想法。他首先注意到在關於可及關系的條件和 Lewis-風格的模態邏輯公理之間的聯系。但是 Kanger 沒能給出對他的系統的完備性證明；
Jaakko Hintikka 在他的論文中介入了是 Kripke 語義的簡單變體的認識邏輯，等同於通過最大化一致集合的方式構造求值的塑造。他沒能為認識邏輯給出推理規則，所以沒能給出完備性證明；
Richard Montague 有了包含在 Kripke 工作中的很多關鍵想法，但是他沒有把它們當作是重要的，所以一直沒有發表直到 Kripke 的論文出版在邏輯學社區中造成了轟動之後；
Evert W. Beth 為直覺邏輯提出了一種基於樹的語義，它極其類似於 Kripke 語義，除了使用了更加麻煩的滿足定義之外。
盡管Kripke 語義的根本思想在 Kripke 首次發表之前就廣為流傳了，Saul Kripke 關於模態邏輯的工作仍可恰當的當作是開拓性的。最重要的是，Kripke 是第一個為模態邏輯證明了完備性定理的人，並且 Kripke 識別了最弱的正規模態邏輯。
盡管 Kripke 的工作有開創性貢獻，很多模態邏輯學家反對術語 Kripke 語義，因為這是對先驅們做的重要貢獻的失禮。反對另一個最廣泛使用的術語可能世界語義的理由是它不適合應用於不是可能性和必然性的模態，比如在認識或道義邏輯中。他們喜歡術語關系語義或框架語義。