欧美刺激午夜性久久久久久久,www..com.cn蕾丝视频在线观看免费版,成人国产精品一区二区网站

產(chǎn)品簡介

美林新聞/NEWS

首頁美林?jǐn)?shù)據(jù) 美林新聞

美林?jǐn)?shù)據(jù)技術(shù)專家團(tuán)隊(duì)|智能問答技術(shù)及其應(yīng)用、批注、修訂、圖源標(biāo)注

2021-12-16 10:29:00 次

自Turing于1950年在其經(jīng)典論文中提出“圖靈測試”以來，問答機(jī)器人的發(fā)展藍(lán)圖和目標(biāo)便得以明確。而作為問答機(jī)器人的核心，智能問答技術(shù)的發(fā)展一直備受人們關(guān)注。
早期的智能問答技術(shù)主要基于問答庫中維護(hù)的模板，然后采用模糊匹配的方式給出問題的答案，對(duì)語義分析和用戶意圖理解的程度還不深。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，智能問答技術(shù)也取得了長足的進(jìn)步，并在諸如搜索、智能客服、智能家居等領(lǐng)域落地應(yīng)用，且取得了不錯(cuò)的效果。
本文首先簡要介紹當(dāng)前智能問答的技術(shù)架構(gòu)，然后重點(diǎn)對(duì)其中涉及到的關(guān)鍵技術(shù)、適用場景與優(yōu)缺點(diǎn)進(jìn)行分析。
一、智能問答技術(shù)架構(gòu)
智能問答，其核心任務(wù)是構(gòu)建一個(gè)模型，對(duì)輸入的問句進(jìn)行理解并給出問題的答案。一般來說，可以將問答作為搜索的一個(gè)特例——其提供了一種更為精準(zhǔn)（只有一個(gè)結(jié)果）的搜索服務(wù)，因此，本文中提到的搜索，都是指包含了問答的搜索。為了提升模型的準(zhǔn)確性和智能性，有時(shí)也會(huì)根據(jù)輸入來推薦可能的問題。其技術(shù)架構(gòu)可以簡單示意如下：

自動(dòng)問答架構(gòu)

♦ 問題理解
模型接收到用戶的輸入后，需要對(duì)其進(jìn)行判斷與理解，例如，判斷該輸入是不是一個(gè)問題，該問題屬于哪一個(gè)領(lǐng)域，該問題中的實(shí)體有哪些，需要填充的槽位有哪些，問題的類型是什么，問題是否明確等。對(duì)于意圖不明確的問題，有時(shí)需要用到多輪對(duì)話技術(shù)對(duì)意圖進(jìn)行澄清。
♦ 問題解答
在理解問題后，需要從模型所連接的知識(shí)庫和文檔庫獲取答案，所采取的技術(shù)方案根據(jù)答案來源的不同而不同，本文后續(xù)內(nèi)容重點(diǎn)對(duì)這部分技術(shù)進(jìn)行介紹。
♦ 搜索推薦
根據(jù)輸入，模型為用戶推薦相似的搜索內(nèi)容，其主要體現(xiàn)在兩個(gè)方面，一是在用戶輸入的過程中根據(jù)已輸入的內(nèi)容聯(lián)想其可能輸入的內(nèi)容，二是在搜索結(jié)束后，根據(jù)搜索的內(nèi)容推薦相似的搜索。
二、兩類典型的問答模型
1、Document QA：基于文檔的閱讀理解式自動(dòng)問答
Document QA的核心任務(wù)為：給定一篇文檔和與之有關(guān)的問題，模型自動(dòng)找到該問題的答案。Document QA中最具代表性的片段式提?。⊿pan-extraction），即從給定的文章中提取一段連續(xù)的字符串作為問題的答案。這種方式一般借助于機(jī)器閱讀理解（Machine Reading Comprehension, MRC）技術(shù)，因此，有時(shí)也被稱為基于閱讀理解的自動(dòng)問答。
目前，取得SOTA的MRC均采用預(yù)訓(xùn)練模型，如BERT、ERNIE-Gram等，它們大都通過Transformer加注意力機(jī)制等方式來獲得文檔與問題的向量表示，再通過邊界預(yù)測的方式來確定答案片段的起止位置。
然而，在實(shí)際的問答系統(tǒng)中，往往無法要求用戶在輸入問題的時(shí)候同時(shí)輸入一篇包含該答案的文檔。較為合理的做法是，事先維護(hù)一個(gè)文檔數(shù)據(jù)庫，然后根據(jù)用戶的提問，從文檔庫中找到該問題的答案。
要實(shí)現(xiàn)上述想法，一般有兩種做法：一種是根據(jù)用戶輸入的問題，先找到最相關(guān)的一篇文檔，再對(duì)該文檔應(yīng)用MRC模型，獲取答案。這種做法對(duì)篩選最相關(guān)文檔的算法要求比較高，如果選擇錯(cuò)誤，那么基本上無法得到正確答案。
為了緩解上述弊端，另一種做法是找到一批（比如，10篇）文檔作為候選文檔，再逐文檔應(yīng)用MRC模型，最后對(duì)獲取得到的候選答案進(jìn)行評(píng)分，選擇分?jǐn)?shù)最高的作為最終答案。
綜上，一個(gè)Document QA模型的整體架構(gòu)可以分為三層：文檔提?。≧etriever）、答案提?。≧eader）、答案排序（Ranker）。

Document QA架構(gòu)
（如果采用的是做法1，則在Retriever階段只保留一篇文檔，取消Ranker模塊。）

♦ Retriever
給定用戶輸入的query，采用算法（如tf-idf）從documents中篩選出topN最相關(guān)的文檔。此過程實(shí)際上就是傳統(tǒng)搜索引擎的計(jì)算過程，即計(jì)算query與各document相似度的過程，因此，也可以利用tf-idf算法來快速實(shí)現(xiàn)。
♦ Reader
此階段采用MRC模型對(duì)輸入的query和document進(jìn)行計(jì)算，并從document中找到連續(xù)的字符串作為答案。例如基于BERT的MRC模型結(jié)構(gòu)如下：

基于BERT的MRC模型

首先將query和document連接起來作為輸入，經(jīng)過BERT模型計(jì)算后，得到document中每個(gè)詞作為答案起始位置的概率、作為答案結(jié)束位置的概率，根據(jù)概率大小得到候選答案在document中的起止位置Start和End，候選答案的得分一般由起止位置概率的乘積得到。
♦ Ranker
通過上一步，可以分別從topN相關(guān)文檔中得到對(duì)應(yīng)的N個(gè)候選答案和得分，在這一階段將答案按照得分從高到底排序，返回得分最高的作為最終答案。
♦ Answer packaging
上述三步實(shí)際上已經(jīng)完成了Document QA的主要功能，但在某些條件下該答案過于簡略，而且沒有對(duì)回答不出來的問題做處理。對(duì)于未抽取到答案的情況，可以根據(jù)具體要求輸出“未查詢到答案”、“超出知識(shí)庫范圍”、或其它約定好的內(nèi)容；對(duì)于特定類型問題，可以用問題和答案的組合進(jìn)行包裝，使其顯得更加智能，例如：問題“呼和浩特到北戴河多少公里”，模型抽取到的答案是“約763.0公里”，這里可以將答案包裝成“呼和浩特到北戴河763公里”。
Document QA相較于傳統(tǒng)的通過維護(hù)問答對(duì)實(shí)現(xiàn)自動(dòng)問答的方案，一個(gè)顯著的優(yōu)點(diǎn)就是不需要人工維護(hù)問答對(duì)和意圖模板，但在實(shí)際應(yīng)用中，Document QA還存在一些短板待完善：
⇒ Document QA的計(jì)算過程是一個(gè)典型的“黑盒“，人們無法分析其得到答案的具體計(jì)算是如何進(jìn)行的。
⇒ 由于答案只能從原文截取，因此無法回答一些復(fù)雜的推理類問題，例如，給定一篇介紹姚明的文章，盡管文中出現(xiàn)“姚明出生于上海“之類的信息，但模型可能仍無法回答諸如”姚明的國籍是什么“的問題。
⇒ Retriever算法的效果直接影響后續(xù)答案的提取，特別是在針對(duì)某些特殊領(lǐng)域開發(fā)問答模型時(shí)，需要投入非常多的精力來使模型學(xué)習(xí)到該領(lǐng)域的語言特點(diǎn)。
⇒ 需要標(biāo)注一定規(guī)模的document-query-answer語料來訓(xùn)練Reader模型。
2、KBQA基于知識(shí)庫的自動(dòng)問答
KBQA，即Knowledge Base Question Answering，基于知識(shí)庫的自動(dòng)問答（本文不區(qū)分知識(shí)庫與知識(shí)圖譜的概念，認(rèn)為它們的含義相同），它的核心任務(wù)，是將以自然語言描述的問題轉(zhuǎn)化為可執(zhí)行的結(jié)構(gòu)化查詢語言（NQL），執(zhí)行該查詢語句，得到問題的答案。根據(jù)存儲(chǔ)知識(shí)庫的數(shù)據(jù)庫種類不同，查詢語言一般有SPARQL、Cypher等。由于答案來源是質(zhì)量較高的結(jié)構(gòu)化知識(shí)，因此其最顯著的優(yōu)勢，就是可以深入“理解“用戶的問題，并支持更多復(fù)雜的推理。
比較流行的KBQA方案有兩種，一是基于語義解析的方法，一種是基于搜索排序的方法?；谡Z義解析的方法的核心過程就是先將自然語言問題轉(zhuǎn)化為語義表示，然后再將語義表示轉(zhuǎn)化為可執(zhí)行的查詢語言，這種方法的優(yōu)勢之一，就是可解釋性強(qiáng)，能夠展示獲取答案的全過程?；谒阉髋判虻姆椒ㄊ紫雀鶕?jù)自然語言問題獲取知識(shí)庫中相關(guān)的實(shí)體，然后獲取與該實(shí)體有一步或多步關(guān)系的實(shí)體，并將其視為子圖提取出來作為候選答案集合，最后對(duì)候選實(shí)體進(jìn)行匹配和排序，選擇最終答案。
? 語義解析的方法
語義解析的一個(gè)典型任務(wù)是給定一張表格，用戶用自然語言提出問題，模型自動(dòng)生成相應(yīng)SQL查詢邏輯，然后在表格中執(zhí)行查詢得到答案。

用戶輸入問題：“新浪和人人網(wǎng)的周漲跌幅分別是多少？”
模型會(huì)根據(jù)數(shù)據(jù)表格的內(nèi)容，將該問題轉(zhuǎn)化成sql語句：“select 周漲跌幅 from 表_1 where 名稱=‘新浪’ or 名稱=‘人人網(wǎng)’”
這樣就可以從表中得到查詢結(jié)果：“-4.52 和 -9.55”
語義解析的方法可以分為基于訓(xùn)練數(shù)據(jù)的有監(jiān)督方法和基于規(guī)則的無監(jiān)督方法兩類。
基于訓(xùn)練數(shù)據(jù)的有監(jiān)督方法需要事先準(zhǔn)備標(biāo)注的數(shù)據(jù)用于訓(xùn)練，在KBQA這個(gè)任務(wù)里，標(biāo)注數(shù)據(jù)的格式為：，其中，query就是自然語言問句，nql是結(jié)構(gòu)化的查詢語句。這實(shí)際上也是NLP技術(shù)中的一個(gè)研究方向，叫作text2sql。在深度學(xué)習(xí)的背景下，text2sql一些效果比較好的解決方案大都采用基于「編碼器-解碼器」結(jié)構(gòu)的seq2seq的方法，目前，相關(guān)的研究方向主要聚焦于以下幾個(gè)方面：研究更強(qiáng)的語義表示（BERT）和結(jié)構(gòu)來增強(qiáng)Encoder端對(duì)語義信息的利用程度；研究不同的解碼方式（樹形結(jié)構(gòu)解碼、填槽類解碼）來減小解空間的搜索范圍；研究提高SQL（或者其他結(jié)構(gòu)化查詢語句）語言的抽象性的技術(shù)；研究利用搜索、重排技術(shù)等對(duì)多條候選結(jié)果進(jìn)行正確答案的篩選。對(duì)text2sql模型進(jìn)行評(píng)價(jià)的方法主要有兩種：一種是精確匹配率，指的是生成的SQL與正確的SQL在select、where、from等模塊達(dá)到字符串級(jí)別的完全匹配的比例；另一種是執(zhí)行正確率，指的是生成的SQL能夠在數(shù)據(jù)庫執(zhí)行并返回正確的答案的比例。
基于規(guī)則的無監(jiān)督方法的典型過程包括以下步驟：
（1）問句分析：
把自然語言問句轉(zhuǎn)化成查詢語義三元組的形式；
（2）資源映射：
將三元組中的每個(gè)短語，確定其在知識(shí)庫中的對(duì)應(yīng)資源；
（3）查詢語句的生成：
對(duì)不同類型的問題依據(jù)不同的模板生成對(duì)應(yīng)的查詢語句。
? 搜索排序的方法
知識(shí)圖譜是以實(shí)體為節(jié)點(diǎn)的網(wǎng)絡(luò)，一般處理與實(shí)體相關(guān)的事實(shí)內(nèi)容，比如答案為人名、機(jī)構(gòu)名、地名的問題，這種類型的問答任務(wù)稱為事實(shí)型問答，在問句中都包含至少一個(gè)實(shí)體詞，問題所涉及的知識(shí)也就是該詞對(duì)應(yīng)實(shí)體的事實(shí)，那么答案就是這些事實(shí)中的實(shí)體。
例如用戶輸入問題：“姚明的妻子是誰？”該問題的核心實(shí)體是“姚明”，從知識(shí)圖譜中查詢到實(shí)體“姚明”，并將該實(shí)體相關(guān)聯(lián)的實(shí)體提取出來作為候選答案。

在本例中與實(shí)體“姚明”相關(guān)聯(lián)的實(shí)體及其關(guān)系為：
“姚明”--“國籍”-->“中國”
“姚明”--“配偶”-->“葉莉”
“姚明”--“出生地”-->“上海”
再通過計(jì)算每個(gè)相關(guān)聯(lián)實(shí)體與問題匹配程度，會(huì)得到與問題最匹配的答案是“姚明”--“配偶”-->“葉莉”，輸出答案“葉莉”。
基于搜索排序的知識(shí)問答就類似于人工回答的過程：首先，確定問句中的主題詞；然后，根據(jù)主題詞鏈接到知識(shí)庫中的實(shí)體，得到主題實(shí)體；其次，將主題實(shí)體以及知識(shí)庫中與主題實(shí)體相關(guān)的實(shí)體提取出來作為候選答案；最后，從候選答案中選擇出正確的答案。
找到主題詞并找到知識(shí)庫中與之對(duì)應(yīng)的實(shí)體，是實(shí)體識(shí)別與實(shí)體鏈接的任務(wù)，這里主要介紹如何從問句和答案中提取特征，并對(duì)它們的匹配程度進(jìn)行計(jì)算。
從問句中提取特征首先需要對(duì)問句進(jìn)行句法分析，得到其依存句法樹?；谝来婢浞洌梢赃M(jìn)一步抽象得到許多有用的信息，主要包括：
（1）問題詞：
         例如，誰，哪，什么等；
（2）問句焦點(diǎn)詞：
        這個(gè)詞暗示了答案的類型；
        例如：名字，時(shí)間，地點(diǎn)等；
（3）主題詞：
       用于幫助找到知識(shí)庫中相關(guān)的知識(shí)點(diǎn)；
（4）中心動(dòng)詞
作為候選答案的知識(shí)庫中的節(jié)點(diǎn)，都可以抽取出以下特征：節(jié)點(diǎn)的所有關(guān)系；節(jié)點(diǎn)的所有屬性及屬性值；節(jié)點(diǎn)與主題實(shí)體的路徑。
在提取了問句和候選答案的特征之后，接下來就是對(duì)其進(jìn)行匹配。為此，可以將問句中的特征和候選答案的特征進(jìn)行組合，并將關(guān)聯(lián)度較高的問題-候選答案賦予較高的權(quán)重。這種賦權(quán)過程可以通過機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)，具體地，將從候選答案中選出正確答案視為一個(gè)二分類問題，從而可以使用<問題-答案>的標(biāo)注數(shù)據(jù)來訓(xùn)練一個(gè)分類模型。
三、總結(jié)
本文主要介紹了兩類常用的自動(dòng)問答技術(shù)的實(shí)現(xiàn)原理，縱觀整個(gè)自動(dòng)問答的研究成果和技術(shù)現(xiàn)狀，仍需要對(duì)以下問題進(jìn)行深入研究：
計(jì)算機(jī)能夠直接處理的只有數(shù)字，如何把自然語言包含的語義信息準(zhǔn)確、無遺漏地映射成數(shù)字，是所有NLP任務(wù)面臨的挑戰(zhàn)。盡管基于預(yù)訓(xùn)練模型的方法橫掃了各大NLP任務(wù)的榜單，但是在自動(dòng)問答的任務(wù)上，此方法衍生出的模型所取得的效果仍然無法令人滿意。這類方法試圖通過龐大的參數(shù)和復(fù)雜的結(jié)構(gòu)來對(duì)自然語言問句進(jìn)行解析、推理、查詢和回答，隨著問句復(fù)雜程度的提升，該方法的推理能力會(huì)顯著地降低，從而導(dǎo)致回答錯(cuò)誤或無法回答；此外，正如所有NLP任務(wù)所面臨的挑戰(zhàn)一樣，對(duì)跨領(lǐng)域的模型進(jìn)行二次訓(xùn)練所消耗的高額資源是阻礙其大規(guī)模應(yīng)用的重要原因。
KBQA由于有高質(zhì)量的知識(shí)庫作為底層支撐，往往具有較好表現(xiàn)效果。但是，拋開維護(hù)知識(shí)庫所需要投入的巨大資源之外，如何正確解析問句、從大規(guī)模的知識(shí)庫中快速定位到關(guān)鍵實(shí)體并根據(jù)關(guān)鍵實(shí)體找到對(duì)應(yīng)的屬性（關(guān)系）作為答案，對(duì)于數(shù)據(jù)結(jié)構(gòu)、硬件資源以及解析模型的要求仍是非常高的。

上一篇：蘭州理工大學(xué)一行赴美林?jǐn)?shù)據(jù)座談交流下一篇：美林?jǐn)?shù)據(jù)獲邀成為成渝地區(qū)大數(shù)據(jù)與人工智能產(chǎn)業(yè)職業(yè)教育集團(tuán)首屆常務(wù)理事單位

美女扒开腿让男人桶爽久久软_免费观看四虎精品成人_精品国产亚洲一区二区麻豆_色老汉一区二区三区_老湿机69福利_久久久日本电影_久久精品免费一区二区_久久视频国产精品免费视频在线_热草久综合在线_中文字幕永久免费

Tempo大數(shù)據(jù)分析平臺(tái)

Tempo商業(yè)智能平臺(tái)

Tempo人工智能平臺(tái)

Tempo數(shù)據(jù)工廠平臺(tái)

Tempo數(shù)據(jù)治理平臺(tái)

Tempo主數(shù)據(jù)管理平臺(tái)

Tempo指標(biāo)平臺(tái)

自助式可視化分析

算法模型管理

指標(biāo)管理解決方案

數(shù)字指揮中心

湖倉一體解決方案

智能場景應(yīng)用構(gòu)建

主數(shù)據(jù)應(yīng)用監(jiān)管

數(shù)據(jù)中臺(tái)

數(shù)據(jù)資產(chǎn)入表

發(fā)電

電網(wǎng)

制造

油氣

煤炭

高校

政企

金融

科研院所

大數(shù)據(jù)分析師

DAMA認(rèn)證

美林?jǐn)?shù)據(jù)

合作生態(tài)

內(nèi)容中心

幫助中心

美林新聞

行業(yè)資訊

產(chǎn)品簡介

Tempo商業(yè)智能平臺(tái)

Tempo人工智能平臺(tái)

Tempo數(shù)據(jù)工廠平臺(tái)

Tempo指標(biāo)平臺(tái)

Tempo數(shù)據(jù)治理平臺(tái)

Tempo主數(shù)據(jù)管理平臺(tái)

相關(guān)推薦

美林新聞/NEWS

美林?jǐn)?shù)據(jù)技術(shù)專家團(tuán)隊(duì)|智能問答技術(shù)及其應(yīng)用、批注、修訂、圖源標(biāo)注

聯(lián)系我們

400-608-2558 029-8669-8003

掃碼關(guān)注我們

掃碼立即咨詢

美林?jǐn)?shù)據(jù)技術(shù)專家團(tuán)隊(duì)|智能問答技術(shù)及其應(yīng)用、批注、修訂、圖源標(biāo)注