Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁(yè)
美林?jǐn)?shù)據(jù)
美林新聞
??部署了Deepseek就可以問答了嗎?
??數(shù)據(jù)治理平臺(tái)管理了非結(jié)構(gòu)化數(shù)據(jù),對(duì)接Deepseek就可以用了嗎?
??全部輸入給deepseek,有數(shù)據(jù)安全問題嗎?
??企業(yè)私有知識(shí)庫(kù)解決解決什么問題呢?
??企業(yè)自有的檔案庫(kù),可否對(duì)接給deepseek作為私有知識(shí)庫(kù)?
??私有知識(shí)庫(kù)的構(gòu)建就是文檔存儲(chǔ)到一起能訪問嗎?
??為什么覺得企業(yè)接入deepseek的回答沒有網(wǎng)頁(yè)版的回答準(zhǔn)確性好?
??……還有哪些工作要做?
許多企業(yè)在成功部署 Deepseek 后,滿懷期待地投入使用,卻發(fā)現(xiàn)效果差強(qiáng)人意,問答效果不如網(wǎng)頁(yè)版理想。問題究竟出在哪里呢?我們總結(jié)了以下幾點(diǎn)關(guān)鍵原因:
??輸入問題不清晰或模糊:欠缺根據(jù)用戶習(xí)慣構(gòu)建提示詞,如專業(yè)領(lǐng)域術(shù)語(yǔ)庫(kù)、縮略語(yǔ)等;
??缺乏相關(guān)知識(shí):非結(jié)構(gòu)化數(shù)據(jù)接入不夠、或者沒有有效接入;RAG檢索增強(qiáng)生成需要優(yōu)化;
??上下文理解不足:對(duì)輸入的問題理解不足、輸入給大模型的自然語(yǔ)言有偏差、缺乏行業(yè)名詞等;
??存在模型偏見及錯(cuò)誤:各類非結(jié)構(gòu)化數(shù)據(jù)的描述信息不規(guī)范、標(biāo)識(shí)錯(cuò)誤等需要修正、敏感場(chǎng)景中需要對(duì)輸出內(nèi)容進(jìn)行安全過濾及審核;
??模型推理能力有限:需要基于實(shí)際場(chǎng)景情況,進(jìn)行推理能力優(yōu)化、調(diào)整續(xù)聯(lián)策略等;
??實(shí)時(shí)信息缺失:作為知識(shí)庫(kù)的文檔內(nèi)容缺乏更新機(jī)制,需要進(jìn)行維護(hù)。
??……
通過對(duì)上述關(guān)鍵原因進(jìn)行分析,我們可以發(fā)現(xiàn):
①問題不清,專業(yè)領(lǐng)域術(shù)語(yǔ)庫(kù)、名詞解釋不全!
②理解不足,元數(shù)據(jù)缺失、屬性定義不完整、需要修正!
③模型偏見及錯(cuò)誤,文檔分類錯(cuò)誤、結(jié)構(gòu)化的描述信息缺失、標(biāo)識(shí)錯(cuò)誤、權(quán)限問題等!
④數(shù)據(jù)錯(cuò)誤,數(shù)據(jù)缺失、錯(cuò)誤、重復(fù)等問題!
⑤實(shí)時(shí)信息缺失,數(shù)據(jù)管理層面的數(shù)據(jù)更新問題!
⑥大模型的輸出出現(xiàn)敏感詞,數(shù)據(jù)安全問題!

數(shù)據(jù)治理是企業(yè)數(shù)據(jù)應(yīng)用的基礎(chǔ),基于本地知識(shí)庫(kù)的大模型智能問答也是如此。只有通過數(shù)據(jù)治理,對(duì)企業(yè)的非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)、標(biāo)簽、權(quán)限、質(zhì)量、安全等進(jìn)行合理管控,輸入給Deepseek才能得到較好的回答。
那么,如何通過數(shù)據(jù)治理實(shí)現(xiàn)Deepseek 高質(zhì)量的智能問答應(yīng)用呢?從Deepseek”接入“到”用起來(lái)“還有哪些工作要做呢?

01、如何基于數(shù)據(jù)治理平臺(tái)管理的非結(jié)構(gòu)化數(shù)據(jù)構(gòu)建企業(yè)本地知識(shí)庫(kù)
用戶(如“氣動(dòng)專業(yè)研發(fā)人員”)在數(shù)據(jù)治理平臺(tái)上傳非結(jié)構(gòu)化文件(如“J型號(hào)A系列發(fā)動(dòng)機(jī)葉片氣動(dòng)實(shí)驗(yàn)報(bào)告”,“J型號(hào)A系列發(fā)動(dòng)機(jī)氣動(dòng)布局設(shè)計(jì)方案”)。平臺(tái)對(duì)這些文件數(shù)據(jù)進(jìn)行預(yù)處理,格式轉(zhuǎn)換等操作(如“J型號(hào)A系列發(fā)動(dòng)機(jī)葉片氣動(dòng)實(shí)驗(yàn)報(bào)告”,提取文件名稱,所屬項(xiàng)目,權(quán)限,密級(jí),質(zhì)量,標(biāo)簽,安全等元數(shù)據(jù))。對(duì)文檔進(jìn)行切片并存儲(chǔ)到向量庫(kù)、圖模型庫(kù)中(如“J型號(hào)A系列發(fā)動(dòng)機(jī)葉片氣動(dòng)實(shí)驗(yàn)報(bào)告”按照切片策略進(jìn)行了切片,并存儲(chǔ)到向量庫(kù))。
02、理解用戶提出的問題并匹配本地知識(shí)庫(kù)
當(dāng)用戶提出問題(如“J型號(hào)A系列發(fā)送機(jī)葉片的進(jìn)氣參數(shù)設(shè)計(jì)值是多少”)時(shí),系統(tǒng)首先需要理解問題的語(yǔ)義,并在本地知識(shí)庫(kù)中檢索相關(guān)的知識(shí)(如“J型號(hào)A系列發(fā)動(dòng)機(jī)”“葉片”“進(jìn)氣參數(shù)”“設(shè)計(jì)值”等關(guān)鍵詞)。通過自然語(yǔ)言處理技術(shù),對(duì)用戶問題進(jìn)行語(yǔ)義分析,提取關(guān)鍵信息,然后與本地知識(shí)庫(kù)中的數(shù)據(jù)進(jìn)行匹配,找到與問題最相關(guān)的文件或文檔片段(如系統(tǒng)會(huì)查詢J型號(hào)相關(guān)文件中與葉片進(jìn)氣參數(shù)設(shè)計(jì)值相關(guān)的內(nèi)容。通過匹配算法,確定與問題最相關(guān)的文檔或文檔片段)。
03、理解匹配的文檔知識(shí),形成提示詞并發(fā)送大模型
匹配相關(guān)文檔,系統(tǒng)進(jìn)一步理解文檔中的知識(shí),將其與用戶問題進(jìn)行結(jié)合(如對(duì)于“J型號(hào)A系列發(fā)動(dòng)機(jī)氣動(dòng)布局設(shè)計(jì)方案”中關(guān)于葉片進(jìn)氣參數(shù)設(shè)計(jì)值的描述為xxx)。構(gòu)建 Prompt(提示詞),將用戶問題和匹配到的文檔片段進(jìn)行整合,形成完整輸入。大模型根據(jù) Prompt (提示詞)對(duì)問題進(jìn)行深入分析和響應(yīng),生成準(zhǔn)確的答案。在數(shù)據(jù)處理過程中需要通過數(shù)據(jù)治理平臺(tái),對(duì)數(shù)據(jù)權(quán)限、安全等進(jìn)行過濾;與用戶權(quán)限進(jìn)行匹配、多輸出內(nèi)容進(jìn)行敏感詞過濾等給出答案。
04、借助數(shù)據(jù)治理平臺(tái),實(shí)現(xiàn)問答中的數(shù)據(jù)安全控制
用戶在數(shù)據(jù)處理過程中需要通過數(shù)據(jù)治理平臺(tái),對(duì)數(shù)據(jù)權(quán)限、安全等進(jìn)行過濾,與用戶權(quán)限進(jìn)行匹配、對(duì)輸出內(nèi)容進(jìn)行敏感詞過濾等給出答案。
至此,完成了一次用戶問答交互,還可以選擇基于上下文的回復(fù),進(jìn)行多輪問答。
美林?jǐn)?shù)據(jù)治理平臺(tái)作為專業(yè)的數(shù)據(jù)治理工具,承接了非結(jié)構(gòu)化數(shù)據(jù)的分類、元數(shù)據(jù)、標(biāo)簽、安全、更新機(jī)制、術(shù)語(yǔ)等信息,為企業(yè)私有知識(shí)庫(kù)的建立提供了強(qiáng)大支撐,為deepseek提供數(shù)據(jù)及關(guān)于數(shù)據(jù)的解釋、安全信息等。
通過數(shù)據(jù)治理,企業(yè)可以將散落的數(shù)據(jù)整合起來(lái),提升數(shù)據(jù)質(zhì)量,保障數(shù)據(jù)安全,為 Deepseek 提供高質(zhì)量的數(shù)據(jù)輸入;Deepseek 憑借其強(qiáng)大的自然語(yǔ)言處理能力,為企業(yè)提供智能、高效的問答服務(wù)。這種結(jié)合不僅提升了企業(yè)的數(shù)據(jù)應(yīng)用能力,還為企業(yè)數(shù)字化轉(zhuǎn)型注入了新的動(dòng)力。
