工業(yè)大數(shù)據(jù)分析技術(shù)在實踐應(yīng)用中的思路與方法（下篇）
2020-11-10 14:10:30
次
導(dǎo)讀：欲避免數(shù)據(jù)分析工作的陷阱，就須事先了解可能遇到的各類問題和困難。在《工業(yè)大數(shù)據(jù)分析技術(shù)在實踐應(yīng)用中的思路和方法》（上篇）中，我們一起研討了工業(yè)大數(shù)據(jù)分析的特殊性和難點；今天我們將繼續(xù)和您分享（下篇）內(nèi)容，共同探討如何用少的時間代價換取數(shù)據(jù)分析工作的高成功率和大價值；如何選擇合適的方法解決具體的應(yīng)用問題，并對分析結(jié)果的可靠性做出科學(xué)評估，避免技術(shù)在具體應(yīng)用中受阻、被淹沒……
一、工業(yè)大數(shù)據(jù)分析的基本框架
目前，業(yè)界在開展工業(yè)大數(shù)據(jù)分析時主要遵從CRISP-DM分析流程，以數(shù)據(jù)為中心，將相關(guān)工作分成業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、驗證與評估、實施與運行等六個步驟，如下圖所示。此流程相關(guān)步驟存在多處循環(huán)和反復(fù)迭代，如業(yè)務(wù)理解和數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備和建模之間，整個分析過程需要在不斷交替中深入進行，甚至?xí)霈F(xiàn)模型驗證評估和業(yè)務(wù)理解之間的修正調(diào)整。
圖 1：CRISP-DM方法
由于工業(yè)數(shù)據(jù)關(guān)聯(lián)關(guān)系復(fù)雜、工業(yè)數(shù)據(jù)質(zhì)量差、工業(yè)場景的分析要求高等導(dǎo)致CRISP-DM方法在工業(yè)領(lǐng)域的具體應(yīng)用中遇到一些問題。加之，工業(yè)大數(shù)據(jù)分析過程中往往需要對業(yè)務(wù)和數(shù)據(jù)進行充分解讀，難免會出現(xiàn)大量無效的循環(huán)往復(fù)的工作，導(dǎo)致在用CRISP-DM方法分析時效率較低。所以，在工業(yè)大數(shù)據(jù)分析過程中，用好CRISP-DM的關(guān)鍵是減少上下步驟之間的反復(fù)，避免單向箭頭變成雙向。更需要注意的是，要盡量減少模型驗證評估失敗后重新進入業(yè)務(wù)理解這樣大跳躍的反復(fù)。這就是在前文提到的在開展工業(yè)大數(shù)據(jù)建模前要固化好分析場景和評估確定好數(shù)據(jù)條件。
二、工業(yè)大數(shù)據(jù)分析具體如何開展
長期實踐來看，CRISP-DM模型須補充進新內(nèi)涵才能更好的指導(dǎo)工業(yè)應(yīng)用場景的工業(yè)大數(shù)據(jù)分析。CRISP-DM模型在工業(yè)大數(shù)據(jù)的中的應(yīng)用推進，主要分以下幾個階段：
01 業(yè)務(wù)理解
明確業(yè)務(wù)需求和數(shù)據(jù)分析的目標(biāo)。
業(yè)務(wù)理解的過程通常需要將專業(yè)領(lǐng)域的知識和數(shù)據(jù)模型充分融合，業(yè)務(wù)領(lǐng)域的知識可作為工業(yè)建模的輸入變量融入到工業(yè)分析模型中，也可以作為知識去輔助建立高效地診斷、檢測、預(yù)測模型從而指導(dǎo)工業(yè)應(yīng)用。工業(yè)大數(shù)據(jù)分析需要數(shù)據(jù)分析師深入理解業(yè)務(wù)，且要對這個“度”把握和控制好。一方面，只有數(shù)據(jù)分析師深入理解業(yè)務(wù)，才能實現(xiàn)領(lǐng)域知識與數(shù)據(jù)分析的有機融合，得到高水平、有價值的分析結(jié)果；另一方面，成為一個業(yè)務(wù)領(lǐng)域?qū)＜倚枰嗄甑姆e累，完整掌握業(yè)務(wù)知識是不現(xiàn)實的，需要專業(yè)人員及環(huán)境的多項支持。因此，為提升工業(yè)應(yīng)用現(xiàn)場業(yè)務(wù)認(rèn)知深度，企業(yè)基本是采用業(yè)務(wù)咨詢顧問和數(shù)據(jù)分析師配合組隊的模式來開展工業(yè)大數(shù)據(jù)分析工作。
02 數(shù)據(jù)理解
準(zhǔn)確建立數(shù)據(jù)和業(yè)務(wù)間的關(guān)聯(lián)關(guān)系，從數(shù)據(jù)的角度深度解讀業(yè)務(wù)。
數(shù)據(jù)分析師會習(xí)慣性地把工業(yè)大數(shù)據(jù)分析過程中遇到的分析效率低、數(shù)據(jù)信噪比低、機理融合難、錯誤結(jié)果多等問題歸結(jié)到數(shù)據(jù)質(zhì)量層面，而忽略在數(shù)據(jù)理解階段的深層次問題，而數(shù)據(jù)理解恰恰是數(shù)據(jù)建模的關(guān)鍵所在，也常常是數(shù)據(jù)分析過程中大家的盲點所在。數(shù)據(jù)理解需要從數(shù)據(jù)類型狀態(tài)、數(shù)據(jù)質(zhì)量條件和數(shù)據(jù)間的關(guān)聯(lián)關(guān)系等方面開展判斷論證，確定是否滿足業(yè)務(wù)場景的要求。
03 數(shù)據(jù)準(zhǔn)備
為工業(yè)建模分析提供干凈、有效的輸入數(shù)據(jù)源。
工業(yè)企業(yè)數(shù)據(jù)準(zhǔn)備環(huán)節(jié)主要為解決業(yè)務(wù)應(yīng)用問題開展數(shù)據(jù)集成治理，實現(xiàn)數(shù)據(jù)資源的互通和共享，提供工業(yè)建模所需的數(shù)據(jù)。通常需要成立專項數(shù)據(jù)治理組織，通過數(shù)據(jù)集成和定期運維等方式保證業(yè)務(wù)系統(tǒng)和線下數(shù)據(jù)準(zhǔn)確與完整。此外，工業(yè)過程數(shù)據(jù)由于傳感器故障、人為操作因素、系統(tǒng)誤差、異構(gòu)數(shù)據(jù)源、網(wǎng)絡(luò)傳輸亂序等因素極易出現(xiàn)噪聲、缺失值、數(shù)據(jù)不一致等情況，鑒于此通常需采用一定的數(shù)據(jù)預(yù)處理技術(shù)，消除數(shù)據(jù)中的噪聲、糾正數(shù)據(jù)不一致、識別和刪除離群數(shù)據(jù)，來提高算法模型的魯棒性，防止模型過擬合或欠擬合。
04 數(shù)據(jù)建模
對業(yè)務(wù)和數(shù)據(jù)進行深入理解，選擇合適的算法和建模工具，并對數(shù)據(jù)中的規(guī)律進行固化、提取，最后輸出數(shù)據(jù)分析模型。
工業(yè)模型不同于數(shù)據(jù)分析中的聚類、分類、回歸等算法，它更多的是基于業(yè)務(wù)機理知識與算法融合后解決實際業(yè)務(wù)問題的一套理論體系或業(yè)務(wù)機制。數(shù)據(jù)建模的本質(zhì)是發(fā)現(xiàn)知識和固化知識，工業(yè)領(lǐng)域的知識主要通過試驗\試加工等手段獲得，把累次試驗加工所用到的參數(shù)慢慢地固化下來，最終得到穩(wěn)定的產(chǎn)品質(zhì)量，此邏輯對工業(yè)領(lǐng)域的數(shù)據(jù)建模同樣有效。
例如，我們在給航發(fā)某廠做外場服務(wù)備件年度需求預(yù)測分析時，首先定義業(yè)務(wù)場景及需求是面向服務(wù)部提供外場備件的需求預(yù)測服務(wù)，解決外場備件需求預(yù)測不準(zhǔn)、不及時的問題。然后，通過數(shù)據(jù)集成和數(shù)據(jù)預(yù)處理等手段獲取外場備件預(yù)測相關(guān)的近十年發(fā)動機故障信息、裝機記錄、計量信息和發(fā)貨記錄等數(shù)據(jù)，在對數(shù)據(jù)進行充分理解和探索后，結(jié)合廠內(nèi)業(yè)務(wù)專家的業(yè)務(wù)知識，在開展工業(yè)建模時將備件細(xì)分為換件頻次低但價值高的故障件（特殊消耗件、周轉(zhuǎn)件）和換件頻次高、換件量波動大且價值密度相對較低的消耗件（一般消耗件），分別進行建模預(yù)測。最后，在不同的規(guī)則約束下，通過模型評估和工程實際應(yīng)用效果，優(yōu)選出合適的算法模型，實現(xiàn)故障件和消耗件各自細(xì)分類別下的準(zhǔn)確預(yù)測，極大提升了服務(wù)備件計劃的準(zhǔn)確性和外場服務(wù)保障的及時性。
圖2：外場服務(wù)備件需求預(yù)測建模思路
因此，工業(yè)大數(shù)據(jù)建模需要對已有工業(yè)領(lǐng)域的知識深入理解，并在數(shù)據(jù)建模的過程中予以參考和融入，以通過數(shù)據(jù)分析獲得大量“不糾結(jié)于因果的知識”，這是得到高質(zhì)量模型的關(guān)鍵所在。對于企業(yè)而言，鑒于場景化數(shù)據(jù)積累量和全面性短期難以全面達到全面數(shù)據(jù)分析的要求，可優(yōu)先以挖掘到的新知識\方法相比現(xiàn)有業(yè)務(wù)環(huán)節(jié)在結(jié)果和流程上得到提升或改進為原則，以保證分析建模工作達到基礎(chǔ)的應(yīng)用效果，然后在此基礎(chǔ)隨著數(shù)據(jù)積累和認(rèn)知提升，持續(xù)改進優(yōu)化。
05 模型的驗證和評估
確認(rèn)數(shù)據(jù)分析的結(jié)果或模型是否滿足具體工業(yè)應(yīng)用場景的使用需求的過程。
工業(yè)界通常追求分析結(jié)果具備高度的可靠性及準(zhǔn)確性。所以，驗證與評估的重點是驗證模型在什么范圍內(nèi)有效，有效程度是多少，不能只盯平均精度。也就是說，需要分場景去驗證和評估模型，結(jié)合數(shù)學(xué)精度要求與專業(yè)領(lǐng)域知識綜合進行評估和改善。例如，我們針對某鋼廠開展的硅鋼縱條紋工藝參數(shù)優(yōu)化項目，通過領(lǐng)域知識發(fā)現(xiàn)硅和鋁的成分占比對生產(chǎn)工藝影響較大，但在工藝數(shù)據(jù)層面，此類關(guān)鍵參數(shù)控制的比較穩(wěn)定，其對縱條紋影響的重要性就完全顯現(xiàn)不出來。因此，生產(chǎn)控制過程中涉及到的工藝參數(shù)優(yōu)化，其目標(biāo)應(yīng)該是首先選擇波動較大的參數(shù)進行重點采集與調(diào)整，其次在設(shè)計區(qū)間約束的范圍內(nèi)對模型進行控制與調(diào)整，開展實際生產(chǎn)驗證，進而獲得對生產(chǎn)控制策略改進優(yōu)化后的模型。
06 模型部署
將訓(xùn)練、分析得到的知識模型，以便于用戶使用的方式和要求重新固化，形成便于用戶使用的形式的過程，其成果可以是研究報告、可重復(fù)使用的數(shù)據(jù)挖掘程序或模型服務(wù)程序。
分析應(yīng)用模型通常以軟件定義和呈現(xiàn)的方式應(yīng)用在企業(yè)的業(yè)務(wù)、管理或者監(jiān)控系統(tǒng)中。模型在運行過程中需要持續(xù)地進行優(yōu)化，否則模型就沒有持續(xù)生命力，因為其精度很大程度上決定于數(shù)據(jù)的質(zhì)量，往往模型在部署之后，由于缺乏數(shù)據(jù)的管理維護，導(dǎo)致數(shù)據(jù)的質(zhì)量較差或者不滿足采集條件。因此，要保證分析模型給企業(yè)帶來效益，需要花費人力和物力保障數(shù)據(jù)的采集條件，從而為提高數(shù)據(jù)的精度奠定基礎(chǔ)。同時，隨著數(shù)據(jù)質(zhì)量的提高和數(shù)量的增加，可能會挖掘出新的知識或規(guī)則，需要定期對模型進行完善，這也是推動模型不斷優(yōu)化的動力。
結(jié)語
隨著工業(yè)大數(shù)據(jù)分析技術(shù)體系的不斷成熟、企業(yè)數(shù)據(jù)資產(chǎn)的不斷沉淀、應(yīng)用場景的不斷延伸、數(shù)據(jù)化意識的不斷深化，工業(yè)大數(shù)據(jù)應(yīng)用必將是企業(yè)數(shù)字化轉(zhuǎn)型的持續(xù)動力和重要著力點。未來，在新技術(shù)條件下，我們將同各類工業(yè)企業(yè)一起著力于實現(xiàn)貫穿于產(chǎn)品研發(fā)設(shè)計、生產(chǎn)、管理、倉儲、物流、服務(wù)等各業(yè)務(wù)環(huán)節(jié)和全流程的大數(shù)據(jù)采集、存儲、管理和分析應(yīng)用，利用工業(yè)大數(shù)據(jù)分析技術(shù)和解決方案融合應(yīng)用能力，挖掘工業(yè)數(shù)據(jù)的深層次價值，達到改進產(chǎn)品設(shè)計、提升生產(chǎn)效率、提高產(chǎn)品質(zhì)量、降低企業(yè)成本、提升運營能力等多項目標(biāo)，為提升企業(yè)的生產(chǎn)力、競爭力和創(chuàng)新力不斷賦能。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
大數(shù)據(jù)分析與應(yīng)用
陜公網(wǎng)安備 61019002000171號
