工業(yè)大數(shù)據(jù)分析技術(shù)在實踐應(yīng)用中的思路與方法（上篇）
2020-11-09 14:14:36
次
導(dǎo)讀：工業(yè)大數(shù)據(jù)即工業(yè)數(shù)據(jù)的總和，其來源主要包括企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)、“跨界”數(shù)據(jù)等，它是工業(yè)互聯(lián)網(wǎng)的核心，是智能制造的關(guān)鍵。工業(yè)大數(shù)據(jù)分析作為工業(yè)大數(shù)據(jù)的核心技術(shù)之一，是工業(yè)智能化發(fā)展的重要基礎(chǔ)和關(guān)鍵支撐。
本文將結(jié)合作者在工業(yè)領(lǐng)域多年的實踐應(yīng)用經(jīng)驗，力圖對工業(yè)大數(shù)據(jù)分析技術(shù)的應(yīng)用思路、方法和流程進行總結(jié)，旨在為企業(yè)開展大數(shù)據(jù)分析工作提供技術(shù)和業(yè)務(wù)上的借鑒。
在本文中我們將一起研討和思考：
- 工業(yè)大數(shù)據(jù)分析的特殊性；
- 工業(yè)大數(shù)據(jù)分析的困境及難點；
- 工業(yè)大數(shù)據(jù)分析的基本框架；
- 工業(yè)大數(shù)據(jù)分析該如何開展？
工業(yè)大數(shù)據(jù)分析是利用統(tǒng)計學(xué)分析技術(shù)、機器學(xué)習(xí)技術(shù)、信號處理技術(shù)等技術(shù)手段，結(jié)合業(yè)務(wù)知識對工業(yè)過程產(chǎn)生的數(shù)據(jù)進行處理、計算、分析并提取其中有價值的信息和規(guī)律的過程。從過程與目標(biāo)角度看，工業(yè)大數(shù)據(jù)分析和傳統(tǒng)統(tǒng)計分析、商業(yè)智能分析涉及的學(xué)科和技術(shù)大同小異。但從分析理念和特點上看，工業(yè)大數(shù)據(jù)分析又有其自身的特殊性。
首先，進入大數(shù)據(jù)時代，數(shù)據(jù)的變化往往引發(fā)工作方法和價值體現(xiàn)的改變。對于數(shù)據(jù)的變化，非工業(yè)領(lǐng)域往往強調(diào)數(shù)量上的變化；但在工業(yè)領(lǐng)域，則更注重數(shù)據(jù)完整性和質(zhì)量的提升。工業(yè)現(xiàn)場往往對分析結(jié)果的精度、可靠度要求高，加之工業(yè)對象和過程本身也很復(fù)雜。因此，工業(yè)大數(shù)據(jù)分析方法的重點是通過數(shù)據(jù)條件的改善，結(jié)合相關(guān)分析技術(shù)的有效應(yīng)用，得到質(zhì)量高的分析結(jié)果。
此外，工業(yè)場景的邊界往往都有專業(yè)領(lǐng)域的機理來約束。對于復(fù)雜的工業(yè)過程數(shù)據(jù)分析，往往不能僅局限于相關(guān)關(guān)系分析，需要強調(diào)工業(yè)領(lǐng)域業(yè)務(wù)知識和數(shù)據(jù)分析過程的深度融合；強調(diào)復(fù)雜業(yè)務(wù)問題簡化和分析結(jié)果的可解釋性，而不是簡單地追求數(shù)據(jù)量大與分析算法的復(fù)雜和先進性。一言以蔽之，工業(yè)大數(shù)據(jù)分析需要在工業(yè)具體業(yè)務(wù)要求的邊界下，用數(shù)據(jù)思維和數(shù)理邏輯去嚴(yán)格地定義問題，采用“數(shù)據(jù)驅(qū)動+機理模型”的雙輪驅(qū)動方式去精確表征、有效解決實際問題。
02 工業(yè)大數(shù)據(jù)分析的困境及難點
工業(yè)大數(shù)據(jù)分析的困境及難點主要體現(xiàn)在對工業(yè)對象（過程）理解和認(rèn)知要求的高標(biāo)準(zhǔn)和一致性、工業(yè)大數(shù)據(jù)建模的復(fù)雜性和反復(fù)性、分析結(jié)果的可靠性和確定性三個方面。
第一. 工業(yè)大數(shù)據(jù)分析對數(shù)據(jù)分析人員的業(yè)務(wù)背景認(rèn)知能力要求較高
數(shù)據(jù)分析師不能按照以往思路，對業(yè)務(wù)相關(guān)對象、數(shù)據(jù)情況初步摸底認(rèn)知后就匆匆開展具體分析建模工作。而針對工業(yè)對象和過程的復(fù)雜系統(tǒng)，不同的場景下業(yè)務(wù)問題之間的關(guān)系往往會發(fā)生改變，加之?dāng)?shù)據(jù)缺失嚴(yán)重、噪聲大、業(yè)務(wù)含義代表性強等因素，理論體系下的數(shù)據(jù)分析相關(guān)理念與技術(shù)很難直接適用于此類場景的變化和復(fù)雜度要求。如若數(shù)據(jù)分析團隊對研究工業(yè)對象認(rèn)識不夠深入或“片面性”理解，往往會導(dǎo)致分析出來的結(jié)果是只是證明了領(lǐng)域內(nèi)業(yè)務(wù)機理/常識的正確性或某一公認(rèn)理念，就會經(jīng)常出現(xiàn)項目研究投入高、產(chǎn)出低的問題。
因此，工業(yè)大數(shù)據(jù)分析需堅持的原則是分析和應(yīng)用都要結(jié)合具體的流程，分析工作開展前要保證數(shù)據(jù)條件符合業(yè)務(wù)場景要求。
第二. 工業(yè)大數(shù)據(jù)建模算法的復(fù)雜性和過程的反復(fù)性使得整個實現(xiàn)過程較為“繁瑣和曲折”
在開展工業(yè)建模時，雖然基礎(chǔ)算法原理和應(yīng)用方式的變化不大，但運用此類算法的過程卻極大程度地“曲折”，往往需要結(jié)合業(yè)務(wù)知識和數(shù)據(jù)情況將算法嵌入到實際的工業(yè)應(yīng)用場景與邏輯中去，需要模型基于初次的分析結(jié)果不斷地修正、迭代和完善，以此來提升模型的魯棒性與準(zhǔn)確性。此外，工業(yè)過程數(shù)據(jù)形式的復(fù)雜性、數(shù)據(jù)質(zhì)量參差不齊等也使得工業(yè)大數(shù)據(jù)分析建模與有效應(yīng)用的困難度加大。
第三. 工業(yè)產(chǎn)業(yè)模式及應(yīng)用場景對工業(yè)大數(shù)據(jù)分析結(jié)果的可靠性和決策可指導(dǎo)性要求高，導(dǎo)致工業(yè)大數(shù)據(jù)分析應(yīng)用的成熟化落地變得困難。
一般情況下，大多數(shù)企業(yè)的工業(yè)現(xiàn)場設(shè)備控制、工藝調(diào)整、質(zhì)量管控等都已處在相對優(yōu)良的階段，而通過工業(yè)數(shù)據(jù)分析得到的概率性結(jié)論和現(xiàn)場實際有一定的偏差。此偏差可能是生產(chǎn)環(huán)節(jié)本身引起的，也有可能是數(shù)據(jù)采集環(huán)節(jié)的數(shù)據(jù)本身失真引起的，單從數(shù)據(jù)分析結(jié)果角度往往很難發(fā)現(xiàn)和解釋具體差異引起的原因，導(dǎo)致大家對于分析結(jié)果的可靠性存疑。另一方面，企業(yè)業(yè)務(wù)人員對所從事的工業(yè)過程/經(jīng)營管理等業(yè)務(wù)的認(rèn)識原本就相對深刻，這就要求工業(yè)大數(shù)據(jù)分析能剖析、給出更深層次的業(yè)務(wù)實情信息或優(yōu)化策略，只有分析得到的知識具有更高精度和可靠性時，從業(yè)務(wù)決策指導(dǎo)層面才具有實用價值，這也是工業(yè)大數(shù)據(jù)分析價值落地應(yīng)用面臨的挑戰(zhàn)之一。
因此，工業(yè)領(lǐng)域的數(shù)據(jù)分析重點強調(diào)數(shù)據(jù)分析技術(shù)和領(lǐng)域知識融合來獲取有價值的知識。當(dāng)模型涉及到的因素很多、形成真正的復(fù)雜多維度問題且機理不清晰時，且往往沒足夠的數(shù)據(jù)來建立和驗證模型，這時就需要充分利用專業(yè)領(lǐng)域知識進行“降維”，力求從有限的數(shù)據(jù)中分析出足夠可靠的結(jié)果。
我們在實踐中認(rèn)識到工業(yè)大數(shù)據(jù)分析的瓶頸難點，往往不是計算機存儲和處理數(shù)據(jù)的能力，而是蘊含工業(yè)機理的數(shù)據(jù)關(guān)聯(lián)關(guān)系的復(fù)雜性。這種復(fù)雜性使得傳統(tǒng)的數(shù)據(jù)分析方法難以奏效，無法從數(shù)據(jù)中獲得質(zhì)量更高、價值更大的知識，如果沒有合適的思想和技術(shù)手段，面對工業(yè)大數(shù)據(jù)價值的藍海時，就會無從下手。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
大數(shù)據(jù)分析與應(yīng)用
陜公網(wǎng)安備 61019002000171號
