在日常工作中，產(chǎn)品、運(yùn)營(yíng)、研發(fā)及數(shù)據(jù)分析師常常會(huì)發(fā)現(xiàn)：處理、加工和識(shí)別數(shù)據(jù)等數(shù)據(jù)處理工作往往會(huì)占用整個(gè)工作流程80%的時(shí)間。造成這種困境的原因，大致有三點(diǎn)：
1）數(shù)據(jù)量大且混亂、數(shù)據(jù)質(zhì)量參差不齊；
2）整體概括信息缺乏，度量信息如最大值、最小值、平均值、匯總值、方差、中位數(shù)等，維度信息如枚舉值分布等，均不能直接對(duì)用戶可見；
3）元數(shù)據(jù)管理不完善，如表名稱備注、字段類型、描述不準(zhǔn)確、口徑未統(tǒng)一等存在元數(shù)據(jù)管理混亂或缺失的情況。
而以上問題，通過數(shù)據(jù)探查就能得到有效解決。
01、數(shù)據(jù)探查是什么？
數(shù)據(jù)探查是數(shù)據(jù)開發(fā)的基礎(chǔ)，是保障數(shù)據(jù)質(zhì)量非常重要的一步。如果沒有數(shù)據(jù)探查，數(shù)據(jù)分析師就會(huì)在數(shù)據(jù)管理類項(xiàng)目頻繁反復(fù)地進(jìn)行重復(fù)的工作，對(duì)項(xiàng)目開發(fā)、運(yùn)維來講都是低質(zhì)量低效率的行為，同時(shí)也在拖延項(xiàng)目周期。
數(shù)據(jù)探查可通過自動(dòng)化的手段分析數(shù)據(jù)內(nèi)容、背景、結(jié)構(gòu)、路徑等信息，檢查數(shù)據(jù)成分、數(shù)據(jù)關(guān)系及數(shù)據(jù)格式等是否存在問題。通過精準(zhǔn)識(shí)別數(shù)據(jù)轉(zhuǎn)化機(jī)制、建立數(shù)據(jù)有效性及準(zhǔn)確性規(guī)則、校驗(yàn)數(shù)據(jù)間依賴性的過程，幫助企業(yè)全面剖析數(shù)據(jù)，并確定這些數(shù)據(jù)可用性。
數(shù)據(jù)探查可以幫助企業(yè)完善對(duì)數(shù)據(jù)的認(rèn)識(shí)，避免由于不夠了解數(shù)據(jù)而遺漏場(chǎng)景，做好提前預(yù)防，從而提高數(shù)據(jù)質(zhì)量，把控?cái)?shù)據(jù)來源，減少返工，常見的場(chǎng)景有：
1）字段標(biāo)簽分析：在沒有字段注釋的情況下，通過對(duì)字段值進(jìn)行剖析，識(shí)別出該字段所描述的內(nèi)容，提高數(shù)據(jù)的可讀性和解釋性，為后續(xù)的數(shù)據(jù)分析和決策提供有力支持。
2）數(shù)據(jù)間關(guān)系剖析：發(fā)現(xiàn)主、外鍵字段，揭示數(shù)據(jù)之間的相互關(guān)系和依賴性，分析字段中有多少重復(fù)值，重復(fù)值影響的行數(shù)等。幫助我們發(fā)現(xiàn)數(shù)據(jù)中的隱藏模式、群體結(jié)構(gòu)和網(wǎng)絡(luò)連接，從而更好地理解數(shù)據(jù)的復(fù)雜性和互動(dòng)性，協(xié)助業(yè)務(wù)人員在決策制定和業(yè)務(wù)優(yōu)化中做出更準(zhǔn)確的判斷。
3）字段值深度洞察：通過分析計(jì)算字段的數(shù)據(jù)類型、空值、唯一值、平均值、標(biāo)準(zhǔn)差、方差等數(shù)據(jù)分布情況，對(duì)數(shù)據(jù)進(jìn)行更深入的洞察，提升數(shù)據(jù)質(zhì)量，為數(shù)據(jù)清洗和預(yù)處理提供指導(dǎo)，幫助業(yè)務(wù)人員提高數(shù)據(jù)清洗和加工效率，讓數(shù)據(jù)分析做到開箱即可拿到高質(zhì)量數(shù)據(jù)。
03、如何進(jìn)行高效的數(shù)據(jù)探查？
傳統(tǒng)方法下，數(shù)據(jù)探查過程的過濾、替換、合并等操作都是獨(dú)立的單一模型，步驟之間沒有進(jìn)行融合，需要分別對(duì)數(shù)據(jù)進(jìn)行處理，且各模型和方法具有不同的使用模式和接口，難以結(jié)合使用。另外，傳統(tǒng)方法對(duì)于文本類字段較少涉及，導(dǎo)致在對(duì)數(shù)據(jù)描述內(nèi)容不了解的情況下難以進(jìn)行更深入的數(shù)據(jù)分析。
因此，我們需要一種更加綜合和靈活的數(shù)據(jù)探查方法，能夠同時(shí)針對(duì)不同類型的數(shù)據(jù)進(jìn)行處理分析，Tempo數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)探查功能可以滿足這個(gè)需求，只需要簡(jiǎn)單3步，就能幫助數(shù)據(jù)團(tuán)隊(duì)了解數(shù)據(jù)特征和規(guī)律，為后續(xù)的數(shù)據(jù)處理和分析工作提供依據(jù)和支持。
△數(shù)據(jù)探查算法邏輯框架圖
第一步：從表、字段以及字段值三個(gè)維度多數(shù)據(jù)源進(jìn)行統(tǒng)計(jì)分析，包括：總量、空值唯一值、重復(fù)值、時(shí)間、增量等；
第二步：通過正則表達(dá)式、機(jī)器學(xué)習(xí)算法等方法對(duì)數(shù)據(jù)內(nèi)容進(jìn)行洞察分析，包括實(shí)體、事件等屬性的識(shí)別；
第三步：綜合前兩步所得屬性，采用大數(shù)據(jù)挖掘及人工智能算法進(jìn)行業(yè)務(wù)建模，快速實(shí)現(xiàn)從人工經(jīng)驗(yàn)向自動(dòng)化、智能化的跳變，加速企業(yè)數(shù)據(jù)質(zhì)量核查與管理。
04、數(shù)據(jù)探查有什么價(jià)值？
Tempo數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)探查功能在某煤炭企業(yè)中得到了應(yīng)用，通過數(shù)據(jù)治理和數(shù)據(jù)中臺(tái)項(xiàng)目中的mt_csms（煤炭銷售管理系統(tǒng)）、mt_erp（電子采購(gòu)平臺(tái)系統(tǒng)）、mt_hrs（人力資源系統(tǒng)）三個(gè)業(yè)務(wù)系統(tǒng)中的驗(yàn)證，得到的驗(yàn)證結(jié)果如下：
準(zhǔn)確率：81.76%
查全率：100%
Tempo數(shù)據(jù)治理平臺(tái)還能進(jìn)行數(shù)據(jù)結(jié)構(gòu)探查，數(shù)據(jù)內(nèi)容探查及數(shù)據(jù)關(guān)系探查，可以幫助數(shù)據(jù)分析團(tuán)隊(duì)更深入理解數(shù)據(jù)集，揭示數(shù)據(jù)的內(nèi)在特征和規(guī)律，并提供數(shù)據(jù)驅(qū)動(dòng)的決策支持。
? 數(shù)據(jù)結(jié)構(gòu)探查：可以了解數(shù)據(jù)在內(nèi)存中的組織方式，從而更好地設(shè)計(jì)算法和優(yōu)化數(shù)據(jù)處理流程。
? 數(shù)據(jù)內(nèi)容探查：使數(shù)據(jù)分析團(tuán)隊(duì)能夠發(fā)現(xiàn)數(shù)據(jù)的分布、異常和趨勢(shì)，幫助識(shí)別數(shù)據(jù)質(zhì)量問題、處理缺失值和異常值以及改進(jìn)數(shù)據(jù)預(yù)處理過程。
? 數(shù)據(jù)關(guān)系探查：揭示了特征之間的關(guān)系和相互作用，幫助企業(yè)挖掘出隱藏的模式、找到關(guān)鍵特征和構(gòu)建更準(zhǔn)確的預(yù)測(cè)模型。
小T總結(jié)
通過數(shù)據(jù)探查，可以為企業(yè)提供了對(duì)數(shù)據(jù)的直觀認(rèn)識(shí)，減少對(duì)主觀假設(shè)的依賴，使數(shù)據(jù)分析和決策更加可靠和可信，及早防控風(fēng)險(xiǎn)，并有效利用數(shù)據(jù)資源，為業(yè)務(wù)決策、產(chǎn)品優(yōu)化和創(chuàng)新提供有力的支持。
Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo指標(biāo)平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁(yè)
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號(hào)
