大數(shù)據(jù)應(yīng)用

按照數(shù)據(jù)開發(fā)應(yīng)用深入程度的不同，可將眾多的大數(shù)據(jù)應(yīng)用分為三個(gè)層次。

第二層，預(yù)測(cè)性分析應(yīng)用，是指從大數(shù)據(jù)中分析事物之間的關(guān)聯(lián)關(guān)系、發(fā)展模式等，并據(jù)此對(duì)事物發(fā)展的趨勢(shì)進(jìn)行預(yù)測(cè)。如微軟公司紐約研究院研究員David Rothschild通過收集和分析賭博市場(chǎng)、證券交易所、社交媒體用戶發(fā)布的帖子等大量公開數(shù)據(jù)，建立預(yù)測(cè)模型，對(duì)多屆奧斯卡獎(jiǎng)項(xiàng)的歸屬進(jìn)行預(yù)測(cè)。2014和2015年，均準(zhǔn)確預(yù)測(cè)了奧斯卡共24個(gè)獎(jiǎng)項(xiàng)中的21個(gè)。

當(dāng)前，在大數(shù)據(jù)應(yīng)用的實(shí)踐中，描述性、預(yù)測(cè)性分析應(yīng)用多，決策指導(dǎo)性等更深層次分析應(yīng)用偏少。一般而言，人們做出決策的流程通常包括：認(rèn)知現(xiàn)狀、預(yù)測(cè)未來和選擇策略這三個(gè)基本步驟。這些步驟也對(duì)應(yīng)了上述大數(shù)據(jù)分析應(yīng)用的三個(gè)不同層次。不同層次的應(yīng)用意味著人類和計(jì)算機(jī)在決策流程中不同的分工和協(xié)作。例如：第一層次的描述性分析中，計(jì)算機(jī)僅負(fù)責(zé)將與現(xiàn)狀相關(guān)的信息和知識(shí)展現(xiàn)給人類專家，而對(duì)未來態(tài)勢(shì)的判斷及對(duì)最優(yōu)策略的選擇仍然由人類專家完成。應(yīng)用層次越深，計(jì)算機(jī)承擔(dān)的任務(wù)越多、越復(fù)雜，效率提升也越大，價(jià)值也越大。然而，隨著研究應(yīng)用的不斷深入，人們逐漸意識(shí)到前期在大數(shù)據(jù)分析應(yīng)用中大放異彩的深度神經(jīng)網(wǎng)絡(luò)尚存在基礎(chǔ)理論不完善、模型不具可解釋性、魯棒性較差等問題。因此，雖然應(yīng)用層次最深的決策指導(dǎo)性應(yīng)用，當(dāng)前已在人機(jī)博弈等非關(guān)鍵性領(lǐng)域取得較好應(yīng)用效果，但是，在自動(dòng)駕駛、政府決策、軍事指揮、醫(yī)療健康等應(yīng)用價(jià)值更高，且與人類生命、財(cái)產(chǎn)、發(fā)展和安全緊密關(guān)聯(lián)的領(lǐng)域，要真正獲得有效應(yīng)用，仍面臨一系列待解決的重大基礎(chǔ)理論和核心技術(shù)挑戰(zhàn)，大數(shù)據(jù)應(yīng)用仍處于初級(jí)階段。

大數(shù)據(jù)治理

隨著大數(shù)據(jù)作為戰(zhàn)略資源的地位日益凸顯，人們?cè)絹碓綇?qiáng)烈地意識(shí)到制約大數(shù)據(jù)發(fā)展最大的短板之一就是：數(shù)據(jù)治理體系遠(yuǎn)未形成，如數(shù)據(jù)資產(chǎn)地位的確立尚未達(dá)成共識(shí)，數(shù)據(jù)的確權(quán)、流通和管控面臨多重挑戰(zhàn)；數(shù)據(jù)壁壘廣泛存在，阻礙了數(shù)據(jù)的共享和開放；法律法規(guī)發(fā)展滯后，導(dǎo)致大數(shù)據(jù)應(yīng)用存在安全與隱私風(fēng)險(xiǎn)等。

一方面，數(shù)據(jù)共享開放的需求十分迫切。近年來人工智能應(yīng)用取得的重要進(jìn)展，主要源于對(duì)海量、高質(zhì)量數(shù)據(jù)資源的分析和挖掘。而對(duì)于單一組織機(jī)構(gòu)而言，往往靠自身的積累難以聚集足夠的高質(zhì)量數(shù)據(jù)。

然而，另一方面，數(shù)據(jù)的無序流通與共享，又可能導(dǎo)致隱私保護(hù)和數(shù)據(jù)安全方面的重大風(fēng)險(xiǎn)，必須對(duì)其加以規(guī)范和限制。例如，鑒于互聯(lián)網(wǎng)公司頻發(fā)的、由于對(duì)個(gè)人數(shù)據(jù)的不正當(dāng)使用而導(dǎo)致的隱私安全問題，歐盟制定了“史上最嚴(yán)格的”數(shù)據(jù)安全管理法規(guī)《通用數(shù)據(jù)保護(hù)條例》。2020年1月1日，被稱為美國(guó)“最嚴(yán)厲、最全面的個(gè)人隱私保護(hù)法案”——《加利福利亞消費(fèi)者隱私法案》（CCPA）正式生效。在我國(guó)，2019年中央網(wǎng)信辦發(fā)布了《數(shù)據(jù)安全管理辦法（征求意見稿）》，向社會(huì)公開征求意見，明確了個(gè)人信息和重要數(shù)據(jù)的收集、處理、使用和安全監(jiān)督管理的相關(guān)標(biāo)準(zhǔn)和規(guī)范。

一是大數(shù)據(jù)治理概念的使用相對(duì)“狹義”，研究和實(shí)踐大都以企業(yè)組織為對(duì)象，僅從個(gè)體組織的角度考慮大數(shù)據(jù)治理的相關(guān)問題，這與大數(shù)據(jù)跨界流動(dòng)的迫切需求存在矛盾，限制了大數(shù)據(jù)價(jià)值的發(fā)揮。

三是大數(shù)據(jù)治理相關(guān)的研究實(shí)踐多條線索并行，關(guān)聯(lián)性、完整性和一致性不足。諸如，國(guó)家層面的政策法規(guī)和法律制定等較少被納入大數(shù)據(jù)治理的視角；數(shù)據(jù)作為一種資產(chǎn)的地位仍未通過法律法規(guī)予以確立，難以進(jìn)行有效的管理和應(yīng)用；大數(shù)據(jù)管理已有不少可用技術(shù)與產(chǎn)品，但還缺乏完善的多層級(jí)管理體制和高效管理機(jī)制；如何有機(jī)結(jié)合技術(shù)與標(biāo)準(zhǔn)，建立良好的大數(shù)據(jù)共享與開放環(huán)境仍需要進(jìn)一步探索。

數(shù)據(jù)規(guī)模高速增長(zhǎng)，現(xiàn)有技術(shù)體系難以滿足大數(shù)據(jù)應(yīng)用的需求，大數(shù)據(jù)理論與技術(shù)遠(yuǎn)未成熟，未來信息技術(shù)體系將需要顛覆式創(chuàng)新和變革。

當(dāng)前，需要處理的數(shù)據(jù)量已經(jīng)大大超過處理能力的上限，從而導(dǎo)致大量數(shù)據(jù)因無法或來不及處理，而處于未被利用、價(jià)值不明的狀態(tài)，這些數(shù)據(jù)被稱為“暗數(shù)據(jù)”。據(jù)國(guó)際商業(yè)機(jī)器公司（IBM）的研究報(bào)告估計(jì)，大多數(shù)企業(yè)僅對(duì)其所有數(shù)據(jù)的1%進(jìn)行了分析應(yīng)用。

首先，大數(shù)據(jù)定義雖已達(dá)成初步共識(shí)，但許多本質(zhì)問題仍存在爭(zhēng)議，例如：數(shù)據(jù)驅(qū)動(dòng)與規(guī)則驅(qū)動(dòng)的對(duì)立統(tǒng)一、“關(guān)聯(lián)”與“因果”的辯證關(guān)系、“全數(shù)據(jù)”的時(shí)空相對(duì)性、分析模型的可解釋性與魯棒性等；

其三，應(yīng)用超前于理論和技術(shù)發(fā)展，數(shù)據(jù)分析的結(jié)論往往缺乏堅(jiān)實(shí)的理論基礎(chǔ)，對(duì)這些結(jié)論的使用仍需保持謹(jǐn)慎態(tài)度。

在此背景下，大數(shù)據(jù)現(xiàn)象倒逼技術(shù)變革，將使得信息技術(shù)體系進(jìn)行一次重構(gòu)，這也帶來了顛覆式發(fā)展的機(jī)遇。

文章來源：《中國(guó)工業(yè)和信息化》雜志2021年5月刊總第34期