Tempo大數(shù)據(jù)分析平臺(tái)之深度學(xué)習(xí)解析
2020-05-18 16:03:12
次
2006年，Hinton在頂級(jí)期刊《科學(xué)》提出深度學(xué)習(xí)的概念，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，是一種多層深度學(xué)習(xí)結(jié)構(gòu)，深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示類別屬性或特征，發(fā)現(xiàn)數(shù)據(jù)的分布特征。
隨著研究的深入，深度學(xué)習(xí)在圖像處理、語音識(shí)別、自然語言處理等領(lǐng)域取得突破性進(jìn)展，落實(shí)的具體行業(yè)上，多采取多個(gè)領(lǐng)域的多模融合實(shí)現(xiàn)具體應(yīng)用，比如，機(jī)器人助手，首先，需要圖像處理模塊和語音識(shí)別模塊把語音信息和圖像信息轉(zhuǎn)化為文字描述，實(shí)現(xiàn)助手洞察外部的視覺和語音，其次，需要專門的深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)基于語言的語義理解，給出外部反饋信息。
隨著科技研究的深入，深度學(xué)習(xí)技術(shù)在最近幾年得到快速的發(fā)展，引起行業(yè)學(xué)者的極度關(guān)注。然而，深度學(xué)習(xí)對(duì)新入該領(lǐng)域的人來說門檻很高，基于此Tempo3.0為降低深度學(xué)習(xí)使用困惑集成了深度學(xué)習(xí)，平臺(tái)深度學(xué)習(xí)建模提供兩種方式：
- 面向無編程基礎(chǔ)的業(yè)務(wù)人員，可以基于平臺(tái)的深度學(xué)習(xí)模型集成節(jié)點(diǎn)（DNN、RNN）等進(jìn)行深度學(xué)習(xí)建模；
- 面向具備編程基礎(chǔ)業(yè)務(wù)人員（具備Python編程基礎(chǔ)），可以基于平臺(tái)的深TensorFlow腳本節(jié)點(diǎn)進(jìn)行深度學(xué)習(xí)建模；
TensorFlow腳本節(jié)點(diǎn)
1.1.TensorFlow簡介
隨著深度學(xué)習(xí)在圖像處理、語音識(shí)別、自然語言處理等領(lǐng)域取得突破性進(jìn)展，深度學(xué)習(xí)編程框架也如火如荼的急速發(fā)展，其中，2015年11月9日，Google發(fā)布人工智能系統(tǒng)TensorFlow并宣布開源，得到深度學(xué)習(xí)領(lǐng)域的推崇。
TensorFlow™ 是一個(gè)采用數(shù)據(jù)流圖的方式用于數(shù)值計(jì)算的通用計(jì)算框架，能夠快速實(shí)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）等的深度學(xué)習(xí)工具, 能夠靈活的架構(gòu)在多種平臺(tái)，很方便的實(shí)現(xiàn)在CPU\GPU間的無縫切換。其中，數(shù)據(jù)流圖是用結(jié)點(diǎn)和線的有向圖來描述數(shù)學(xué)計(jì)算，節(jié)點(diǎn)（Nodes）表示數(shù)學(xué)操作，線（edges）表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。
TensorFlow作為深度學(xué)習(xí)的通用編程計(jì)算框架，具備豐富的深度學(xué)習(xí)建模工具API接口，能夠方便快速的實(shí)現(xiàn)DNN、CNN、RNN、LSTM、DBN等深度學(xué)習(xí)模型，此外，也可用于其他線性或非線性組合建模應(yīng)用，進(jìn)而實(shí)現(xiàn)圖像處理、語音識(shí)別、自然語言處理等相關(guān)領(lǐng)域場景化應(yīng)用。
1.2.TensorFlow on Spark
源生態(tài)TensorFlow存在諸多使用上不便的問題：資源利用和管理方面，資源利用不易管理，需手動(dòng)配置資源，沒有集群資源管理和調(diào)度，集群資源負(fù)載不均，作業(yè)缺乏統(tǒng)一管理，不便對(duì)作業(yè)運(yùn)行狀態(tài)跟蹤；數(shù)據(jù)管理方面，數(shù)據(jù)管理困難，訓(xùn)練數(shù)據(jù)需手動(dòng)分發(fā)，訓(xùn)練模型需手動(dòng)保存本地，此外，日志查看不方便；進(jìn)程管理方面，進(jìn)程遺留，需手動(dòng)處理進(jìn)程關(guān)閉。
TensorFlow on Spark解決了以上存在的問題，實(shí)現(xiàn)數(shù)據(jù)基于Spark RDD進(jìn)行分布式分發(fā)，模型保存到HDFS分布式文件系統(tǒng)中，詳細(xì)功能如下表所示。
1.3.TensorFlow在Tempo3.0集成應(yīng)用
Tempo大數(shù)據(jù)分析平臺(tái)將TensorFlow嵌入到挖掘流程中，實(shí)現(xiàn)TensorFlow節(jié)點(diǎn)和平臺(tái)其他節(jié)點(diǎn)無縫融合，同時(shí)規(guī)避了源生態(tài)TensorFlow存在諸多使用上不便的問題。
TensorFlow在Tempo3.0挖掘流程中執(zhí)行過程如下：
- 上游節(jié)點(diǎn)將數(shù)據(jù)處理完畢后，數(shù)據(jù)寫入HDFS分布式文件系統(tǒng)中，將文件路徑傳入TensorFlow節(jié)點(diǎn)，TensorFlow腳本節(jié)點(diǎn)啟動(dòng)進(jìn)程通過PySpark提交Spark作業(yè)，挖掘流程主進(jìn)程駐留，并對(duì)TensorFlow腳本進(jìn)程進(jìn)行監(jiān)聽；
- 由PySpark啟動(dòng)TensorFlow集群和相關(guān)服務(wù)（TensorBoard等），讀取數(shù)據(jù)并分發(fā)到TensorFlow集群各節(jié)點(diǎn)進(jìn)行作業(yè)處理，處理的數(shù)據(jù)輸出到HDFS分布式文件系統(tǒng)中，結(jié)束TensorFlow進(jìn)程；
- 挖掘流程主進(jìn)程監(jiān)聽到TensorFlow進(jìn)程結(jié)束后，從HDFS分布式文件系統(tǒng)中讀取TensorFlow輸出的數(shù)據(jù)，接著進(jìn)入下面的作業(yè)流程。
1.4.TensorFlow腳本應(yīng)用
（1）挖掘流程界面
TensorFlow腳本在挖掘分析過程中可以和平臺(tái)其他挖掘分析節(jié)點(diǎn)無縫對(duì)接，其挖掘流程若下圖所示：
在流執(zhí)行過程中，流程日志會(huì)輸出“TF Spark作業(yè)流程ID”和“TensorBoard服務(wù)地址”，根據(jù)“TF Spark作業(yè)流程ID”可以查看集群的資源調(diào)度情況以及跟蹤TF作業(yè)狀態(tài)，查看TF集群作業(yè)日志信息。
作業(yè)會(huì)基于HDFS模型路徑自動(dòng)啟動(dòng)TensorBoard服務(wù)，實(shí)現(xiàn)對(duì)TF作業(yè)過程進(jìn)行時(shí)時(shí)建模洞察，雖則TF作業(yè)結(jié)束，TensorBoard服務(wù)也會(huì)終止以防服務(wù)駐留對(duì)集群資源的過度占用。
（2）腳本參數(shù)界面
TensorFlow腳本參數(shù)界面如下圖所示，界面分三個(gè)功能Tab頁：代碼編輯、集群參數(shù)、路徑配置。
代碼編輯頁是用戶編碼建模界面，左面為可引用建模變量詳細(xì)說明，右邊為代碼編輯區(qū)。TensorFlow程序通常被組織成一個(gè)構(gòu)建階段和一個(gè)執(zhí)行階段. 在構(gòu)建階段，執(zhí)行步驟被描述成一個(gè)圖；在執(zhí)行階段，使用會(huì)話執(zhí)行圖中的操作。用戶基于Tempo完成深度學(xué)習(xí)建模需實(shí)現(xiàn)以下兩種函數(shù)接口build_graph和process_step，build_graph為構(gòu)建圖函數(shù)接口，process_step為使用會(huì)話執(zhí)行圖中的操作函數(shù)接口。
集群參數(shù)為深度學(xué)習(xí)建模過程中TensorFlow集群配置和模型訓(xùn)練配置界面，可以配置集群參數(shù)服務(wù)器、執(zhí)行器個(gè)數(shù)即執(zhí)行器內(nèi)存，模型訓(xùn)練中的模型名稱、數(shù)據(jù)批大小、迭代次數(shù)等；路徑配置為TensorFlow集群部署環(huán)境配置界面。
模型集成節(jié)點(diǎn)
模型集成節(jié)點(diǎn)以參數(shù)界面配置的方式實(shí)現(xiàn)深度學(xué)習(xí)建模，模型集成節(jié)點(diǎn)幫助用戶快速高效的進(jìn)行深度學(xué)習(xí)建模，而不要求用戶具備編碼基礎(chǔ)，僅需用戶具備一定的深度學(xué)習(xí)基本原理知識(shí)。平臺(tái)規(guī)劃集成DNN、RNN、LSTM、CNN等常用深度學(xué)習(xí)模型實(shí)現(xiàn)分類、回歸、時(shí)間序列等業(yè)務(wù)場景。
目前，平臺(tái)集成了DNN分類、DNN回歸、LSTM回歸的深度學(xué)習(xí)模型集成，其中,以DNN回歸為例介紹深度學(xué)習(xí)模型集成節(jié)點(diǎn)的使用，其他節(jié)點(diǎn)使用模式相似。下圖為DNN回歸建模參數(shù)界面：
數(shù)據(jù)預(yù)處理：基于數(shù)據(jù)標(biāo)準(zhǔn)化方法實(shí)現(xiàn)數(shù)據(jù)預(yù)處理，提高建模的效率和精度；
網(wǎng)絡(luò)機(jī)構(gòu)：支持配置DNN網(wǎng)絡(luò)結(jié)構(gòu)如：隱層個(gè)數(shù)、隱層神經(jīng)元個(gè)數(shù)、激活函數(shù)、輸出層函數(shù)；
模型訓(xùn)練：支持配置DNN模型網(wǎng)絡(luò)空間初始權(quán)重初始化方式、參數(shù)尋優(yōu)方法、正則化參數(shù)、模型訓(xùn)練次數(shù)、學(xué)習(xí)速率、最小批樣本個(gè)數(shù)；
Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo指標(biāo)平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁
美林?jǐn)?shù)據(jù)
大數(shù)據(jù)分析與應(yīng)用
陜公網(wǎng)安備 61019002000171號(hào)
