數(shù)據(jù)開發(fā)任務調(diào)度難、后期運維復雜、效率低？美林數(shù)據(jù)調(diào)度編排來幫你！
2023-03-28 14:45:00
次
某零售集團的數(shù)據(jù)智能團隊，隨著集團業(yè)務的快速發(fā)展，信息系統(tǒng)中的數(shù)據(jù)體量日益增加，來自業(yè)務部門的數(shù)據(jù)類需求不斷涌現(xiàn)，深層次數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)建模需求日益明顯。
在項目建設過程中，客戶基于Tempo數(shù)據(jù)工廠做了大量的集成開發(fā)任務，基于Tempo機器學習平臺做了大量的經(jīng)營決策模型，如何實現(xiàn)此類任務的智能化的調(diào)度，保障數(shù)據(jù)準確、及時地更新，成了核心需要解決的問題。
一、業(yè)務痛點
傳統(tǒng)的數(shù)據(jù)開發(fā)任務調(diào)度執(zhí)行方式，主要分為3種：人工調(diào)度，基于sql、java、python等編程語言開發(fā)的定時調(diào)度腳本、ETL工具調(diào)度。
這3種調(diào)度方式主要存在的問題如下：
01、人工調(diào)度：需要開發(fā)人員對業(yè)務流程、開發(fā)流程高度熟悉，運維的難度高、成本大、準確率低。
02、腳本調(diào)度：通過代碼進行編排，難度較大，缺乏任務監(jiān)控、出錯重試、補錄等機制。
03、ETL調(diào)度：各任務節(jié)點通過并行、串行的方式進行編排，一方面無法充分使用系統(tǒng)資源，另一方面無法支持斷點續(xù)跑。
傳統(tǒng)的方法無法高效解決任務調(diào)度的問題，該如何破局呢？來看看美林數(shù)據(jù)的解決思路。
二、解決思路
在實際生產(chǎn)中，一個好用的調(diào)度系統(tǒng)需要兼顧準確性、及時性和安全性。
準確性：要在正確的時間點啟動正確的作業(yè)，確保作業(yè)按照正確的依賴關系及時準確地執(zhí)行；
及時性：要實現(xiàn)合理調(diào)度系統(tǒng)資源，確保任務能夠及時執(zhí)行完成，保障業(yè)務正常開展；
安全性：當遭遇網(wǎng)絡或業(yè)務系統(tǒng)故障時，要具備完善的監(jiān)控日志查看、數(shù)據(jù)補錄、數(shù)據(jù)重跑等機制，保障數(shù)據(jù)安全。
基于以上思路，美林數(shù)據(jù)專家團隊結合該集團實際業(yè)務情況，為其定制了一套數(shù)據(jù)加工鏈路的標準流程，將每個階段的數(shù)據(jù)進行高效抽取，并為后續(xù)的可視化分析、數(shù)據(jù)建模提供賦能，從而滿足數(shù)據(jù)智能團隊統(tǒng)一數(shù)據(jù)管理、快速支撐業(yè)務的需求。
△某集團的加工鏈路標準流程圖
三、Tempo SA調(diào)度編排智能解決方案
Tempo SA調(diào)度編排智能解決方案是一款統(tǒng)一管理系統(tǒng)調(diào)度任務的自動化方案，主要包含可視化的調(diào)度中心、任務管理、周期實例的重跑、補數(shù)據(jù)等實例運維模塊。能夠實現(xiàn)調(diào)度復雜編排和監(jiān)控，通過可視化配置、高容錯、可修補等功能重點解決數(shù)據(jù)加工處理、數(shù)倉建設等業(yè)務場景中調(diào)度編排問題。
01、統(tǒng)一的任務管理能力
在Tempo調(diào)度編排調(diào)度中心，可以按照項目、業(yè)務流、文件夾等方式開展調(diào)度任務，通過樹形結構對Tempo 數(shù)據(jù)工廠的數(shù)據(jù)開發(fā)任務、Tempo人工智能平臺的建模任務進行管理。以某集團的數(shù)據(jù)倉庫項目建設為例，我們按照銷售業(yè)務、倉儲業(yè)務、物流業(yè)務對任務主題進行劃分，再按照數(shù)倉分層情況，就能實現(xiàn)對任務的分類管理。
02、自動化調(diào)度能力
在Tempo調(diào)度編排調(diào)度中心的流程配置模塊，可根據(jù)業(yè)務需求按周期定時定點開啟任務調(diào)度，同時可以設置任務生效的時間范圍，通過這種配置方式實現(xiàn)程序的自動化調(diào)度，還能通過配置流程出錯重試次數(shù)，提升調(diào)度程序的容錯性。
此外，Tempo調(diào)度編排支持配置各任務間的依賴關系，保障任務按照業(yè)務流程執(zhí)行，保障我們的數(shù)據(jù)質量，無依賴關系的任務間相互獨立，充分調(diào)度系統(tǒng)資源，提升整體調(diào)度的執(zhí)行效率。
03、運維監(jiān)控、數(shù)據(jù)補錄能力
Tempo調(diào)度編排能夠通過可視化界面實時監(jiān)控任務運行情況，支持查看執(zhí)行記錄的統(tǒng)計和任務運行日志等操作。
當運維人員發(fā)現(xiàn)任務執(zhí)行失敗后，可以用過平臺進行數(shù)據(jù)補數(shù)據(jù)，補數(shù)據(jù)操作可以從執(zhí)行失敗的流程節(jié)點開始，并執(zhí)行有依賴關系的全部下游任務，實現(xiàn)任務的斷點續(xù)跑功能，降低了數(shù)據(jù)補錄的操作難度，縮短了整體數(shù)據(jù)補錄時間。
04、多場景混合編排能力
在Tempo產(chǎn)品體系下，可通過Tempo數(shù)據(jù)工廠實現(xiàn)數(shù)據(jù)開發(fā)、指標開發(fā)、通過Tempo人工智能平臺實現(xiàn)數(shù)據(jù)建模等流程混合編排調(diào)度。
在Tempo SA調(diào)度編排智能解決方案的助力下，該集團高效地解決了數(shù)據(jù)加工處理、數(shù)倉建設等業(yè)務場景中調(diào)度編排問題，提升了企業(yè)數(shù)據(jù)質量和業(yè)務需求開發(fā)效率，為企業(yè)經(jīng)營決策分析賦能。
小T總結
Tempo調(diào)度編排簡易操作的可視化作界面，極大降低使用門檻；
實時監(jiān)控任務運行，操作日志可追溯，大幅提升了安全性；
自動化調(diào)度、任務依賴關系配置、補數(shù)據(jù)等功能，有效降低了運維的難度及成本。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
