模型開發(fā)完畢后需要對模型存在多種部署應(yīng)用方式，需要根據(jù)現(xiàn)場環(huán)境或客戶需求選擇合適的模型部署方式。在Tempo人工智能平臺支持多種模型部署方式，包括異步服務(wù)、同步服務(wù)、流服務(wù)、灰度服務(wù)、調(diào)度任務(wù)、調(diào)度編排、離線調(diào)用，以滿足工程化的應(yīng)用。

一、定時調(diào)度

最常見的算法模型部署方式是定時調(diào)度，讓模型以固定的時間周期性執(zhí)行。
調(diào)度任務(wù)是基于已發(fā)布的異步服務(wù)構(gòu)建調(diào)度任務(wù)，通過調(diào)度任務(wù)的形式來定期自動執(zhí)行指定的流程。調(diào)度任務(wù)是針對于單個任務(wù)的使用場景。
調(diào)度編排可以將Tempo人工智能平臺中發(fā)布成功的異步服務(wù)進(jìn)行統(tǒng)一的調(diào)度管理。支持復(fù)雜業(yè)務(wù)關(guān)系調(diào)度配置、綜合管理任務(wù)執(zhí)行計劃、任務(wù)歷史數(shù)據(jù)的追補(bǔ)等功能。主要適用于多個任務(wù)的串連、并連、混編等場景。
詳情查閱：產(chǎn)品幫助文檔

二、在線事件觸發(fā)

在線事件觸發(fā)是通過在線事件以API接口的方式調(diào)用模型。
異步服務(wù)是通過將已發(fā)布的流程以REST服務(wù)方式進(jìn)行應(yīng)用，通過該方式提供的接口，可以獲取任務(wù)的執(zhí)行狀態(tài)，以便開發(fā)人員基于該狀態(tài)開發(fā)其它相關(guān)聯(lián)功能服務(wù)。詳情查閱：產(chǎn)品幫助文檔
同步服務(wù)可以API形式供第三方系統(tǒng)調(diào)用，通過在第三方系統(tǒng)輸入?yún)?shù)，調(diào)用服務(wù)，并將服務(wù)的執(zhí)行結(jié)果返回到第三方系統(tǒng)中，支持服務(wù)測試，可查看實時返回的結(jié)果。同步服務(wù)一般提供模型預(yù)測服務(wù)，根據(jù)傳入數(shù)據(jù)，實時返回預(yù)測數(shù)據(jù)。要求調(diào)用的流程中必須有同步輸入和同步輸出節(jié)點，同步服務(wù)只返回數(shù)據(jù)集結(jié)果。同步服務(wù)流程示例如圖所示：

注：點擊【開啟】，啟動同步服務(wù)，服務(wù)狀態(tài)顯示已啟動，則可進(jìn)行調(diào)用。也可在配置中通過添加實例開啟同步服務(wù)。
流服務(wù)，即流程中有kafka輸入節(jié)點的服務(wù)。開啟服務(wù)后，等待消息隊列中有數(shù)據(jù)后就會執(zhí)行流程?？稍诜?wù)列表中查看日志信息。
灰度發(fā)布是指在黑與白之間能夠平滑過度的一種方式，實現(xiàn)不停機(jī)切換模型。創(chuàng)建灰度服務(wù)時，可以綁定一個同步服務(wù)，或綁定兩個輸入元信息相同的同步服務(wù)，灰度服務(wù)只根據(jù)發(fā)布策略做同步服務(wù)的轉(zhuǎn)發(fā)，可根據(jù)實際運行情況變更綁定的同步服務(wù)。
詳情查閱：產(chǎn)品幫助文檔

三、離線調(diào)用

離線調(diào)用是脫離平臺調(diào)用模型。Tempo人工智能平臺提供的離線服務(wù)包機(jī)制可以滿足用戶對于平臺中的成果的離線使用需求，用戶可以基于該離線服務(wù)包封裝自己的應(yīng)用服務(wù)，而不依賴于Tempo人工智能平臺，可以很好的滿足用戶的工程應(yīng)用需求。
在離線調(diào)度時，首先需要將模型的輸入輸出改成同步輸入和同步輸出。在同步服務(wù)中支持下載公共包和下載服務(wù)包，實現(xiàn)模型脫離平臺離線調(diào)用。在平臺中支持2種方式：流程和管道。流程是常規(guī)的流程發(fā)布的同步服務(wù)；管道是指在管道分析頁建立預(yù)測流程，發(fā)布為同步服務(wù)，方便用戶建立輕量化的預(yù)測或處理過程，脫離原有的spark框架高效執(zhí)行（但功能有限）?？山Y(jié)合實際業(yè)務(wù)需求選擇合適的方式。
在普通流程離線調(diào)用時，需要注意以下幾點建議：
1）該模式不適用于訓(xùn)練建模的流程，但可以用于預(yù)測推理的流程；
2）該模式不適用于對現(xiàn)有流程進(jìn)行大的修改，如增刪節(jié)點，更改節(jié)點之間的連接關(guān)系、節(jié)點參數(shù)的大批量修改等；
3）該模型對于Python擴(kuò)展編程等節(jié)點中的代碼修改一定要慎重，避免因為格式問題導(dǎo)致的執(zhí)行失敗。
在管道離線調(diào)用時，目前支持的處理節(jié)點較少，在建立模型時同時需要考慮平臺已有功能的支持程度。
詳情查閱：產(chǎn)品幫助文檔

四、基于三方模型的部署

用戶基于線下好的Python模型，可以直接通過三方模型進(jìn)行部署，同樣支持同步服務(wù)、異步服務(wù)、調(diào)度任務(wù)。