AI火了，但數(shù)據(jù)分析模型管理難、部署難的問(wèn)題，應(yīng)該怎么解決？
2023-05-30 16:49:00
次
近年來(lái)，隨著數(shù)字化基礎(chǔ)設(shè)施建設(shè)不斷完善，企業(yè)產(chǎn)業(yè)智能升級(jí)的需求不斷增長(zhǎng)，人工智能產(chǎn)業(yè)發(fā)展進(jìn)入“快車道”。隨著人工智能和機(jī)器學(xué)習(xí)在各個(gè)行業(yè)的應(yīng)用逐漸深入，AI模型數(shù)量將呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)，而這也帶來(lái)了一些問(wèn)題：
?管理難：不同模型之間的框架、部署方式不盡相同，導(dǎo)致異構(gòu)模型很難統(tǒng)一管理和維護(hù)；
?部署難：模型部署缺少統(tǒng)一的流程規(guī)范，模型部署周期過(guò)長(zhǎng)，運(yùn)維成本高。
為解決AI模型難以統(tǒng)一管理、無(wú)法快速部署及模型落地難等問(wèn)題，美林?jǐn)?shù)據(jù)AI團(tuán)隊(duì)傾力研發(fā)了一套基于Fass框架實(shí)現(xiàn)的三方模型管理平臺(tái)。
三方模型管理平臺(tái)
三方模型是基于開(kāi)源項(xiàng)目OpenFaas，為數(shù)據(jù)科學(xué)家構(gòu)建的一套模型的在線開(kāi)發(fā)、統(tǒng)一管理、部署和運(yùn)維的管理平臺(tái)，可以讓AI模型的工程化部署應(yīng)用更加簡(jiǎn)單、便捷和高效。平臺(tái)采用Serverless的服務(wù)模式構(gòu)建，具備高擴(kuò)展、高可用和高性能等特點(diǎn)，用戶無(wú)需再關(guān)注底層服務(wù)構(gòu)建和資源分配等細(xì)節(jié)問(wèn)題，可以更聚焦于業(yè)務(wù)模型代碼的開(kāi)發(fā)。
△三方模型功能架構(gòu)圖
對(duì)于不同AI模型的框架（Tensorflow、PMML、Keras、PyTorch等）構(gòu)建一個(gè)Docker基礎(chǔ)鏡像，在三方模型平臺(tái)上進(jìn)行統(tǒng)一的上傳和管理；在模型開(kāi)發(fā)時(shí)，平臺(tái)提供了統(tǒng)一的模板，進(jìn)行在線開(kāi)發(fā)和在線調(diào)試，同時(shí)支持模型的版本管理，確保每個(gè)模型具有可追溯性。
? 一鍵發(fā)布AI模型，部署更快捷
模型上線部署可通過(guò)界面式參數(shù)進(jìn)行配置，配置好模型的相關(guān)參數(shù)后，即可一鍵發(fā)布模型，還能生成標(biāo)準(zhǔn)API，供后續(xù)服務(wù)調(diào)用，降低部署難度和復(fù)雜度。另外，平臺(tái)還支持多種函數(shù)觸發(fā)器創(chuàng)建同步服務(wù)、異步服務(wù)、Kafka服務(wù)和調(diào)度任務(wù)等，滿足工程化的部署應(yīng)用需求。
?AI模型橫向擴(kuò)張，運(yùn)行更智能
三方模型所管理的AI模型是運(yùn)行在K8s集群上，K8s集群可以橫向擴(kuò)展、根據(jù)并發(fā)請(qǐng)求數(shù)、CPU、內(nèi)存等指標(biāo)實(shí)現(xiàn)自動(dòng)擴(kuò)縮容，當(dāng)服務(wù)空閑時(shí)，實(shí)例副本能自動(dòng)縮減到零，確保資源的合理利用。
?AI模型在線寫(xiě)代碼，開(kāi)發(fā)更高效
平臺(tái)內(nèi)嵌編輯器，可提供統(tǒng)一的開(kāi)發(fā)環(huán)境，無(wú)需用戶在本地搭建環(huán)境，實(shí)現(xiàn)模型的在線開(kāi)發(fā)與封裝，降低維護(hù)成本，提升模型的開(kāi)發(fā)效率。
?一站式建模，流程更完整
三方模型管理平臺(tái)在實(shí)踐操作中，涵蓋了從模型接入、模型管理、模型運(yùn)維到模型應(yīng)用的全流程。
通過(guò)平臺(tái)，能實(shí)現(xiàn)AI算法模型的快速部署，讓整體效率提升4.5倍，即使同時(shí)在線上百個(gè)模型預(yù)測(cè)服務(wù)，單條數(shù)據(jù)也可實(shí)現(xiàn)毫秒級(jí)響應(yīng)。
小T總結(jié)
三方模型能讓數(shù)據(jù)科學(xué)家無(wú)需關(guān)注底層運(yùn)行環(huán)境，只專注于業(yè)務(wù)模型代碼的開(kāi)發(fā)，在線編碼、快速進(jìn)行模型部署，并成功解決了異構(gòu)模型統(tǒng)一管理和運(yùn)維的問(wèn)題，三方模型采用函數(shù)即服務(wù)（Fass）架構(gòu)實(shí)現(xiàn)，具備資源易擴(kuò)展、高可用和高性能等特點(diǎn)，幫助企業(yè)快速進(jìn)行AI模型部署和應(yīng)用。
Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo指標(biāo)平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁(yè)
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號(hào)
