眾多充滿希望的人工智能項(xiàng)目未能起航。這通常不是因?yàn)闄C(jī)器學(xué)習(xí) (ml) 模型的質(zhì)量。糟糕的實(shí)施和系統(tǒng)集成導(dǎo)致 90% 的項(xiàng)目失敗。組織可以挽救他們的人工智能努力。他們應(yīng)該采用適當(dāng)?shù)?mlops 實(shí)踐并選擇正確的工具集。本文討論了 mlops 實(shí)踐和工具，它們可以挽救正在下沉的 ai 項(xiàng)目并促進(jìn)穩(wěn)健的項(xiàng)目，從而有可能使項(xiàng)目啟動(dòng)速度加倍。

許多承諾啟動(dòng)的 AI 項(xiàng)目未能實(shí)現(xiàn)啟航。這通常不是因?yàn)闄C(jī)器學(xué)習(xí) (ML) 模型的質(zhì)量。糟糕的實(shí)施和系統(tǒng)集成會(huì)導(dǎo)致 90% 的項(xiàng)目失敗。組織可以挽救他們的人工智能努力。他們應(yīng)該采用適當(dāng)?shù)?MLOps 實(shí)踐并選擇正確的工具集。本文討論了 MLOps 實(shí)踐和工具，這些實(shí)踐和工具可以挽救沉沒的 AI 項(xiàng)目并提高穩(wěn)健的項(xiàng)目，從而可能使項(xiàng)目啟動(dòng)速度加倍。

MLOps 簡(jiǎn)而言之

MLOps 是機(jī)器學(xué)習(xí)應(yīng)用程序開發(fā)的組合（ Dev）和運(yùn)營(yíng)活動(dòng)（Ops）。它是一組有助于自動(dòng)化和簡(jiǎn)化 ML 模型部署的實(shí)踐。結(jié)果，整個(gè) ML 生命周期變得標(biāo)準(zhǔn)化。

MLOps 很復(fù)雜。它需要數(shù)據(jù)管理、模型開發(fā)和運(yùn)營(yíng)之間的協(xié)調(diào)。它還可能需要組織內(nèi)部技術(shù)和文化的轉(zhuǎn)變。如果順利采用，MLOps 可以讓專業(yè)人員自動(dòng)執(zhí)行繁瑣的任務(wù)，例如數(shù)據(jù)標(biāo)記，并使部署過程透明。它有助于確保項(xiàng)目數(shù)據(jù)安全并符合數(shù)據(jù)隱私法。 

組織通過 MLOps 實(shí)踐增強(qiáng)和擴(kuò)展其 ML 系統(tǒng)。這使得數(shù)據(jù)科學(xué)家和工程師之間的協(xié)作更加有效并促進(jìn)創(chuàng)新。 

從挑戰(zhàn)中編織人工智能項(xiàng)目

MLOps 專業(yè)人士將原始業(yè)務(wù)挑戰(zhàn)轉(zhuǎn)化為簡(jiǎn)化的、可衡量的機(jī)器學(xué)習(xí)目標(biāo)。他們?cè)O(shè)計(jì)和管理機(jī)器學(xué)習(xí)管道，確保在人工智能項(xiàng)目的整個(gè)生命周期中進(jìn)行徹底的測(cè)試和問責(zé)。

在稱為用例發(fā)現(xiàn)的人工智能項(xiàng)目的初始階段，數(shù)據(jù)科學(xué)家與企業(yè)合作來定義問題。他們將其轉(zhuǎn)化為 ML 問題陳述，并設(shè)定明確的目標(biāo)和 KPI。

MLOps 框架

接下來，數(shù)據(jù)科學(xué)家與數(shù)據(jù)工程師合作。他們從各種來源收集數(shù)據(jù)，然后清理、處理和驗(yàn)證這些數(shù)據(jù)。

當(dāng)數(shù)據(jù)準(zhǔn)備好進(jìn)行建模時(shí)，數(shù)據(jù)科學(xué)家會(huì)設(shè)計(jì)和部署強(qiáng)大的機(jī)器學(xué)習(xí)管道，并與 CI/CD 流程集成。這些管道支持測(cè)試和實(shí)驗(yàn)，并幫助跟蹤所有實(shí)驗(yàn)中的數(shù)據(jù)、模型沿襲和相關(guān) KPI。

在生產(chǎn)部署階段，機(jī)器學(xué)習(xí)模型部署在所選環(huán)境中：云、本地或混合環(huán)境。 

數(shù)據(jù)科學(xué)家監(jiān)控模型和基礎(chǔ)設(shè)施，使用關(guān)鍵指標(biāo)來發(fā)現(xiàn)數(shù)據(jù)或模型性能的變化。當(dāng)他們檢測(cè)到變化時(shí)，他們會(huì)更新算法、數(shù)據(jù)和超參數(shù)，創(chuàng)建新版本的機(jī)器學(xué)習(xí)管道。它們還管理內(nèi)存和計(jì)算資源，以保持模型可擴(kuò)展并平穩(wěn)運(yùn)行。

MLOps 工具滿足 AI 項(xiàng)目

想象一下數(shù)據(jù)科學(xué)家開發(fā) AI 應(yīng)用程序以增強(qiáng)客戶的產(chǎn)品設(shè)計(jì)流程。該解決方案將根據(jù)指定參數(shù)提供人工智能生成的設(shè)計(jì)替代方案，從而加速原型設(shè)計(jì)階段。 

數(shù)據(jù)科學(xué)家完成各種任務(wù)，從設(shè)計(jì)框架到實(shí)時(shí)監(jiān)控人工智能模型。他們需要正確的工具并掌握如何在每一步中使用它們。 

更好的 LLM 性能，更智能的 AI 應(yīng)用

準(zhǔn)確且適應(yīng)性強(qiáng)的 AI 解決方案的核心是矢量數(shù)據(jù)庫(kù)和這些提高 LLM 性能的關(guān)鍵工具：

• Guardrails 是一個(gè)開源 Python 包，可幫助數(shù)據(jù)科學(xué)家向 LLM 輸出添加結(jié)構(gòu)、類型和質(zhì)量檢查。如果驗(yàn)證失敗，它會(huì)自動(dòng)處理錯(cuò)誤并采取措施，例如重新查詢 LLM。它還強(qiáng)制執(zhí)行對(duì)輸出結(jié)構(gòu)和類型的保證，例如 JSON。

• 數(shù)據(jù)科學(xué)家需要一種工具來高效索引、搜索和分析大型數(shù)據(jù)集。這就是 LlamaIndex 發(fā)揮作用的地方。該框架提供了強(qiáng)大的功能來管理大量信息存儲(chǔ)庫(kù)并從中提取見解。

• DUST 框架允許在不執(zhí)行代碼的情況下創(chuàng)建和部署由 LLM 驅(qū)動(dòng)的應(yīng)用程序。它有助于自省模型輸出，支持迭代設(shè)計(jì)改進(jìn)，并跟蹤不同的解決方案版本。 

跟蹤實(shí)驗(yàn)和管理模型元數(shù)據(jù)

數(shù)據(jù)科學(xué)家進(jìn)行實(shí)驗(yàn)，以便隨著時(shí)間的推移更好地理解和改進(jìn) ML 模型。他們需要工具來建立一個(gè)系統(tǒng)，根據(jù)實(shí)際結(jié)果提高模型的準(zhǔn)確性和效率。 

• MLflow 是一個(gè)開源強(qiáng)大的工具，可用于監(jiān)督整個(gè) ML 生命周期。它提供實(shí)驗(yàn)跟蹤、模型版本控制和部署功能等功能。該套件可讓數(shù)據(jù)科學(xué)家記錄和比較實(shí)驗(yàn)、監(jiān)控指標(biāo)并保持 ML 模型和工件井井有條。

• Comet ML 是一個(gè)用于跟蹤、比較、解釋和優(yōu)化 ML 模型和工件的平臺(tái)實(shí)驗(yàn)。數(shù)據(jù)科學(xué)家可以將 Comet ML 與 Scikit-learn、PyTorch、TensorFlow 或 HuggingFace 結(jié)合使用，它將提供改進(jìn) ML 模型的見解。

• Amazon SageMaker 涵蓋整個(gè)機(jī)器學(xué)習(xí)生命周期。它有助于標(biāo)記和準(zhǔn)備數(shù)據(jù)，以及構(gòu)建、訓(xùn)練和部署復(fù)雜的機(jī)器學(xué)習(xí)模型。使用此工具，數(shù)據(jù)科學(xué)家可以在各種環(huán)境中快速部署和擴(kuò)展模型。

• Microsoft Azure ML 是一個(gè)基于云的平臺(tái)，有助于簡(jiǎn)化機(jī)器學(xué)習(xí)工作流程。它支持 TensorFlow 和 PyTorch 等框架，還可以與其他 Azure 服務(wù)集成。該工具可幫助數(shù)據(jù)科學(xué)家進(jìn)行實(shí)驗(yàn)跟蹤、模型管理和部署。

• DVC（數(shù)據(jù)版本控制）是一種開源工具，旨在處理大型數(shù)據(jù)集和機(jī)器學(xué)習(xí)實(shí)驗(yàn)。該工具使數(shù)據(jù)科學(xué)工作流程更加敏捷、可重復(fù)和協(xié)作。 DVC 與 Git 等現(xiàn)有版本控制系統(tǒng)配合使用，簡(jiǎn)化了數(shù)據(jù)科學(xué)家跟蹤更改和共享復(fù)雜 AI 項(xiàng)目進(jìn)度的方式。

優(yōu)化和管理 ML 工作流程

數(shù)據(jù)科學(xué)家需要優(yōu)化工作流程，以實(shí)現(xiàn)人工智能項(xiàng)目更順暢、更有效的流程。以下工具可以提供幫助：

• Prefect 是一種現(xiàn)代開源工具，數(shù)據(jù)科學(xué)家用它來監(jiān)控和編排工作流程。它輕量且靈活，具有管理 ML 管道（Prefect Orion UI 和 Prefect Cloud）的選項(xiàng)。

• Metaflow 是用于管理工作流程的強(qiáng)大工具。它適用于數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)。它可以讓您輕松專注于模型開發(fā)，而無需擔(dān)心 MLOps 的復(fù)雜性。

• Kedro 是一款基于 Python 的工具，可幫助數(shù)據(jù)科學(xué)家保持項(xiàng)目的可重復(fù)性、模塊化且易于維護(hù)。它將關(guān)鍵的軟件工程原理應(yīng)用于機(jī)器學(xué)習(xí)（模塊化、關(guān)注點(diǎn)分離和版本控制）。這有助于數(shù)據(jù)科學(xué)家構(gòu)建高效、可擴(kuò)展的項(xiàng)目。

管理數(shù)據(jù)和控制管道版本

機(jī)器學(xué)習(xí)工作流程需要精確的數(shù)據(jù)管理和管道完整性。借助正確的工具，數(shù)據(jù)科學(xué)家可以掌控這些任務(wù)，并充滿信心地應(yīng)對(duì)最復(fù)雜的數(shù)據(jù)挑戰(zhàn)。 

• Pachyderm 可幫助數(shù)據(jù)科學(xué)家實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換自動(dòng)化，并為數(shù)據(jù)版本控制、沿襲和端到端管道提供強(qiáng)大的功能。這些功能可以在 Kubernetes 上無縫運(yùn)行。 Pachyderm 支持與各種數(shù)據(jù)類型集成：圖像、日志、視頻、CSV 和多種語(yǔ)言（Python、R、SQL 和 C/C）。它可擴(kuò)展以處理 PB 級(jí)數(shù)據(jù)和數(shù)千個(gè)作業(yè)。

• LakeFS 是一款專為可擴(kuò)展性而設(shè)計(jì)的開源工具。它為對(duì)象存儲(chǔ)添加了類似Git的版本控制，并支持EB級(jí)數(shù)據(jù)版本控制。該工具非常適合處理大量數(shù)據(jù)湖。數(shù)據(jù)科學(xué)家使用此工具像處理代碼一樣輕松地管理數(shù)據(jù)湖。

測(cè)試 ML 模型的質(zhì)量和公平性

數(shù)據(jù)科學(xué)家專注于開發(fā)更可靠的模型和公平的機(jī)器學(xué)習(xí)解決方案。他們測(cè)試模型以盡量減少偏差。正確的工具可以幫助他們?cè)u(píng)估關(guān)鍵指標(biāo)，例如準(zhǔn)確性和 AUC，支持錯(cuò)誤分析和版本比較、文檔流程，并無縫集成到 ML 管道中。

• Deepchecks 是一個(gè) Python 軟件包，可幫助具有 ML 模型和數(shù)據(jù)驗(yàn)證。它還可以簡(jiǎn)化模型性能檢查、數(shù)據(jù)完整性和分布不匹配問題。

• Truera 是一個(gè)現(xiàn)代模型智能平臺(tái)，可幫助數(shù)據(jù)科學(xué)家提高 ML 模型的信任和透明度。使用此工具，他們可以了解模型行為、識(shí)別問題并減少偏差。 Truera 提供模型調(diào)試、可解釋性和公平性評(píng)估功能。

• Kolena 是一個(gè)通過嚴(yán)格的測(cè)試和調(diào)試增強(qiáng)團(tuán)隊(duì)一致性和信任的平臺(tái)。它提供了一個(gè)用于記錄結(jié)果和見解的在線環(huán)境。它的重點(diǎn)是大規(guī)模的 ML 單元測(cè)試和驗(yàn)證，這是在不同場(chǎng)景下保持模型性能一致的關(guān)鍵。

將模型帶入生活

數(shù)據(jù)科學(xué)家需要可靠的工具有效部署 ML 模型并可靠地提供預(yù)測(cè)。以下工具可幫助他們實(shí)現(xiàn)平穩(wěn)且可擴(kuò)展的機(jī)器學(xué)習(xí)操作：

• BentoML 是一個(gè)開放平臺(tái)，可幫助數(shù)據(jù)科學(xué)家在生產(chǎn)中處理機(jī)器學(xué)習(xí)操作。它有助于簡(jiǎn)化模型打包并優(yōu)化服務(wù)工作負(fù)載以提高效率。它還有助于更快地設(shè)置、部署和監(jiān)控預(yù)測(cè)服務(wù)。

• Kubeflow 簡(jiǎn)化了在 Kubernetes 上（本地、本地或云端）部署 ML 模型。有了這個(gè)工具，整個(gè)過程就變得簡(jiǎn)單、可移植且可擴(kuò)展。它支持從數(shù)據(jù)準(zhǔn)備到預(yù)測(cè)服務(wù)的一切。 

通過端到端 MLOps 平臺(tái)簡(jiǎn)化機(jī)器學(xué)習(xí)生命周期

端到端 MLOps 平臺(tái)對(duì)于優(yōu)化機(jī)器學(xué)習(xí)生命周期至關(guān)重要，提供簡(jiǎn)化的方法有效開發(fā)、部署和管理 ML 模型。以下是該領(lǐng)域的一些領(lǐng)先平臺(tái)：

• Amazon SageMaker 提供了一個(gè)全面的界面，可幫助數(shù)據(jù)科學(xué)家處理整個(gè)機(jī)器學(xué)習(xí)生命周期。它簡(jiǎn)化了數(shù)據(jù)預(yù)處理、模型訓(xùn)練和實(shí)驗(yàn)，增強(qiáng)了數(shù)據(jù)科學(xué)家之間的協(xié)作。憑借內(nèi)置算法、自動(dòng)模型調(diào)整以及與 AWS 服務(wù)緊密集成等功能，SageMaker 是開發(fā)和部署可擴(kuò)展機(jī)器學(xué)習(xí)解決方案的首選。

• Microsoft Azure ML Platform 創(chuàng)建支持各種編程語(yǔ)言和框架的協(xié)作環(huán)境。它允許數(shù)據(jù)科學(xué)家使用預(yù)構(gòu)建的模型、自動(dòng)執(zhí)行 ML 任務(wù)，并與其他 Azure 服務(wù)無縫集成，使其成為基于云的 ML 項(xiàng)目的高效且可擴(kuò)展的選擇。

• Google Cloud Vertex AI 為使用 AutoML 的自動(dòng)化模型開發(fā)和使用流行框架的自定義模型訓(xùn)練提供了無縫環(huán)境。集成工具和對(duì) Google Cloud 服務(wù)的輕松訪問使 Vertex AI 成為簡(jiǎn)化機(jī)器學(xué)習(xí)流程的理想選擇，幫助數(shù)據(jù)科學(xué)團(tuán)隊(duì)輕松、大規(guī)模地構(gòu)建和部署模型。

簽署

MLOps 不僅僅是另一種炒作。這是一個(gè)重要的領(lǐng)域，可以幫助專業(yè)人員更快、更準(zhǔn)確、更輕松地訓(xùn)練和分析大量數(shù)據(jù)。我們只能想象未來十年這將如何發(fā)展，但很明顯人工智能、大數(shù)據(jù)和自動(dòng)化才剛剛開始獲得動(dòng)力。

路由網(wǎng)(www.lu-you.com)您可以查閱其它相關(guān)文章！