三分彩全体在线计划欢迎您的到來!

                                              每日姿勢新看點

                                              用于機器學習開發和模型治理的專用工具日益變得重要

                                              • 日期:2019-08-06 20:36:50
                                              • 來源:互聯網
                                              • 編輯:小狐
                                              • 閱讀人數:640

                                              大約10個月前,Databricks發布了MLflow,這是一個用于機器學習的新開源項目(完全披露利益相關:Ben Lorica是Databricks的顧問)我們認為,由于缺乏明確的開源競品替代方案,MLflow有很大的機會吸引用戶使用,事實證明情況確實如此。在相對較短的時間內,MLflow在GitHub上獲得了超過3,300顆星,來自40多家公司有80多名工程師成為了代碼貢獻者。最重要的是,超過200家公司正在使用MLflow。

                                              那么,為什么這個新的開源項目會引起數據科學家和機器學習工程師的共鳴呢?回想一下機器學習項目的關鍵屬性:

                                              與目標是滿足功能參數的傳統軟件不同,在機器學習中,我們的目標是優化指標。

                                              參與機器學習的人通常希望嘗試新的庫,算法和數據源 – 因此,必須能夠將這些新組件投入生產環境。

                                              MLflow的成功可歸功于輕量級的“開放式界面”允許用戶連接他們喜愛的機器學習庫,以及用戶可以選擇的三個組件的可用性(即,他們可以使用其中的一個,兩個或全部三個)

                                              用于機器學習開發和模型治理的專用工具日益變得重要(圖1)

                                              事實上,人們可以按需選擇任意MLflow組件,意味著項目能夠快速滿足各種用戶的需求。根據我們對MLflow用戶正在進行的調查,以下是一些最常用的用例:

                                              跟蹤和大量機器學習實驗:MLflow對于跟蹤他/她自己的實驗的個別數據科學家非常有用,但它也被設計用于擁有大型機器學習團隊的公司,他們使用它來跟蹤數千個莫O型。

                                              MLflow用于多階段的機器學習管線。

                                              模型封裝:公司正在使用MLflow將自定義邏輯和依賴關系作為模型包抽象的一部分,再將其部署到生產環境中(例如:推薦可能被硬編碼為,不向未成年人顯示某些圖像)

                                              即將發布的0.9.0版本具有許多新功能,包括支持MLflow跟蹤的數據庫存儲,這將使大型團隊更容易查詢和跟蹤正在進行的和過去的實驗。

                                              模型治理

                                              公司需要認真研究機器學習模型的改進工具,這些工具是更有野心的工具套件的一部分。機器學習不僅限于擁有博士學位的研究人員; 人手遠遠不夠。

                                              機器學習正處于民主化的過程中; 讓軟件人員能夠使用工具構建和訓練模型對于民主化進程至關重要。

                                              我們還說過,在生產環境中部署的機器學習模型數量將急劇增加:許多應用程序將由許多模型構建,許多公司將希望自動化其業務的方方面面。這些模型將會因太舊而失效,需要定期重新訓練。我們已經習慣于數據治理、數據,理解和控制流行“數據驅動類應用”的數據庫。我們現在也意識到,對模型而言也是如此。公司需要跟蹤他們正在建造的模型以及他們在生產中的模型。

                                              像Datatron這樣的初創公司開始使用術語“模型治理”來描述跟蹤和模型的任務,他們開始在產品套件中構建模型治理工具。該術語描述了企業和大公司開始使用的流程,這樣能夠了解團隊正在開展的許多ML計劃和項目。機構也表示,他們對構建在人工智能和機器學習之上的產品感興趣,因此ML的將需要遵守未來的法規。以下是一些將在構建模型治理解決方案中發揮作用的要素:

                                              授權/安全性的數據庫:誰具有對某些模型的讀/寫訪問權限

                                              模型的目錄/數據庫:包括,訓練和部署模型的時間

                                              審計所需的元數據和中間件:例如,MLflow組件的輸出與審計非常相關

                                              用于部署,監控和警報的:誰批準并將模型推向生產,誰能夠監控其性能并接收警報,以及誰對模型負責

                                              傳統軟件人員長期以來一直有項目的工具。這些工具版本控制,庫,部署自動化等功能。機器學習工程師知道并使用所有這些工具,但這些工具還不夠。我們開始看到適合機器學習工程師所需功能的工具,包括模型治理,跟蹤實驗和打包模型的工具,以便結果可重復。機器學習民主化的下一個重要步驟是使其更加易于:不僅僅是手工制作解決方案,還有使機器學習在企業級規模上可、可部署的解決方案。

                                              相關資源

                                              “什么是機器學習工程師?” :一個新的角色,專注于創建數據產品和使數據科學在生產中工作

                                              “機器學習對軟件意味著什么”

                                              “機器學習中的深度自動化”

                                              “什么是硬核的數據科學實踐?” :將數據科學投入生產的架構解剖

                                              “從機器學習模型為真實的產品和服務過程中獲得的經驗教訓”

                                              Harish Doddi談“簡化機器學習生命周期”

                                              Jesse Anderson和Paco Nathan撰寫“機器學習工程師需要了解的內容”

                                              “數據工程師與數據科學家”

                                              用于機器學習開發和模型治理的專用工具日益變得重要(圖2)

                                              Ben Lorica是O’Reilly Media公司的首席數據科學家,同時也是Strata數據會議和O’Reilly人工智能會議的內容日程主管。他曾在多種場景下應用商業智能、數據挖掘、機器學習和統計分析技術,這些場景包括直銷、消費者與市場研究、定向廣告、文本挖掘和金融工程。他的背景包括在投資公司、互聯網初創企業和金融服務公司就職。

                                              用于機器學習開發和模型治理的專用工具日益變得重要(圖3)

                                              This article originally appeared in English: “Specialized tools for machine learning development and model governance are becoming essential”.

                                              本文相關詞條概念解析:

                                              機器

                                              機器是由各種金屬和非金屬部件組裝成的裝置,消耗能源,可以運轉、做功。它是用來代替人的勞動、進行能量變換、以及產生有用功。機器貫穿在人類歷史的全過程中。但是近代真正意義上的“機器”,卻是在西方工業革命后才逐步被發明出來。

                                              網友評論

                                              提交評論
                                              飛天女俠啵
                                              飛天女俠啵
                                              室內甲醛治理真的有用嗎,如何治理?
                                              2019-08-16 20:31 275
                                              2843743060
                                              2843743060
                                              可以考慮在上下班高峰期、高峰路段,禁止私家車通行,只有公交車、出租車可運行
                                              2019-08-09 18:36 371
                                              風雨亦同行
                                              風雨亦同行
                                              如果您家在被甲醛問題困擾,如果您想分享功德無量的甲醛環保觀念和知識,請仔細閱讀、請分享功德無量的這件事
                                              2019-08-12 12:01 502
                                              lengjian28
                                              lengjian28
                                              而當成都已經修了上百公里的地鐵時,重慶還是那么點
                                              2019-08-16 11:43 962
                                              電波少年in
                                              電波少年in
                                              應如何治理小區業主與物業矛盾日益加深的問題?
                                              2019-08-15 09:16 451
                                              壓力下的喜
                                              壓力下的喜
                                              愛自己需要知識,觀念決定成與敗
                                              2019-08-15 08:59 400
                                              巫師很可愛
                                              巫師很可愛
                                              說白了,這就是城市規劃出了問題
                                              2019-08-15 02:55 813
                                              核桃里音樂
                                              核桃里音樂
                                              如意吉祥,分享環保觀念、環保知識,功德無量
                                              2019-08-16 21:45 338
                                              castiqutor
                                              castiqutor
                                              公交先行,這是老生常談
                                              2019-08-10 05:56 829
                                              亞芬1953
                                              亞芬1953
                                              重慶為了治堵投入巨大,但畢竟修路、修橋,趕不上流水線造車的速度
                                              2019-08-14 05:18 591
                                              sugar_31
                                              sugar_31
                                              因此,我們不應該反對旅游景區的商業化,而是要杜絕過度的、殺雞取卵式的商業化
                                              2019-08-12 02:06 978
                                              莫待花無空
                                              莫待花無空
                                              比如,每天早上,從江北到渝中的道路擁擠不堪,反向卻沒幾個車
                                              2019-08-15 19:04 490
                                              麻吉公社客
                                              麻吉公社客
                                              蘆薈(置于室內陽光充足的地方)
                                              2019-08-11 08:40 223
                                              小雨初停
                                              小雨初停
                                              這樣可以有效提高高峰時段通行效率
                                              2019-08-17 19:12 302
                                              叫我小北哥
                                              叫我小北哥
                                              如何治理重慶主城區堵車?
                                              2019-08-09 07:28 937

                                              網站申明:本站圖片僅為設計美化,與文章無關。如認為影響您的權益,請與我們聯系。

                                              三分彩全体在线计划 全天时时彩在线计划 重庆时时彩开奖计划 北京PK10免费计划 极速分分彩计划