亞馬遜云科技推出八項Amazon SageMaker全新功能

2022年12月5日 亞馬遜云科技在2022 re:Invent全球大會上宣布，為端到端機器學習服務Amazon SageMaker 推出八項新功能。眾多開發(fā)人員、數據科學家和業(yè)務分析師使用 Amazon SageMaker 提供的全托管基礎設施、工具和工作流，輕松快速地構建、訓練和部署機器學習模型?？蛻羰褂脵C器學習不斷創(chuàng)新，他們創(chuàng)建的模型比以往任何時候都多，因此，他們需要高級功能來有效管理模型的開發(fā)、使用和性能。本次發(fā)布包括新的 Amazon SageMaker 治理功能，它可以在整個機器學習生命周期中提供對模型性能的可見性。新的 Amazon SageMaker Studio Notebook 功能提供了增強的Notebook體驗，讓客戶只需點擊幾下即可檢查和解決數據質量問題，促進數據科學團隊之間的實時協作，通過將Notebook代碼轉變到自動化作業(yè)加速機器學習實驗到生產的過程。最后，Amazon SageMaker新功能可自動執(zhí)行模型驗證，并且讓地理空間數據處理變得更容易。

 “當前，數以萬計各種規(guī)模和各行各業(yè)的客戶都在使用 Amazon SageMaker。亞馬遜云科技客戶每個月都在構建數百萬個模型、訓練數十億參數規(guī)模的模型、生成數萬億個預測。 許多客戶正在以幾年前聞所未聞的規(guī)模使用機器學習?！?strong>亞馬遜云科技人工智能和機器學習副總裁Bratin Saha表示， “今天發(fā)布的Amazon SageMaker新功能讓團隊能夠更輕松地加快機器學習模型的端到端開發(fā)和部署。 從專門構建的治理工具到下一代Notebook體驗和簡化的模型測試，再到對地理空間數據的增強支持，我們在 Amazon SageMaker 的基礎上不斷創(chuàng)新，幫助客戶大規(guī)模利用機器學習?！?/span>

對很多用戶而言，云計算讓機器學習觸手可及。但直到幾年前，構建、訓練和部署模型的過程仍然是艱苦而乏味的，人手不多的數據科學家團隊需要進行為期數周或數月的持續(xù)迭代，才能使模型達到生產水平。亞馬遜云科技在五年前推出 Amazon SageMaker以應對這些挑戰(zhàn)，此后陸續(xù)增加了250 多項新特性和功能，讓客戶能夠更輕松地在多項業(yè)務中使用機器學習。當前，一些客戶聘請了數百名專業(yè)人員，他們使用 Amazon SageMaker 做出預測，用以在改善客戶體驗、優(yōu)化業(yè)務流程和加速新產品和服務開發(fā)等方面幫助解決最嚴峻的挑戰(zhàn)。隨著機器學習應用的增長，客戶想要使用的數據類型不斷增加，客戶需要的治理、自動化和質量保證水平也與日俱增，以期實現對機器學習負責任的應用。Amazon SageMaker一向致力于為全球所有技能水平的專業(yè)人員提供支持，此次發(fā)布也秉承了這一創(chuàng)新傳統。

Amazon SageMaker 機器學習治理新功能

Amazon SageMaker新功能可以幫助客戶更輕松地在機器學習模型生命周期中擴大治理規(guī)模。 隨著企業(yè)內模型和用戶數量的增長，設置最低權限的訪問控制和創(chuàng)建治理流程以記錄模型信息（如輸入數據集、訓練環(huán)境信息、模型使用描述和風險評級）都變得愈發(fā)困難。模型部署后，客戶還需要監(jiān)測偏差和特征偏移，從而確保模型按預期運行。

Amazon SageMaker Role Manager 可以更輕松地控制訪問和權限：適當的用戶訪問控制是治理的基石，它保護數據隱私，防止信息泄露，確保專業(yè)人員可以訪問他們完成工作所需的工具。但一旦數據科學團隊增加到數十甚至數百人，實施這些控制就會變得越來越復雜。機器學習管理員（創(chuàng)建和監(jiān)控組織內機器學習系統的人）必須平衡對簡化開發(fā)的需求和對管控機器學習工作流內任務、資源和數據訪問的需求。當前，管理員通常創(chuàng)建電子表格或使用臨時列表導覽數十種不同活動（如數據準備和訓練）和角色（如機器學習工程師和數據科學家）所需的訪問策略。這些工具需要手動維護，而且可能需要數周時間才能明確新用戶有效完成工作所需的具體任務。Amazon SageMaker Role Manager 讓管理員可以更輕松地控制訪問并為用戶定義權限。管理員可以根據不同的用戶角色和職責選擇和編輯預建模板。之后，該工具會在幾分鐘內自動創(chuàng)建具有必要權限的訪問策略，持續(xù)降低添加和管理用戶所投入的時間和精力。

Amazon SageMaker Model Cards簡化模型信息收集：當前，大多數專業(yè)人員依靠不同的工具（如電子郵件、電子表格和文本文件）記錄模型開發(fā)和評估期間的業(yè)務需求、關鍵決策和觀察結果。專業(yè)人員需要用這些信息支持審批工作流、注冊、審計、客戶查詢和監(jiān)控，但要為每個模型都收集這些詳細信息則需要幾個月的時間。一些專業(yè)人員試圖通過構建復雜的記錄保存系統來解決問題，但這樣的系統需要手動操作、耗時且容易出錯。Amazon SageMaker Model Cards在亞馬遜云科技控制臺提供了單獨的位置存儲模型信息，從而在整個模型生命周期中簡化文檔管理。新功能會自動將輸入數據集、訓練環(huán)境和訓練結果等詳細的訓練信息直接輸入到 Amazon SageMaker Model Cards。用戶還可以使用自助問卷的形式保存模型信息（如精度目標、風險評級）、訓練和驗證結果（如偏差或精準度指標）以及供將來參考的觀察結果，用以進一步提升治理水平、支持負責任地使用機器學習。

Amazon SageMaker Model Dashboard 提供集中界面以跟蹤機器學習模型：模型部署到生產環(huán)境后，專業(yè)人員希望不斷跟蹤模型以了解其性能、識別潛在問題。這一任務通常針對每個模型單獨完成。但當組織開始部署數千個模型時，這種方式會變得越來越復雜，需要大量的時間和資源。 Amazon SageMaker Model Dashboard 可以全面概覽已部署的模型和端點，讓專業(yè)人員只需在一個地方就可以跟蹤資源和模型行為。通過模型看板，客戶還可以使用內置集成的Amazon SageMaker Model Monitor（具備模型與數據偏移監(jiān)控功能）和Amazon SageMaker Clarify（具備機器學習偏差檢測功能）。這種對模型行為和性能的端到端可見性為簡化機器學習治理流程、快速解決模型問題提供了必備的信息。

下一代Notebook

Amazon SageMaker Studio Notebook 為專業(yè)人員提供了從數據探索到部署的全托管Notebook體驗。 隨著團隊規(guī)模和復雜性的增加，可能有數十名專業(yè)人員需要使用Notebook協作開發(fā)模型。亞馬遜云科技推出三項新功能幫助客戶協調和自動化Notebook代碼，進一步為用戶提供最佳Notebook體驗。

簡化數據準備：專業(yè)人員在準備訓練數據時希望直接在Notebook中探索數據集，以發(fā)現和糾正潛在的數據質量問題（如信息缺失、極值、數據集失真和偏差）。專業(yè)人員可能要花費數月時間編寫樣板代碼將數據集的不同部分可視化，檢查數據集，以期識別和修復問題。Amazon SageMaker Studio Notebook提供內置的數據準備功能，讓專業(yè)人員只需點擊幾下即可直觀地查看數據特征、修復數據質量問題，所有這一切都直接在Notebook環(huán)境中進行。當用戶在Notebook中顯示data frame（即數據的表格形式）時，Amazon SageMaker Studio Notebook 會自動生成圖表幫助用戶識別數據質量問題，提供數據轉換建議幫助解決常見問題。專業(yè)人員選擇數據轉換后，Amazon SageMaker Studio Notebook 會在Notebook中生成相應代碼，可供每次運行Notebook時重復應用。

加速整個數據科學團隊的協作：準備好數據后，專業(yè)人員就可以開始開發(fā)模型。這是一個迭代過程，可能需要團隊成員在同一個Notebook中進行協作。當前，團隊必須通過電子郵件或聊天應用交換Notebook和其它資產（如模型和數據集），以便在Notebook上實時協作，這會導致溝通疲勞、反饋遲滯和版本不統一等問題。 Amazon SageMaker 現在為團隊提供了一個工作區(qū)，成員可以在其中實時閱讀、編輯和運行Notebook，簡化協作和溝通。團隊成員可以一起查看Notebook結果，立即了解模型性能，無需反復傳遞信息。Amazon SageMaker Studio Notebook支持 BitBucket 和 Amazon CodeCommit 等服務，團隊可以輕松管理不同的Notebook版本，比較版本變更。實驗和機器學習模型這樣的附加資源也會自動保存，讓團隊工作井井有條。

Notebook代碼自動轉換為生產就緒作業(yè)：當專業(yè)人員要將訓練完成的機器學習模型用到生產中時，他們通常將代碼片段從Notebook復制到一個腳本，再將腳本及其所有的依賴項打包到容器，最后調度容器運行。要在日程表上重復運行該作業(yè)，他們必須搭建、配置和管理持續(xù)集成和持續(xù)交付 （CI/CD）管道，才能實現自動化部署。搭建所有必要的基礎設施可能需要數周時間，這會占用核心的機器學習開發(fā)活動時間。Amazon SageMaker Studio Notebook 現在讓專業(yè)人員可以選擇一個Notebook，將其自動化為可以在生產環(huán)境運行的作業(yè)。Notebook選擇完成后，Amazon SageMaker Studio Notebook 會建立整個Notebook的快照，將其依賴項打包到容器，構建基礎設施，按照專業(yè)人員設定的時間表將Notebook作為自動化作業(yè)運行，當作業(yè)完成時釋放基礎設施，如此可以將Notebook投入生產所需的時間從數周縮短到數小時。

使用實時推理請求自動驗證新模型

在部署到生產環(huán)境之前，專業(yè)人員會測試和驗證每個模型，檢查模型性能、識別可能對業(yè)務產生負面影響的錯誤。專業(yè)人員通常使用過去的推理請求數據測試新模型的性能，但這些數據有時無法代表當前的真實推理請求。例如，用于規(guī)劃最快路線的機器學習模型的歷史數據可能無法代表交通事故或突然關閉道路時交通流量的顯著改變。為了解決這個問題，專業(yè)人員將發(fā)送到生產模型的推理請求副本路由到他們想要測試的新模型。他們需要花費數周時間構建這樣的測試基礎設施、鏡像推理請求、比較新模型在關鍵指標（如延遲和吞吐量）上的表現。雖然這讓專業(yè)人員對模型的執(zhí)行情況更有信心，但為數百以至數千個模型實施這些解決方案的成本和復雜性太高，使其無法規(guī)模化。

Amazon SageMaker Inference 現在提供了一種功能，讓專業(yè)人員可以更輕松地實時使用相同的真實推理請求數據，將新模型的性能與生產模型的性能進行比較?，F在，他們可以輕松地將測試同時擴展到數千個新模型，無需構建自己的測試基礎設施。首先，客戶選擇想要測試的生產模型，Amazon SageMaker Inference 隨后會將新模型部署到具有完全相同條件的托管環(huán)境。Amazon SageMaker 將生產模型收到的推理請求副本路由到新模型，并創(chuàng)建控制面板顯示關鍵指標之間的性能差異，客戶便可以實時了解每個模型的不同之處?？蛻粢坏炞C了新模型的性能并確信它沒有潛在錯誤，就可以安全地部署它。

Amazon SageMaker全新的地理空間功能讓客戶可以更輕松地使用衛(wèi)星和位置數據進行預測

當前，大部分收集到的數據都包含地理空間信息（如位置坐標、天氣圖和交通數據）。但是，已經用于機器學習的只有一小部分，原因是地理空間數據集很難處理，通常達到PB 級的規(guī)模，且跨越整個城市或數百公里土地。要開始構建地理空間模型，客戶通常會采購衛(wèi)星圖像或地圖數據等第三方數據源以補充其專有數據。由于地理空間數據規(guī)模龐大，專業(yè)人員需要合并這些數據，準備數據用于訓練，并編寫代碼將數據集劃分為可管理的子集。當客戶準備部署訓練好的模型時，他們必須編寫更多代碼以重新組合多個數據集，將數據和機器學習模型預測關聯起來。為了從完成的模型中提取預測結果，專業(yè)人員需要花費數天時間使用開源的可視化工具在地圖上做渲染。從數據改進到可視化，整個過程可能需要幾個月的時間，這使得客戶很難利用地理空間數據及時產生機器學習預測。

Amazon SageMaker將客戶豐富數據集、訓練地理空間模型并將結果可視化的時間從數月縮短到數小時，從而加速和簡化地理空間機器學習預測的生成?？蛻糁恍鑾状吸c擊或使用 API就可以使用 Amazon SageMaker訪問各種地理空間數據源，例如亞馬遜云科技的位置服務Amazon Location Service、開放數據集Amazon Open Data、客戶自有數據和來自Planet Labs等第三方供應商的數據。當專業(yè)人員選擇了想要使用的數據集，他們可以利用內置的運算器將這些數據集與自己的專有數據合并起來。為了加快模型開發(fā)，Amazon SageMaker 提供了預訓練的深度學習模型，其支持的用例包括通過精準農業(yè)提高作物產量、監(jiān)測自然災害后區(qū)域恢復以及改善城市規(guī)劃等。訓練完成后，內置的可視化工具在地圖上顯示數據，揭示新的預測。

Capitec Bank 是南非最大的數字銀行，擁有超過 1000 萬數字客戶。 “在 Capitec，我們在各個產品線都擁有大批數據科學家，他們構建不同的機器學習解決方案。”Capitec Bank 機器學習工程師 Dean Matter表示，“我們的機器學習工程師管理著一個基于 Amazon SageMaker 構建的集中式建模平臺，支持所有這些機器學習解決方案的開發(fā)和部署。在沒有任何內置工具的情況下，跟蹤建模工作往往發(fā)生文檔脫節(jié)，模型缺乏可見性。借助 Amazon SageMaker Model Cards，我們可以在統一環(huán)境中跟蹤大量的模型元數據。而Amazon SageMaker Model Dashboard 提供了對每個模型性能的可見性。此外，Amazon SageMaker Role Manager 簡化了對不同產品線數據科學家進行的訪問管理。每一項功能都有助于我們的模型治理，足以保證客戶對我們作為金融服務提供商的信任?！?/span>

EarthOptics 是一家土壤數據測量和制圖公司，利用專有傳感器技術和數據分析精確測量土壤健康狀況和土壤結構。 “我們希望使用機器學習幫助客戶利用經濟實惠的土壤地圖提高農業(yè)產量?！?/span> EarthOptics 首席執(zhí)行官 Lars Dyrud 表示，“Amazon SageMaker 的地理空間機器學習功能使我們能夠使用多個數據源快速構建算法原型，并且將研究和部署生產 API 之間的時間縮短到只有一個月。 得益于 Amazon SageMaker，我們?yōu)槊绹鞯氐霓r場和牧場部署了用于土壤固碳的地理空間解決方案?！?/span>

HERE Technologies 是一個領先的位置數據和技術平臺，可幫助客戶創(chuàng)建自定義地圖和基于高精度位置數據的位置體驗。 “我們的客戶需要實時情境信息，利用空間模式和趨勢洞察做出業(yè)務決策?！?/span>HERE Technologies 首席產品和技術官 Giovanni Lanfranchi 表示，“我們依靠機器學習自動從不同數據源獲取位置數據，增強數據的情境信息，加速數據分析。Amazon SageMaker 的測試新功能讓我們能夠在生產中更嚴格、更主動地測試機器學習模型，避免對客戶造成不利影響或者因為部署的模型出錯導致任何中斷。 這對我們至關重要，因為客戶期待我們根據瞬息萬變的實時位置數據提供及時的見解?！?/span>

Intuit 是全球性金融技術平臺，通過 TurboTax、Credit Karma、QuickBooks 和 Mailchimp等產品支持全球超過 1 億客戶的繁榮發(fā)展。 “我們正在釋放數據的力量，給我們平臺上的消費者、個體經營者和小型企業(yè)帶來金融變革?！?/span>Intuit 工程和產品開發(fā)總監(jiān) Brett Hollman 表示，“為了進一步提高團隊效率、將 AI 驅動的產品快速推向市場，我們與亞馬遜云科技密切合作，設計了 SageMaker Studio Notebook 中全新的團隊協作功能。我們成功實現了簡化溝通和協作，讓我們的團隊能夠使用 Amazon SageMaker Studio 將機器學習開發(fā)規(guī)?；！?/span>