此參考架構說明如何使用 Azure Stack Edge 將快速機器學習推斷從雲端延伸至內部部署或邊緣案例。 Azure Stack Hub 會將計算、記憶體、網路和硬體加速機器學習等 Azure 功能傳遞給任何邊緣位置。
架構
工作流程
此架構包含下列步驟：
- Azure Machine Learning。 機器學習 可讓您在雲端式環境中建置、定型、部署及管理機器學習模型。 然後，這些模型可以部署到 Azure 服務，包括（但不限於）Azure 容器執行個體、Azure Kubernetes Service （AKS） 和 Azure Functions。
- Azure Container Registry。 Container Registry 是一項服務，可建立和管理 Docker 登錄。 Container Registry 會建置、儲存及管理 Docker 容器映像，並可儲存容器化的機器學習模型。
- Azure Stack Edge。 Azure Stack Edge 是專為邊緣機器學習推斷而設計的邊緣運算裝置。 數據傳輸至 Azure 之前，會在邊緣預先處理數據。 Azure Stack Edge 包含計算加速硬體，其設計目的是改善邊緣 AI 推斷的效能。
- 本機數據。 本機數據會參考機器學習模型定型中使用的任何數據。 數據可以位於任何本機記憶體解決方案中，包括 Azure Arc 部署。
元件
案例詳細資料
潛在使用案例
此解決方案適用於電信業。 當您需要下列專案時，一般用於擴充推斷包括：
- 在擷取數據時，執行本機、快速的機器學習推斷，而且您有顯著的內部部署硬體使用量。
- 建立長期研究解決方案，其中會清除現有的內部部署數據，並用來產生模型。 模型接著會在內部部署和雲端中使用;新數據送達時會定期重新定型。
- 建置需要推斷使用者的軟體應用程式，無論是在實體位置和在線。
建議
內嵌、轉換及傳輸儲存在本機的數據
Azure Stack Edge 可以在將數據傳輸到 Azure 之前，先從本機記憶體轉換數據源。 此轉換是由 部署在 Azure Stack Edge 裝置上的 Azure IoT Edge 裝置來完成。 這些 IoT Edge 裝置會與 Azure 雲端平臺上 Azure IoT 中樞 資源相關聯。
每個 IoT Edge 模組都是 Docker 容器，可在內嵌、轉換和傳輸工作流程中執行特定工作。 例如，IoT Edge 模組可以從 Azure Stack Edge 本機共用收集數據，並將數據轉換成已準備好進行機器學習的格式。 然後，模組會將轉換的數據傳輸到 Azure Stack Edge 雲端共用。 您可以將 自定義或內建模組新增至IoT Edge裝置 ，或 開發自定義IoT Edge模組。
注意
IoT Edge 模組會在 Container Registry 中註冊為 Docker 容器映射。
在 Azure 雲端平臺上的 Azure Stack Edge 資源中，雲端共用是由 Azure Blob 記憶體帳戶資源所支援。 雲端共用中的所有數據都會自動上傳至相關聯的記憶體帳戶。 您可以藉由掛接本機或雲端共用，或周遊 Azure 儲存體 帳戶來驗證數據轉換和傳輸。
定型和部署模型
在 Blob 記憶體中準備和儲存資料之後，您可以建立連線到 Azure 儲存體 的 機器學習 數據集。 數據集代表記憶體中數據的單一複本，直接由 機器學習 參考。
您可以使用 機器學習 命令行介面 （CLI）、R SDK、Python SDK、設計工具或 Visual Studio Code 來建置定型模型所需的腳本。
定型模型並準備好要部署之後，您可以將它部署到各種 Azure 服務，包括但不限於：
- Azure Container Registry。 您可以將模型部署到私人 Docker 登錄，例如 Azure Container Registry，因為它們是 Docker 容器映像。
- Azure 容器執行個體。 您可以將 模型的 Docker 容器映像 直接部署到容器群組。
- Azure Kubernetes Service。 您可以使用 Azure Kubernetes Service 來 自動調整模型的 Docker 容器映射 ，以進行大規模生產部署。
- Azure Functions。 您可以 封裝模型，直接在函式 實例上執行。
- Azure Machine Learning。 您可以使用 計算實例、受控雲端式開發工作站，來定型和推斷模型。 您也可以將模型部署至內部部署IoT Edge和 Azure Stack Edge 裝置。
注意
針對此參考架構，模型會部署到 Azure Stack Edge，讓模型可供內部部署推斷使用。 此模型也會部署至 Container Registry，以確保模型可供跨各種 Azure 服務進行推斷。
使用新部署的模型進行推斷
Azure Stack Edge 可以使用其內建計算加速硬體，在本機針對數據快速 執行機器學習模型 。 此計算完全發生在邊緣。 結果是使用比公用雲端區域更接近數據源的硬體，從數據快速深入解析。
此外，Azure Stack Edge 會繼續使用與已針對儲存在本機數據執行的模型相關聯的機器學習管線，將數據傳輸到 機器學習，以進行持續重新定型和改進。
考量
這些考量能實作 Azure Well-Architected Framework 的要素，其為一組指導原則，可以用來改善工作負載的品質。 如需詳細資訊，請參閱 Microsoft Azure Well-Architected Framework (部分機器翻譯)。
可用性
- 請考慮將 Azure Stack Edge 資源放在與將存取它的其他 Azure 服務相同的 Azure 區域中。 若要將上傳效能優化，請考慮將 Azure Blob 記憶體帳戶放在設備具有最佳網路連線的區域。
- 請考慮 使用 Azure ExpressRoute ，以取得裝置與 Azure 之間的穩定備援連線。
管理能力
- 管理員 istrators 可以確認本機記憶體的數據源已正確傳輸到 Azure Stack Edge 資源。 他們可以使用 Azure 儲存體 Explorer 掛接伺服器消息塊 （SMB）/網路文件系統 （NFS） 檔案共用，或連線到相關聯的 Blob 記憶體帳戶來進行驗證。
- 在定型模型時，使用 機器學習 數據集參考 Blob 記憶體中的數據。 參考記憶體不需要在定型腳本中內嵌秘密、數據路徑或 連接字串。
- 在 機器學習 工作區中，註冊和追蹤機器學習模型，以追蹤模型在不同時間點之間的差異。 同樣地，您可以在部署至 Container Registry 的 Docker 容器映像所使用的標記中鏡像版本設定和追蹤元數據。
DevOps
- 檢閱 mlOps 生命週期管理方法，以取得 機器學習。 例如，使用 GitHub 或 Azure Pipelines 來建立持續整合程式，以自動定型和重新定型模型。 當新數據填入數據集或對定型腳本進行變更時，即可觸發定型。
- Azure 機器學習 工作區會自動註冊和管理機器學習模型和IoT Edge模組的Docker容器映像。
成本最佳化
成本最佳化是關於考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱成本最佳化要素的概觀。
- 使用 Azure 定價計算機來預估成本。
- Azure Stack Edge 定價 會計算為一次性出貨費用的一次性每月訂用帳戶。
- Azure 機器學習 也會部署 Container Registry、Azure 儲存體 和 Azure 金鑰保存庫 服務，這會產生額外費用。 如需詳細資訊，請參閱 Azure 機器學習 的運作方式：架構和概念。
- Azure 機器學習 定價包括用於在公用雲端中定型模型的虛擬機費用。
下一步
產品文件
Microsoft Learn 課程模組：