資料擷取和正規化

本文可協助您了解 FinOps Framework 內的資料擷取和正規化功能，以及如何在 Microsoft Cloud 加以實作。

定義

資料擷取和正規化是指從各種來源將資料收集、轉換並組織到容易存取的單一存放庫中的程序。

從雲端提供者、廠商和內部部署系統收集成本、使用率、效能和其他商務資料。 收集資料可能包括：

• 內部 IT 資料。 例如，從設定管理資料庫 (CMDB) 或 IT 資產管理 (ITAM) 系統。
• 商務特定資料，例如，將雲端成本對應至商業價值或量化商業價值的組織階層和計量。 例如，您的組織和部門任務聲明所定義的營收。

請考量如何報告資料，並規劃資料標準化需求，以支援對多個來源的類似資料進行報告，例如，來自多個雲端或帳戶類型的成本資料。 優先使用開放標準，以及跨提供者、廠商和內部工具的互通性。 您可能也需要以邏輯和有意義的方式組織數據。 您可以分類或標記它，以便輕鬆存取、分析和瞭解。

當組織擁有與商業價值相關的完整成本和使用量資訊集合時，將可賦予專案關係人權力，並加速達成其他 FinOps 功能的目標。 專案關係人能夠做出更明智的決策，進而更有效率地使用資源，且可能大幅節省成本。

開始之前

雖然資料擷取和正規化對於任何 FinOps 實務的長期效率和有效性至關重要，但此需求並不妨礙最初的 FinOps 投資。 如果這是您在 FinOps 生命週期中的第一次反覆作業，請考慮使用較輕量、可更快提供投資報酬的功能，例如資料分析和回報。 資料擷取和正規化可能需要投入大量的時間和努力，實際情況依帳戶大小和複雜度而定。 一旦您正確了解這項工作以及重要專案關係人為了支援該工作所做的承諾，建議您專注於此程序。

開始使用

第一次開始在雲端中管理成本時，請使用透過入口網站或 Power BI 提供的原生工具。 如果您需要更多數據，您可以下載數據進行本機分析，或可能建置小型報表，或將其與另一個數據集合並。 最後，您必須將此程序自動化，這就是執行「資料擷取」的環節。 作為起點，重點在於將成本資料擷取至通用資料存放區。

• 擷取成本資料之前，請先思考您的報告需求。
  • 與專案關係人交談，以確保您清楚了解他們的需求。 嘗試了解其動機和目標，以確保資料或報告對他們有幫助。
  • 識別您所需的資料、可從何處取得資料，以及誰可以提供存取權。 記下任何可能需要正規化的常見數據集。
  • 確認所需的細微性層級，以及資料需要重新整理的頻率。 就大型帳戶而言，管理每日成本資料可能是一項挑戰。 請考慮每月彙總以降低成本，且在此舉符合您的報告需求時提高查詢效能和可靠性。
• 考慮使用第三方 FinOps 平台。
  • 檢閱 Azure Marketplace 中可用的第三方解決方案。
  • 如果您決定自行建置解決方案，請考慮從 FinOps 中樞開始著手，這是 Microsoft 提供的開放原始碼 FinOps 工具組的一部分。
    • FinOps 中樞可加速您的開發，並協助您專注於建置所需的功能，而不是基礎結構。
• 選取適合您的成本詳細資料解決方案。 我們建議使用排程匯出，每天或每個月將成本資料推送至儲存體帳戶。
  • 若您使用每日匯出應注意，資料會每天推送至新檔案中。 在報告成本時，請務必僅選取最近的日期。
• 判斷您是否需透過資料整合或工作流程技術來處理資料。
  • 在早期階段，您可能能夠在導出的記憶體帳戶中保留數據，而不需要進行其他處理。 對於具有輕量需求和最低程度自訂的小型帳戶，建議將資料保留在該處。
  • 如果您需要將數據內嵌至更進階的數據存放區，或執行數據清理或正規化，您可能需要實作數據管線。 選擇資料管線協調流程技術。
• 確認您的資料儲存體需求為何。
  • 在初期階段，建議使用匯出的儲存體帳戶，以簡化流程並降低成本。
  • 如果需要進階查詢引擎，或預期會在報告工具內達到資料大小限制，則應考慮將資料擷取至分析資料存放區中。 選擇分析資料存放區。

以基本概念為基礎

此時，您具有資料管線，且要將資料擷取至中央資料存放庫。 當您超出基本概念時，請考慮下列幾點：

• 將資料正規化為標準結構描述，以支援調整和混合多個來源的資料。
  • 對於成本資料，我們建議使用 FinOps Open Cost & Usage Specification (FOCUS) 結構描述。
  • FinOps 中 樞包含可將數據正規化為 FOCUS 架構的 Power BI 報表，這可以是不錯的起點。
• 使用組織階層和預算來補充雲端成本資料。
  • 考慮為需求加上標籤或標記，將雲端成本對應至組織階層。
• 使用內部 CMDB 或 ITAM 資料擴充雲端資源和解決方案資料。
• 考量需使用哪些內部商務和營收計量，將雲端成本對應至商業價值。
• 根據您的報告需求確認還需要哪些其他資料集：
  • 成本和定價
    • Azure 零售價格：沒有組織折扣的隨用隨付率。
    • 價位表：Microsoft 客戶合約帳戶的組織定價。
    • 價位表：Enterprise 合約帳戶的組織定價。
    • 餘額摘要：Enterprise 合約預付金餘額。
  • 以承諾為基礎的折扣
    • 保留詳細資料：建議詳細資料。
    • 權益使用率摘要：節省方案。
  • 使用率和效率
    • Resource Graph：Azure Advisor 建議。
    • 監視計量：資源使用量。
  • 資源詳細資料
    • Resource Graph：資源詳細資料。
    • 資源變更：列出過去 14 天的資源變更。
    • 訂用帳戶：列出訂用帳戶。
    • 套用至資源和資源群組之標籤的標籤。
  • Azure 服務特定 API：較低層級的設定和使用率詳細資料。

在 FinOps Foundation 深入了解

此功能是 FinOps Foundation FinOps 架構的一部分，FinOps Foundation 是一家致力於推動雲端成本管理和最佳化的非盈利組織。 如需 FinOps 的詳細資訊，包括實用的劇本、訓練和認證計劃等等，請參閱 FinOps Framework 文件中的資料擷取和正規化功能一文。

您也可以在 FinOps Foundation YouTube 頻道中找到相關的影片：

相關內容

相關的 FinOps 功能：

• 成本配置
• 資料分析和回報

相關產品：

• 成本管理
• Azure Resource Graph
• Azure 監視器

相關解決方案：

• FinOps 中樞
• FinOps 工具組 PowerShell 模組