Microsoft Fabric 中的自訂直播池

適用於:✅ Fabric 資料工程與資料科學

自訂 Live pool 是預先加熱的 Spark 叢集,能在 Fabric 中為基於筆記本的工作負載提供幾乎即時的啟動工作階段。 自訂的即時池能在設定的排程視窗內保持叢集溫度,讓你的互動式與排程筆記本能在 5 秒內啟動,讓你不必每次執行都等待叢集配置。

為什麼要使用自訂動態資源池

Fabric 中的標準 Spark 會話每次啟動時都需要叢集配置。 對於經常使用筆記本的團隊——無論是互動式、排程式或管線觸發式——這樣的配置時間可能會減緩迭代週期並增加整體工作延遲。

自訂即時池會透過以下方式解決此問題:

  • 根據使用者自訂的排程提前加水化叢集,讓運算在工作負載抵達時就已準備好。
  • 這讓它能精確控制 叢集的保持熱備狀態以及函式庫配置所使用的環境。
  • 在排定的時間範圍內,所有支援的筆記本工作階段類型都能提供一致的啟動效能(~5秒)。

自訂即時資源池補充了 Fabric 中既有的入門資源池和自訂 Spark 資源池選項:

計算選項 啟動時間 以排程為基礎 自訂程式庫 支援的工作負載
初學者集區 5 到 10 秒(不含任何函式庫) No No 筆記本,SJD
自訂 Spark 資源池 ~1分鐘 No 透過環境 筆記本,SJD
自訂即時直播池 ~5秒到10秒(完全補水後) 是的 透過環境 僅限筆記本電腦(互動式操作及排程功能)

關鍵概念

以下概念說明自訂即時池的運作方式,包括叢集如何準備、何時可用,以及容量與函式庫配置的管理。

補水與熱身

當你建立並發佈自訂的活池時,Fabric 會開始在排程視窗前對叢集進行水合。 hydration 意味著叢集會被完全配置、與附加環境一起配置,並在會話請求到來前保持溫暖狀態。

~5秒的啟動時間只有在泳池完全補水後才會開放。 在初始設定或設定變更後立即,工作階段可能會在補充水分完成期間出現較長的啟動時間。 關於故障排除,請參見 「水分攝取比預期更久」。

附表

每個自訂的活池都需要一個定義池何時啟用的排程表。 叢集僅在排程時段內保持溫暖,且帳單僅在叢集分配期間進行。 當排程到期或叢集閒置超過設定門檻時,Fabric 會解除配置,計費停止。

規劃排程以涵蓋預期工作時段,讓團隊需要時能有溫熱的運算資源。 關於設定步驟與最佳實務,請參見 「配置活池」。

環境依附

每個自定義的即時池都會連接到一個 Fabric 環境。 環境會控制哪些函式庫預裝在水合叢集上。 要更新函式庫,您必須修改並重新發布環境。 現有的水合叢集在下一次排定的水合或手動刷新之前,不會更新至新的函式庫。 關於設定步驟,請參見 「配置活池」。

圖書館發佈模式

附加環境中的函式庫發佈模式決定了函式庫如何交付至水合叢集:

  • 完整模式:函式庫在環境發佈時被解析並整合到已注水集群映像中。 當會話開始時,叢集上已經存在完整快照模式,使會話能在大約 5 秒內開始。 當您需要一個穩定且可重現的函式庫組合,並希望以最快速度啟動會話時,請使用「完整模式」。
  • 快速模式:函式庫不會預載在hydrated cluster上。 它們會在筆記本工作階段開始時安裝。 hydrated 叢集仍能提供快速的運算分配,但在會話開始時安裝函式庫會增加時間。 在開發時使用快速模式,當函式庫穩定性不那麼重要時,可以快速迭代。

備註

筆記本資源資料夾與內嵌函式庫的安裝(例如 %pip install 程式碼區塊)是手動且每個工作階段需要手動執行的方式。 它們獨立於環境發佈模式,也不會影響水合叢集預裝哪些函式庫。

叢集容量

每個池子都有設定的最大叢集數量,可以在設定時設定。 Fabric 不會自動將池子放大超過這個數值。 當所有水化叢集都被占用時,額外的工作將轉為按需配置,這取決於函式庫套件的依賴性,所需時間大約為 3 到 5 分鐘或更久。 關於尺寸調整的指引,請參見「叢集尺寸」。

支援的工作負載

自訂的即時池支援以下基於筆記本的 Spark 會話類型:

  • 互動筆記本 可從 Fabric 入口執行
  • 在筆記本排程器中設定的筆記本排程執行
  • 由管線觸發的筆記本執行任務

備註

Spark 工作定義(批次工作)在目前自訂 Live pool 版本中不被支援。

容量與授權

自訂的活池需要付費的 Fabric 容量 SKU。 目前不支援布料試用容量。

有關可用容量 SKU 的資訊,請參閱 Fabric 概念與授權

存取控制

工作區角色指派控制對自訂活池設定與狀態的存取:

角色 許可
觀眾或會員 唯讀存取權限池狀態和配置
管理員 完整設定、儲存與發佈權限

B2B 訪客用戶必須被分配明確的工作區域角色,才能與自訂的即時資源池互動。

局限性

以下限制適用於目前版本中的自訂動態資源池:

  • 每次泳池完全補水後,訓練約在5秒內開始。 在初始設定或更改設定後,啟動時間可能會比較長。
  • 函式庫變更需要重新發布附加的環境。 水合的叢集不會自動刷新。
  • 當附加環境對某些函式庫使用快速模式時,這些函式庫並未預載於hydrated 叢集,必須在會話開始時安裝。 為了讓會話能以最快速的方式啟動自訂即時池,請對你的程式庫相依性使用完整模式。
  • 僅支援基於筆記本的 Spark 會話。 Spark 工作定義不被支援。
  • 不支援布料試用容量。
  • 每個泳池都必須有時間表。 沒有排程的池子無法公開。
  • 自訂的即時池無法透過環境公開 API 或 CI/CD 管線來管理。 設定必須透過 Fabric 入口網站進行。