獨立管線的要求

建立與刷新獨立的實體化檢視與串流資料表，需要一個支援無伺服器、支援 Unity 目錄的工作區，以及在無伺服器通用運算環境中使用 SQL 倉庫或筆記本。

你可以使用 SQL 倉庫建立並刷新獨立的實體化檢視和串流資料表。 若要提交 CREATE 和 REFRESH 語句，請使用 Azure Databricks UI 中的 SQL 編輯器、Databricks SQL CLI，或 Databricks SQL API。

你也可以從運行於無伺服器通用運算（測試版，區域有限）的筆記本中建立並刷新獨立的實體化視圖和串流資料表。 詳見 筆記本。

一般要求

以下要求適用於所有獨立管線。

您必須擁有：

建立或重新整理的權限

擁有者（建立資料表的使用者）必須擁有以下權限：

  • SELECT 對基礎資料表的權限。
  • USE CATALOG 以及 USE SCHEMA 對包含來源資料表的目錄與結構的權限。
  • 對目標目錄和綱要具有 USE CATALOG 和 USE SCHEMA 權限。
  • CREATE MATERIALIZED VIEW 擁有包含具體視圖的結構的特權。
  • CREATE TABLE 擁有包含串流資料表的結構的特權。 使用 舊版發佈模式 的管線也需要具備實體化檢視的 CREATE TABLE 權限。

若要刷新獨立的實體化視圖或串流資料表：

  • 你必須在創建它的工作區裡。
  • 您必須對該資料表具有 REFRESH 權限。 擁有者本身就擁有這種特權。

來源表需求

若要對以 Delta 資料表為來源的實體化檢視進行增量重新整理，來源資料表必須已啟用 資料列追蹤。

SQL 數據倉庫

要使用 SQL 倉庫建立或刷新獨立的實體化視圖與串流資料表，必須擁有支援 Unity Catalog 的專業版或無伺服器 SQL 倉庫。

Notebooks

你可以用無伺服器的通用運算，從筆記本建立並刷新獨立的實體化視圖和串流資料表。

無伺服器一般運算

Important

在無伺服器通用運算中，從筆記本建立並刷新獨立的實體化視圖與串流資料表，目前仍處於 測試階段。 此功能僅在部分地區提供。 請參閱 區域可用性。

你可以從連接到無伺服器一般運算的筆記本建立並刷新獨立的實體化視圖和串流資料表。 當你想定義並執行實體化檢視表或串流資料表，與其他基於筆記本的工作流程同時，且不需配置 SQL 倉庫時，這個選項非常有用。

若要在筆記本中使用 Python 建立並刷新獨立的實體化視圖與串流資料表，請參見「使用 Python 搭配獨立管線」。

無伺服器一般計算需求

  • 一台連接無伺服器通用運算的筆記本。
  • Databricks 執行環境 18.1 或以上。 互動式筆記本會自動符合這項要求；固定使用較舊版本的作業則不會。
  • 您的工作區必須位於 支持的區域中。

Limitations

  • 只有桌主可以重新整理表格。 若要讓其他使用者重新整理，請更改擁有者。 請參見 「變更串流表的擁有者 」及 「變更實體化視圖的擁有者」。
  • 不支援非同步刷新。 改用同步刷新。
  • 不支援預覽頻道。 在無伺服器上建立的一般運算資料表會使用通道 current 。
  • 資料表只能使用其建立時所使用的運算型態來刷新。 在 SQL 倉庫建立的資料表必須在 SQL 倉庫中重新整理，而在無伺服器通用運算上建立的資料表則必須在無伺服器一般運算中重新整理。 要檢查計算類型，請在 目錄檔案總管中查看表格。
  • 成本歸因與控制功能無法提供。 如果你需要每表的成本歸屬，可以用 SQL 倉庫。
  • 發生記憶體不足錯誤時，無法使用垂直自動擴縮。
  • 架構升級時無法重試。
  • 刷新時無法選擇效能模式。 請參見 「選擇效能模式」以了解排程刷新。

Note

spark.sql 在筆記型電腦中執行無伺服器通用運算的刷新時，支援此功能。

查詢需求

若要查詢獨立的實體化檢視或串流資料表，你必須是擁有者，或者必須在該資料表上具有 SELECT，並在其父項上具有 USE CATALOG 和 USE SCHEMA。

您必須使用下列其中一個計算資源：

  • SQL 資料庫
  • 湖流管線介面
  • 標準存取模式計算 （先前共用存取模式）
  • 專用存取模式計算（過去稱為單一使用者存取模式）可在 Databricks Runtime 15.4 或以上版本上運作，前提是工作空間啟用無伺服器運算。 請參閱 專用計算的細微訪問控制。 如果你是擁有者，可以使用專用存取模式運算，運行 Databricks Runtime 14.3 或以上版本。

對於 Databricks Runtime 15.3 及以下版本的串流資料表，只有你擁有串流資料表時，才能使用專用運算來查詢該串流資料表。 Databricks Runtime 15.4 LTS 和後續版本支援即使您不是擁有者，也能在專用運算資源上查詢管線產生的資料表。 當你使用專用運算來執行資料過濾操作時，可能會被收取無伺服器運算資源的費用。 請參閱 專用計算的細微訪問控制。

區域可用性

使用 Databricks SQL 倉庫建立並更新的資料表，在所有支援無伺服器 Databricks SQL 倉庫的區域都能取得。

在無伺服器通用運算系統上建立與刷新獨立實體化視圖與串流資料表，僅在特定區域提供。

關於兩種計算選項所支援的區域列表，請參見 無伺服器可用性。

  • Last updated on