獨立管線的要求

建立與刷新獨立的實體化檢視與串流資料表，需要一個支援無伺服器、支援 Unity 目錄的工作區，以及在無伺服器通用運算環境中使用 SQL 倉庫或筆記本。

你可以使用 SQL 倉庫建立並刷新獨立的實體化檢視和串流資料表。 若要提交 CREATE 和 REFRESH 語句，請使用 Azure Databricks UI 中的 SQL 編輯器、Databricks SQL CLI，或 Databricks SQL API。

你也可以從運行於無伺服器一般運算的筆記本中建立並刷新獨立的實體化視圖和串流資料表。 詳見 筆記本。

Requirements

以下要求適用於所有獨立管線。

您必須擁有：

建立或重新整理權限

擁有者（建立資料表的使用者）必須擁有以下權限：

  • SELECT 對基礎資料表的權限。
  • USE CATALOG 以及 USE SCHEMA 對包含來源資料表的目錄與結構描述的權限。
  • USE CATALOG 以及 USE SCHEMA 在目標 catalog 與綱要上的權限。
  • CREATE MATERIALIZED VIEW 對包含實體化檢視的結構描述具有的權限。
  • CREATE TABLE 包含串流資料表之結構描述的權限。 使用 舊版發佈模式 的管線也需要具備實體化檢視的 CREATE TABLE 權限。

若要刷新獨立的實體化視圖或串流資料表：

  • 你必須在創建它的工作區裡。
  • 您必須對該資料表具有 REFRESH 權限。 擁有者本身就擁有這種特權。

來源表需求

若要對以 Delta 資料表為來源的實體化檢視進行增量重新整理，來源資料表必須已啟用 資料列追蹤。

SQL 數據倉庫

若要使用SQL倉庫建立或刷新獨立的實體化視圖，必須擁有支援Unity Catalog的專業版或無伺服器SQL倉庫。 要建立或刷新獨立串流資料表，您可以使用任何支援 Unity 目錄的 SQL 倉庫，包括經典的 SQL 倉庫。 請參考 SQL 倉庫類型。

Notebooks

你可以用無伺服器的通用運算，從筆記本建立並刷新獨立的實體化視圖和串流資料表。

無伺服器一般運算

你可以從連接到無伺服器一般運算的筆記本建立並刷新獨立的實體化視圖和串流資料表。 當你想定義並執行實體化檢視表或串流資料表，與其他基於筆記本的工作流程同時，且不需配置 SQL 倉庫時，這個選項非常有用。

若要在筆記本中使用 Python 建立並刷新獨立的實體化視圖與串流資料表，請參見「使用 Python 搭配獨立管線」。

無伺服器一般計算需求

  • 一台連接無伺服器通用運算的筆記本。
  • Databricks 執行環境 18.1 或以上。 互動式筆記本會自動符合這項要求；固定使用較舊版本的作業則不會。
  • 你的工作區必須位於支援 無伺服器運算的區域。

Limitations

  • 只有桌主可以重新整理表格。 若要讓其他使用者重新整理，請更改擁有者。 請參見 「變更串流表的擁有者 」及 「變更實體化視圖的擁有者」。
  • 不支援非同步刷新。 改用同步刷新。
  • 不支援預覽頻道。 在無伺服器上建立的一般運算資料表會使用通道 current 。
  • 資料表只能使用其建立時所使用的運算型態來刷新。 在 SQL 倉庫建立的資料表必須在 SQL 倉庫中重新整理，而在無伺服器通用運算上建立的資料表則必須在無伺服器一般運算中重新整理。 要檢查計算類型，請在 目錄檔案總管中查看表格。
  • 成本歸因與控制功能無法提供。 如果你需要每表的成本歸屬，可以用 SQL 倉庫。
  • 發生記憶體不足錯誤時，無法使用垂直自動擴縮。
  • 架構升級時無法重試。
  • 刷新時無法選擇效能模式。 請參見 「選擇效能模式」以了解排程刷新。

Note

在無伺服器一般運算的筆記本環境中，你可以使用 spark.sql 提交 CREATE 和 REFRESH 陳述式，或在 Python 中使用 pipelines 修飾器來定義資料表。 請參考「使用 Python 搭配獨立管線」。

查詢需求

若要查詢獨立的實體化檢視或串流資料表，你必須是擁有者，或者必須在該資料表上具有 SELECT，並在其父項上具有 USE CATALOG 和 USE SCHEMA。

您必須使用下列其中一個計算資源：

  • SQL 資料庫
  • 湖流管線介面
  • 標準存取模式計算 （先前共用存取模式）
  • 專用存取模式計算（過去稱為單一使用者存取模式）可在 Databricks Runtime 15.4 或以上版本上運作，前提是工作空間啟用無伺服器運算。 請參閱 專用計算的細微訪問控制。 如果你是擁有者，可以使用專用存取模式運算，運行 Databricks Runtime 14.3 或以上版本。

對於 Databricks Runtime 15.3 及以下版本的串流資料表，只有你擁有串流資料表時，才能使用專用運算來查詢該串流資料表。 Databricks Runtime 15.4 LTS 和後續版本支援即使您不是擁有者，也能在專用運算資源上查詢管線產生的資料表。 當你使用專用運算來執行資料過濾操作時，可能會被收取無伺服器運算資源的費用。 請參閱 專用計算的細微訪問控制。

區域可用性

使用 Databricks SQL 倉庫建立並更新的資料表，在所有支援無伺服器 Databricks SQL 倉庫的區域都能取得。

在所有支援無伺服器運算的區域中，皆可在無伺服器一般運算上建立及重新整理獨立實體化檢視和串流資料表。

關於兩種計算選項所支援的區域列表，請參見 無伺服器可用性。

  • 上次更新時間：