Vereisten voor zelfstandige pijplijnen

Voor het maken en vernieuwen van zelfstandige gerealiseerde weergaven en streamingtabellen is een serverloze werkruimte met Unity Catalog en een SQL-warehouse of een notebook op serverloze algemene rekenkracht vereist.

U kunt zelfstandige gerealiseerde weergaven en streamingtabellen maken en vernieuwen met behulp van een SQL Warehouse. Als u CREATE- en REFRESH-instructies wilt verzenden, gebruikt u de SQL-editor in de Azure Databricks-gebruikersinterface, de Databricks SQL CLI of de Databricks SQL API.

U kunt ook zelfstandige gematerialiseerde weergaven en streamingtabellen maken en vernieuwen vanuit een notebook dat draait op serverloze algemene rekenkracht (bèta, beperkte regionale beschikbaarheid). Zie Notebooks.

Algemene vereisten

De volgende vereisten zijn van toepassing op alle zelfstandige pijplijnen.

U moet over het volgende beschikken:

Machtigingen voor het maken of vernieuwen

De eigenaar (de gebruiker die de tabel maakt) moet de volgende machtigingen hebben:

  • SELECT bevoegdheid voor de basistabellen.
  • USE CATALOG en USE SCHEMA bevoegdheden voor de catalogus en het schema met de brontabellen.
  • USE CATALOG en USE SCHEMA bevoegdheden voor de doelcatalogus en het schema.
  • CREATE MATERIALIZED VIEW bevoegdheid voor het schema met de gematerialiseerde weergave.
  • CREATE TABLE machtiging voor het schema dat de streamingtabel bevat. Pipelines die de oude publicatiemodus gebruiken, vereisen ook de CREATE TABLE machtiging voor gematerialiseerde weergaven.

Een zelfstandige gematerialiseerde weergave of streamingtabel vernieuwen:

  • U moet in de werkruimte zijn waarin dit is gemaakt.
  • U moet de REFRESH bevoegdheid voor de tabel hebben. Eigenaren hebben deze bevoegdheid impliciet.

Vereisten voor brontabellen

Voor incrementeel vernieuwen van gerealiseerde weergaven uit Delta-tabellen moet voor de brontabellen het bijhouden van rijen zijn ingeschakeld.

SQL-magazijnen

Als u zelfstandige gerealiseerde weergaven en streamingtabellen wilt maken of vernieuwen met behulp van een SQL Warehouse, moet u beschikken over een pro- of serverloze SQL-warehouse met Unity Catalog.

Notebooks

U kunt zelfstandige gerealiseerde weergaven en streamingtabellen maken en vernieuwen vanuit een notebook met serverloze algemene rekenkracht.

Serverloze algemene rekenkracht

Important

Het maken en vernieuwen van zelfstandige gematerialiseerde weergaven en streamingtabellen vanuit een notebook op serverloze algemene rekenresources is beschikbaar als bèta. Deze functie is alleen beschikbaar in bepaalde regio's. Zie Regionale beschikbaarheid.

U kunt zelfstandige gerealiseerde weergaven en streamingtabellen maken en vernieuwen vanuit een notebook dat is gekoppeld aan serverloze algemene berekeningen. Deze optie is handig als u gerealiseerde weergaven of streamingtabellen naast andere notebookwerkstromen wilt definiëren en uitvoeren zonder een SQL-warehouse in te richten.

Zie Python gebruiken met zelfstandige pijplijnen om zelfstandige gerealiseerde weergaven en streamingtabellen te maken en te vernieuwen met Python in een notebook.

Serverloze algemene rekenvereisten

  • Een notebook dat is gekoppeld aan serverloze algemene berekeningen.
  • Databricks Runtime 18.1 of hoger. Interactieve notebooks voldoen automatisch aan deze vereiste; taken die zijn vastgemaakt aan een oudere versie, doen dit niet.
  • Uw werkruimte moet zich in een ondersteunde regio bevinden.

Limitations

  • Alleen de eigenaar van de tabel kan de tabel vernieuwen. Als u wilt dat een andere gebruiker kan vernieuwen, wijzigt u de eigenaar. Zie De eigenaar van een streamingtabel wijzigen en de eigenaar van een gerealiseerde weergave wijzigen.
  • Asynchrone vernieuwingen worden niet ondersteund. Gebruik in plaats daarvan een synchrone verversing.
  • Het preview-kanaal wordt niet ondersteund. Tabellen die zijn gemaakt op serverloze algemene berekeningen gebruiken het current kanaal.
  • Een tabel kan alleen worden vernieuwd met het rekentype waarmee deze is gemaakt. Een tabel die in een SQL Warehouse is gemaakt, moet worden vernieuwd in een SQL-warehouse en een tabel die is gemaakt op serverloze algemene berekeningen, moet worden vernieuwd op serverloze algemene berekeningen. Als u het rekentype wilt controleren, bekijkt u de tabel in Catalog Explorer.
  • Kostentoewijzing en beheer zijn niet beschikbaar. Gebruik een SQL Warehouse als u kostentoewijzing per tabel nodig hebt.
  • Automatisch verticaal schalen bij fouten door onvoldoende geheugen is niet beschikbaar.
  • Nieuwe pogingen voor schema-upgrades zijn niet beschikbaar.
  • Selectie van de prestatiemodus bij vernieuwen is niet beschikbaar. Zie Een prestatiemodus selecteren voor geplande vernieuwingen.

Note

spark.sql wordt ondersteund wanneer een verversing wordt uitgevoerd in een notebook op serverloze algemene rekenkracht.

Vereisten voor zoekopdrachten

Als u een query wilt uitvoeren voor een zelfstandige gematerialiseerde weergave of streamingtabel, moet u de eigenaar zijn, of u moet beschikken over SELECT voor de tabel en over USE CATALOG en USE SCHEMA voor de bovenliggende tabellen.

U moet een van de volgende rekenresources gebruiken:

  • SQL Warehouse
  • Lakeflow-pijplijneninterfaces
  • Berekening van de standaardtoegangsmodus (voorheen modus voor gedeelde toegang)
  • Compute met modus voor toegewezen toegang (voorheen modus voor toegang voor één gebruiker) op Databricks Runtime 15.4 of hoger, als serverloze compute is ingeschakeld voor de werkruimte. Zie Gedetailleerd toegangsbeheer voor toegewezen berekeningen. Als u de eigenaar bent, kunt u rekenresources in de modus voor toegewezen toegang gebruiken met Databricks Runtime 14.3 of hoger.

Voor streamingtabellen in Databricks Runtime 15.3 en lager kunt u toegewezen rekenkracht gebruiken om alleen een query uit te voeren op een streamingtabel als u de eigenaar bent. Databricks Runtime 15.4 LTS en hoger bieden ondersteuning voor het uitvoeren van query's op tabellen die door een pijplijn zijn gegenereerd op toegewezen rekenkracht, zelfs als u niet de eigenaar bent. Er worden mogelijk kosten in rekening gebracht voor serverloze rekenresources wanneer u toegewezen berekeningen gebruikt om gegevensfilterbewerkingen uit te voeren. Zie Gedetailleerd toegangsbeheer voor toegewezen berekeningen.

Regionale beschikbaarheid

Tabellen die zijn gemaakt en vernieuwd met behulp van een Databricks SQL Warehouse, zijn beschikbaar in alle regio's die serverloze Databricks SQL-warehouses ondersteunen.

Het maken en vernieuwen van zelfstandige gerealiseerde weergaven en streamingtabellen op serverloze algemene berekeningen is alleen beschikbaar in bepaalde regio's.

Zie Serverloze beschikbaarheid voor de lijst met ondersteunde regio's voor beide rekenopties.

  • Last updated on