Skapa, köra och hantera Delta Live Tables-pipelines

Du kan skapa, köra, hantera och övervaka en Delta Live Tables-pipeline med hjälp av användargränssnittet eller Delta Live Tables-API:et. Du kan också köra din pipeline med ett orkestreringsverktyg som Azure Databricks-jobb. Den här artikeln fokuserar på att utföra Delta Live Tables-uppgifter med hjälp av användargränssnittet. Om du vill använda API:et läser du API-guiden eller automatiserar API:et med Databricks Terraform-providern och databricks_pipeline.

Information om hur du skapar och kör din första pipeline finns i snabbstarten för Delta Live Tables.

Skapa en pipeline

Skapa en exempelpipeline

Utför följande steg för att skapa en exempelpipeline med exempeldata som ingår i din Azure Databricks-arbetsyta:

  1. Klicka på JobbikonArbetsflöden i sidofältet och klicka på fliken Delta Live Tables (Delta Live-tabeller ).
  2. Klicka på Blue Down Caret bredvid Create Pipeline (Skapa pipeline ) och välj Create pipeline from sample data (Skapa pipeline från exempeldata). Sidan Skapa pipeline från exempeldata visas.
  3. Ange ett namn för pipelinen i fältet Pipelinenamn .
  4. (Valfritt) Om du vill välja en klusterprincip som definierar gränser för konfigurationen av pipelinekluster väljer du en princip i listrutan Klusterprincip . Mer information om hur du använder klusterprinciper med en Delta Live Tables-pipeline finns i Definiera gränser för pipelinekluster.
  5. Om du vill välja ett språk för pipelinen klickar du på alternativknappen SQL eller Python .
  6. (Valfritt) Om du vill göra dina tabeller tillgängliga för identifiering och frågor anger du ett databasnamn i fältet Målschema . Se Publicera datauppsättningar.
  7. Klicka på Skapa.

Information om hur du kör exempelpipelinen finns i Starta en pipelineuppdatering.

Skapa en ny pipeline

Utför följande steg för att skapa en ny pipeline:

  1. Gör något av följande:

    • Klicka på JobbikonArbetsflöden i sidofältet, klicka på fliken Delta Live Tables och klicka på Delta Live Tables Create Icon (Delta Live Tables Skapa ikon). Sidan Skapa pipeline visas.
    • I sidopanelen klickar du på Ny ikonNy och väljer Pipeline.
  2. Ange ett namn för pipelinen i fältet Pipelinenamn .

  3. Välj Delta Live Tables-produktutgåvan för pipelinen i listrutan Produktutgåva .

    Med alternativet produktutgåva kan du välja den bästa produktutgåvan baserat på kraven för din pipeline. Se Produktversioner.

  4. Välj Utlöses eller Kontinuerlig för Pipeline-läge. Se Kontinuerliga och utlösta pipelines.

  5. (Valfritt) Om du vill välja en klusterprincip som definierar gränser för konfigurationen av pipelinekluster väljer du en princip i listrutan Klusterprincip . Mer information om hur du använder klusterprinciper med en Delta Live Tables-pipeline finns i Definiera gränser för pipelinekluster.

  6. Ange en sökväg till en notebook-fil som innehåller dina pipelinefrågor i fältet Notebook-bibliotek eller klicka på ikonen Filväljare för att bläddra till anteckningsboken.

  7. (Valfritt) Om du vill lägga till ytterligare notebook-filer i pipelinen klickar du på knappen Lägg till notebook-bibliotek .

    Du kan lägga till anteckningsböcker i valfri ordning. Delta Live Tables analyserar automatiskt datauppsättningsberoenden för att konstruera bearbetningsdiagrammet för din pipeline.

  8. (Valfritt) Om du vill konfigurera en lagringsplats för utdata från pipelinen anger du en DBFS- eller molnlagringssökväg i fältet Lagringsplats . Systemet använder en standardplats om du lämnar Lagringsplats tom.

  9. (Valfritt) Om du vill göra dina tabeller tillgängliga för identifiering och frågor anger du ett databasnamn i fältet Målschema . Se Publicera datauppsättningar.

  10. Välj klusterläge i listrutan Klusterläge .

  11. Ange klusterstorleken i textrutorna Kluster .

    • Ange Minsta antal arbetare och Maximalt antal arbetare för ett avancerat autoskalningskluster eller äldre autoskalningskluster .
    • Ange det fasta antalet arbetare för ett kluster med fast storlek .
  12. (Valfritt) Om du vill köra den här pipelinen med Photon-körning klickar du på kryssrutan Använd fotonacceleration .

  13. (Valfritt) Om du vill lägga till Spark-konfigurationsinställningar i klustret som ska köra pipelinen klickar du på Avancerat och klickar på knappen Lägg till konfiguration .

  14. (Valfritt) Om du vill ändra Delta Live Tables-körningsversionen för den här pipelinen klickar du på Avancerat och väljer en kanal i listrutan Kanal . Se fältet channel i inställningarna för Delta Live Tables.

  15. Klicka på Skapa.

Om du vill kan du visa och redigera JSON-konfigurationen för din pipeline genom att klicka på JSON-knappen på sidan Skapa pipeline .

Starta en pipelineuppdatering

Starta en pipelineuppdatering för att köra pipelinen som du skapade. Du kan starta en uppdatering i Delta Live Tables-användargränssnittet eller direkt från en pipeline-notebook-fil. Om du vill starta en uppdatering i en notebook-fil klickar du på Delta Live Tables Start (Delta Live-tabeller > startar ) i notebook-verktygsfältet. Så här startar du en uppdatering i användargränssnittet för Delta Live Tables:

  1. Klicka på JobbikonArbetsflöden i sidofältet och klicka på fliken Delta Live Tables (Delta Live-tabeller ). Listan Pipelines visas.
  2. Gör något av följande:
    • Om du vill starta en pipelineuppdatering omedelbart klickar du på högerpilikon i kolumnen Åtgärder . Systemet returnerar ett meddelande som bekräftar att pipelinen startar.
    • Om du vill visa fler alternativ innan du startar pipelinen klickar du på pipelinenamnet. Sidan Pipelineinformation visas.

Sidan Pipelineinformation innehåller följande alternativ:

Om du vill starta en uppdatering av din pipeline från sidan Pipelineinformation klickar du på knappen Delta Live Tables Start Icon (Delta Live Tables Start-ikon ).

Du kanske vill ombearbeta data som redan har matats in, till exempel eftersom du har ändrat dina frågor baserat på nya krav eller för att åtgärda en bugg som beräknar en ny kolumn. Du kan ombearbeta data som redan har matats in genom att instruera Delta Live Tables-systemet att utföra en fullständig uppdatering från användargränssnittet. Om du vill utföra en fullständig uppdatering klickar du på Blue Down Caret bredvid startknappen och klickar på Fullständig uppdatering av alla.

När du har startat en uppdatering eller en fullständig uppdatering returnerar systemet ett meddelande som bekräftar att din pipeline startas.

När uppdateringen har startats startar Delta Live Tables-systemet:

  1. Startar ett kluster med hjälp av en klusterkonfiguration som skapats av Delta Live Tables-systemet. Du kan också ange en anpassad klusterkonfiguration.
  2. Skapar tabeller som inte finns och säkerställer att schemat är korrekt för alla befintliga tabeller.
  3. Uppdateringar tabeller med de senaste tillgängliga data.
  4. Stänger av klustret när uppdateringen är klar.

Du kan spåra förloppet för uppdateringen genom att visa händelseloggen längst ned på sidan Pipelineinformation .

Visa händelselogg för pipeline

Om du vill visa information om en loggpost klickar du på posten. Popup-fönstret Information om pipelinehändelseloggen visas. Om du vill visa ett JSON-dokument som innehåller logginformationen klickar du på fliken JSON .

Information om hur du frågar händelseloggen om du till exempel vill analysera prestanda- eller datakvalitetsmått finns i Övervaka pipelines med Delta Live Tables-händelseloggen.

När pipelineuppdateringen har slutförts kan du också starta en uppdatering för att endast uppdatera valda tabeller.

Starta en pipelineuppdatering för valda tabeller

Du kanske bara vill bearbeta om data för valda tabeller i din pipeline. Under utvecklingen ändrar du till exempel bara en enskild tabell och vill minska testtiden, eller så misslyckas en pipelineuppdatering och du vill bara uppdatera de misslyckade tabellerna.

Anteckning

Du kan använda selektiv uppdatering med endast utlösta pipelines.

Om du vill starta en uppdatering som endast uppdaterar valda tabeller går du till sidan Pipelineinformation :

  1. Klicka på Välj tabeller för uppdatering. Dialogrutan Välj tabeller för uppdatering visas.

    Om du inte ser knappen Välj tabeller för uppdatering kontrollerar du att sidan Pipelineinformation visar den senaste uppdateringen och att uppdateringen är klar. Om en DAG inte visas för den senaste uppdateringen, till exempel på grund av att uppdateringen misslyckades, visas inte knappen Välj tabeller för uppdatering .

  2. Om du vill välja de tabeller som ska uppdateras klickar du på varje tabell. De markerade tabellerna är markerade och märkta. Om du vill ta bort en tabell från uppdateringen klickar du på tabellen igen.

  3. Klicka på Uppdatera markering.

    Anteckning

    Knappen Uppdatera markering visar antalet markerade tabeller inom parentes.

Om du vill bearbeta data som redan har matats in för de valda tabellerna klickar du på Blue Down Caret bredvid knappen Uppdatera markering och klickar på Alternativet Fullständig uppdatering.

Starta en pipelineuppdatering för misslyckade tabeller

Om en pipelineuppdatering misslyckas på grund av fel i en eller flera tabeller i pipelinediagrammet kan du starta en uppdatering av endast misslyckade tabeller och eventuella underordnade beroenden.

Anteckning

Undantagna tabeller uppdateras inte, även om de är beroende av en misslyckad tabell.

Om du vill uppdatera misslyckade tabeller går du till sidan Pipelineinformation och klickar på Uppdatera misslyckade tabeller.

Så här uppdaterar du endast markerade misslyckade tabeller:

  1. Klicka på knappen Ned bredvid knappen Uppdatera misslyckade tabeller och klicka på Välj tabeller för uppdatering. Dialogrutan Välj tabeller för uppdatering visas.

  2. Om du vill välja de tabeller som ska uppdateras klickar du på varje tabell. De markerade tabellerna är markerade och märkta. Om du vill ta bort en tabell från uppdateringen klickar du på tabellen igen.

  3. Klicka på Uppdatera markering.

    Anteckning

    Knappen Uppdatera markering visar antalet markerade tabeller inom parentes.

Om du vill bearbeta data som redan har matats in för de valda tabellerna klickar du på Blue Down Caret bredvid knappen Uppdatera markering och klickar på Alternativet Fullständig uppdatering.

Visa pipelineinformation

Pipelinediagram

När pipelinen har startats visas pipelinediagrammet. Du kan använda musen för att justera vyn eller ikonen Delta Live Tables Graph Buttons (Delta Live Tables Graph-knappar) i hörnet på grafpanelen.

Visa pipelinediagram

Om du vill visa knappbeskrivningar för datakvalitetsmått hovrar du över datakvalitetsvärdena för en datauppsättning i pipelinediagrammet.

När du kör en uppdatering som endast uppdaterar valda tabeller, är alla tabeller som inte ingår i uppdateringen märkta Exkluderas i pipelinediagrammet.

Pipelineinformation

Panelen Pipelineinformation visar information om pipelinen och den aktuella eller senaste uppdateringen av pipelinen, inklusive pipeline- och uppdateringsidentifierare, uppdateringsstatus, uppdateringstyp och uppdateringskörning.

Panelen Pipelineinformation visar också information om pipelineberäkningsklustret, inklusive beräkningskostnaden, produktutgåvan, Databricks Runtime-versionen och den kanal som konfigurerats för pipelinen. Om du vill öppna Spark-användargränssnittet för klustret på en ny flik klickar du på knappen Spark-användargränssnitt . Om du vill öppna klusterloggarna på en ny flik klickar du på knappen Loggar . Om du vill öppna klustermåtten på en ny flik klickar du på knappen Mått .

Värdet Kör som visar användaren som pipelineuppdateringar körs som. Kör som-användaren är pipelineägaren och pipelineuppdateringar körs med den här användarens behörigheter. Om du vill ändra run as användaren klickar du på Behörigheter och ändrar pipelineägaren.

Information om datamängd

Om du vill visa information om en datauppsättning, inklusive datamängdsschemat och datakvalitetsmåtten, klickar du på datauppsättningen i Graph-vyn . Datamängdsinformationen visas.

Visa datauppsättningsinformation

Om du vill öppna pipeline-anteckningsboken i ett nytt fönster klickar du på värdet Sökväg .

Om du vill stänga datamängdsinformationsvyn och återgå till pipelineinformationen klickar du på knappen Stäng dialogruta för Delta Live-tabeller.

Stoppa en pipelineuppdatering

Om du vill stoppa en pipelineuppdatering klickar du på Delta Live Tables Stop Icon (Delta Live Tables Stop Icon).

Schemalägga en pipeline

Du kan starta en utlöst pipeline manuellt eller köra pipelinen enligt ett schema med ett Azure Databricks-jobb. Du kan skapa och schemalägga ett jobb med en enda pipelineaktivitet direkt i Delta Live Tables-användargränssnittet eller lägga till en pipelineaktivitet i ett arbetsflöde för flera aktiviteter i jobbgränssnittet.

Så här skapar du ett jobb med en uppgift och ett schema för jobbet i användargränssnittet för Delta Live Tables:

  1. Klicka på Schemalägg > lägg till ett schema. Knappen Schemalägg uppdateras för att visa antalet befintliga scheman om pipelinen ingår i ett eller flera schemalagda jobb, till exempel Schema (5).
  2. Ange ett namn för jobbet i fältet Jobbnamn .
  3. Ange Schema till Schemalagd.
  4. Ange period, starttid och tidszon.
  5. Konfigurera en eller flera e-postadresser för att ta emot aviseringar vid pipelinestart, lyckade eller misslyckade pipelines.
  6. Klicka på Skapa.

Så här skapar du ett arbetsflöde för flera uppgifter med ett Azure Databricks-jobb och lägger till en pipelineaktivitet:

  1. Skapa ett jobb i jobbgränssnittet och lägg till din pipeline i jobbarbetsflödet med hjälp av en pipelineaktivitet .
  2. Skapa ett schema för jobbet i jobbgränssnittet.

När du har skapat pipelineschemat kan du:

  • Visa en sammanfattning av schemat i användargränssnittet för Delta Live Tables, inklusive schemanamnet, om det är pausat, den senaste körningstiden och statusen för den senaste körningen. Om du vill visa schemasammanfattningen klickar du på knappen Schema .
  • Redigera jobbet eller pipelineaktiviteten.
  • Redigera schemat eller pausa och återuppta schemat. Schemat pausas också om du valde Manuell när du skapade schemat.
  • Kör jobbet manuellt och visa information om jobbkörningar.

Visa pipelines

Klicka på Jobbikonarbetsflöden i sidofältet och klicka på fliken Delta Live Tables . Sidan Pipelines visas med en lista över alla definierade pipelines, status för de senaste pipelineuppdateringarna, pipelineidentifieraren och pipelineskaparen.

Du kan filtrera pipelines i listan genom att:

  • Pipelinenamn.
  • En partiell textmatchning på ett eller flera pipelinenamn.
  • Välj endast de pipelines som du äger.
  • Om du väljer alla pipelines har du behörighet att komma åt.

Klicka på kolumnrubriken Namn för att sortera pipelines efter namn i stigande ordning (A –> Z) eller fallande ordning (Z -> A).

Pipelinenamn återges som en länk när du visar pipelinelistan, så att du kan högerklicka på ett pipelinenamn och komma åt snabbmenyalternativ som att öppna pipelineinformationen på en ny flik eller ett nytt fönster.

Redigera inställningar

På sidan Pipelineinformation klickar du på knappen Inställningar för att visa och ändra pipelineinställningarna. Du kan lägga till, redigera eller ta bort inställningar. Om du till exempel vill göra pipelineutdata tillgängliga för frågor när du har skapat en pipeline:

  1. Klicka på knappen Inställningar . Sidan Pipelineinställningar visas.
  2. Ange ett databasnamn i fältet Mål .
  3. Klicka på Spara.

Om du vill visa och redigera JSON-specifikationen klickar du på JSON-knappen .

Konfigurera databasnamn i JSON

Mer information om konfigurationsinställningar finns i Delta Live Tables-inställningar .

Visa uppdateringshistorik

Om du vill visa historik och status för pipelineuppdateringar klickar du på listrutan Uppdateringshistorik .

Listrutan Uppdateringshistorik

Om du vill visa grafen, informationen och händelserna för en uppdatering väljer du uppdateringen i listrutan. Om du vill återgå till den senaste uppdateringen klickar du på Visa den senaste uppdateringen.

Publicera datauppsättningar

När du skapar eller redigerar en pipeline kan du konfigurera target inställningen för att publicera dina tabelldefinitioner till Azure Databricks-metaarkivet och spara posterna i Delta-tabeller.

När uppdateringen är klar kan du visa databasen och tabellerna, fråga efter data eller använda data i underordnade program.

Se Publicera data från Delta Live Tables-pipelines.

Ta bort en pipeline

Du kan ta bort en pipeline från listan Pipelines eller sidan Pipelineinformation :

  • I listan Pipelines klickar du på Papperskorgen i kolumnen Åtgärder .
  • På sidan Pipelineinformation för din pipeline klickar du på knappen Ta bort .

Om du tar bort en pipeline tas pipelinedefinitionen bort från Delta Live Tables-systemet och kan inte ångras.