Samordna arbetsflöden för databearbetning i Azure Databricks
Azure Databricks tillhandahåller en omfattande uppsättning verktyg och integreringar som stöder dina arbetsflöden för databearbetning.
Arbetsflöden för databearbetning eller analys med Azure Databricks-jobb
Du kan använda ett Azure Databricks-jobb för att köra en databearbetnings- eller dataanalysuppgift i ett Azure Databricks-kluster med skalbara resurser. Jobbet kan bestå av en enda uppgift eller vara ett stort arbetsflöde med flera uppgifter och komplexa beroenden. Azure Databricks hanterar uppgiftsorkestrering, klusterhantering, övervakning och felrapportering för alla dina jobb. Du kan köra jobb direkt eller regelbundet via ett schemaläggningssystem som är enkelt att använda. Du kan implementera jobbuppgifter med hjälp av notebook-filer, JARS, Delta Live Tables-pipelines eller Python-, Scala-, Spark-sändnings- och Java-program.
Du skapar jobb via jobbgränssnittet, jobb-API:et eller Databricks CLI. Med användargränssnittet för jobb kan du övervaka, testa och felsöka dina jobb som körs och slutförts.
Så här kommer du igång:
- Skapa ditt första arbetsflöde för Azure Databricks-jobb med snabbstarten.
- Lär dig hur du skapar, visar och kör arbetsflöden med användargränssnittet för Azure Databricks-jobb.
- Lär dig hur du kommunicerar information mellan aktiviteter i ett Azure Databricks-jobb med uppgiftsvärden.
- Läs mer om uppdateringar av jobb-API för att skapa och hantera arbetsflöden med Azure Databricks-jobb.
- Lär dig hur du använder dbt-transformeringar i ett arbetsflöde.
- Lär dig hur du använder Apache Airflow för att hantera och schemalägga Azure Databricks-jobb.
- Lär dig hur du använder Databricks SQL-uppgifter i ett arbetsflöde.
- Lär dig hur du använder Python-hjul i arbetsflödesuppgifter.
- Lär dig hur du använder Java- eller Scala JAR i arbetsflödesuppgifter.
- Lär dig hur du felsöker och åtgärdar misslyckade jobb.
- Använd versionsstyrda notebook-filer i jobb.
Transformera dina data med Delta Live Tables
Anteckning
Delta Live Tables kräver Premium-planen. Kontakta din Databricks-kontorepresentant för mer information.
Delta Live Tables är ett ramverk för att skapa tillförlitliga, underhållsbara och testbara databearbetningspipelines. Du definierar de transformeringar som ska utföras på dina data, och Delta Live Tables hanterar uppgiftsorkestrering, klusterhantering, övervakning, datakvalitet och felhantering. Du kan skapa hela databearbetningsarbetsflödet med en Delta Live Tables-pipeline, eller så kan du integrera din pipeline i ett Arbetsflöde för Azure Databricks-jobb för att samordna ett komplext arbetsflöde för databearbetning.
Kom igång genom att läsa introduktionen till Delta Live Tables.