Azure Databricks
Azure Databricks erbjuder en enhetlig plattform för skalbar datahantering, styrning och analys, som kombinerar effektiva arbetsflöden med möjlighet att hantera olika datatyper effektivt
Den här anslutningsappen är tillgänglig i följande produkter och regioner:
| Tjänster | Class | Regioner |
|---|---|---|
| Copilot Studio | Premie | Alla Power Automate-regioner utom följande: - Amerikanska myndigheter (GCC) - Amerikanska myndigheter (GCC High) – China Cloud drivs av 21Vianet - US Department of Defense (DoD) |
| Power Apps | Premie | Alla Power Apps-regioner utom följande: - Amerikanska myndigheter (GCC) - Amerikanska myndigheter (GCC High) – China Cloud drivs av 21Vianet - US Department of Defense (DoD) |
| Power Automate | Premie | Alla Power Automate-regioner utom följande: - Amerikanska myndigheter (GCC) - Amerikanska myndigheter (GCC High) – China Cloud drivs av 21Vianet - US Department of Defense (DoD) |
| Kontakt | |
|---|---|
| Namn | Databricks-support |
| URL | https://help.databricks.com |
| E-postmeddelande | eng-partner-eco-help@databricks.com |
| Metadata för anslutningsprogram | |
|---|---|
| Utgivare | Databricks Inc. |
| Webbplats | https://www.databricks.com/ |
| Sekretesspolicy | https://www.databricks.com/legal/privacynotice |
| Kategorier | Uppgifter |
Ansluta till Azure Databricks från Microsoft Power Platform
Den här sidan förklarar hur du ansluter till Azure Databricks från Microsoft Power Platform genom att lägga till Azure Databricks som en dataanslutning. När du är ansluten kan du använda dina Azure Databricks-data från följande plattformar:
- Power Apps: Skapa program som kan läsa från och skriva till Azure Databricks, samtidigt som du bevarar dina Styrningskontroller för Azure Databricks.
- Power Automate: Skapa flöden och lägg till åtgärder som gör det möjligt att köra anpassad SQL eller ett befintligt jobb och få tillbaka resultaten.
- Copilot Studio: Skapa anpassade agenter med dina Azure Databricks-data som kunskapskälla.
Innan du börjar
Innan du ansluter till Azure Databricks från Power Platform måste du uppfylla följande krav:
- Du har ett Microsoft Entra-ID (tidigare Azure Active Directory)-konto.
- Du har en Premium Power Apps-licens.
- Du har ett Azure Databricks-konto.
- Du har åtkomst till ett SQL-lager i Azure Databricks.
Valfritt: Ansluta med virtuella Azure-nätverk
Om din Azure Databricks-arbetsyta använder virtuella nätverk finns det två sätt att ansluta:
Integrera Power Platform med resurser i ditt virtuella nätverk utan att exponera dem via det offentliga Internet. Om du vill ansluta till den privata slutpunkten för din Azure Databricks-arbetsyta gör du följande när du har konfigurerat privat anslutning till Azure Databricks:
Om ditt virtuella Power Platform-nätverk (oavsett om det är primärt eller sekundärt) skiljer sig från ditt virtuella Azure Databricks-nätverk använder du peering för virtuella nätverk för att ansluta det virtuella nätverket till Azure Databricks.
Mer information om virtuella nätverk finns i Översikt över stöd för virtuellt nätverk.
Aktivera åtkomst med hybriddistribution, där en front-end privat länk med en offentlig slutpunkt skyddas av en IP-åtkomstlista för arbetsytan. Gör följande för att aktivera åtkomst:
- Aktivera offentlig åtkomst på arbetsytenivå. Mer information finns i Konfigurera IP-åtkomstlistor för arbetsytor.
- Lägg till IP-intervallet AzureConnectors, eller det specifika IP-intervallet för Power Platform baserat på din miljös region, i listan över IP-åtkomst till arbetsytan.
Valfritt: Skapa ett Microsoft Entra-tjänsthuvudnamn
Important
Om Azure Databricks och Power Platform finns i olika klientorganisationer måste du använda tjänstens huvudnamn för autentisering.
Innan du ansluter utför du följande steg för att skapa, konfigurera och tilldela ett Microsoft Entra-tjänsthuvudnamn till ditt Azure Databricks-konto eller din arbetsyta:
- Registrera ett nytt huvudnamn för tjänsten i Microsoft Entra-ID.
- Lägg till tjänstens huvudnamn i ditt konto.
- Tilldela ett huvudnamn för tjänsten till en arbetsyta.
Steg 1: Lägga till en Azure Databricks-anslutning till Power Platform
Not: Om du använder Copilot Studio rekommenderar vi att du skapar Databricks-anslutningen i Power Apps eller Power Automate. Sedan kan den användas i Copilot Studio.
Gör följande för att lägga till en Azure Databricks-anslutning:
I Power Apps eller Power Automate går du till sidofältet och klickar på Anslutningar.
Klicka på + Ny anslutning i det övre vänstra hörnet.
Sök efter "Azure Databricks" med hjälp av sökfältet i det övre högra hörnet.
Välj Azure Databricks-panelen .
Välj din autentiseringstyp i den nedrullningsbara menyn.
Välj din autentiseringsmetod och ange din autentiseringsinformation.
Om din Power Platform-distribution och Ditt Azure Databricks-konto finns i samma Microsoft Entra-klientorganisation kan du använda OAuth-anslutning. Ange följande information:
- För Server Hostname anger du värdnamnet för Azure Databricks SQL Warehouse.
- För HTTP-sökväg anger du HTTP-sökvägen till SQL-lagret.
- Klicka på Skapa.
- Logga in med ditt Microsoft Entra-ID.
Anslutningen till tjänstens huvudnamn kan användas i alla scenarier. Skapa ett Microsoft Entra-tjänstehuvudnamn innan anslutning. Ange följande information:
- För Klient-ID anger du tjänstens huvudnamns-ID.
- För Klienthemlighet anger du tjänstens huvudnamnshemlighet.
- För Klientorganisation anger du tjänstens huvudbrukarklient.
- Som Värdnamn anger du värdnamnet för Azure Databricks SQL Warehouse.
- För HTTP-sökväg anger du HTTP-sökvägen till SQL-lagret.
- (Valfritt) Du kan byta namn på eller dela tjänstens huvudnamnsanslutning med dina teammedlemmar när anslutningen har skapats.
För att hitta anslutningsdetaljer för ditt Azure Databricks SQL-lager, se Hämta anslutningsinformation för en Azure Databricks-beräkningsresurs.
Klicka på Skapa.
Steg 2: Använd Azure Databricks-anslutningen
När du har skapat en Azure Databricks-anslutning i Power Apps eller Power Automate kan du använda dina Azure Databricks-data för att skapa Appar för Power-arbetsytor, Power Automate-flöden och Copilot Studio-agenter.
Använda dina Azure Databricks-data för att skapa Appar för Power-arbetsytor
Important
Du kan bara använda canvas-appar om du direkt ansluter till Azure Databricks i appen. Du kan inte använda virtuella tabeller.
Gör följande för att lägga till dina Azure Databricks-data i ditt program:
- Klicka på Skapa i det vänstra navigeringsfältet.
- Klicka på Börja med en tom arbetsyta och välj önskad arbetsytestorlek för att skapa en ny arbetsyteapp.
- Från ditt program klickar du på Lägg till>>Azure Databricks. Välj den Azure Databricks-anslutning som du skapade.
- Välj en katalog i sidofältet Välj en datauppsättning .
- I sidofältet Välj en datauppsättning väljer du alla tabeller som du vill ansluta din arbetsyteapp till.
- Klicka på Anslut.
Dataåtgärder i Power Apps:
Anslutningsappen stöder åtgärder för att skapa, uppdatera och ta bort, men endast för tabeller som har en definierad primärnyckel. När du utför skapandeåtgärder måste du alltid ange primärnyckeln.
Not: Azure Databricks stöder genererade identitetskolumner. I det här fallet genereras primärnyckelvärden automatiskt på servern när raden skapas och kan inte anges manuellt.
Använda dina Azure Databricks-data för att skapa Power Automate-flöden
Api:et för instruktionskörning och jobb-API:et exponeras i Power Automate, så att du kan skriva SQL-instruktioner och köra befintliga jobb. Om du vill skapa ett Power Automate-flöde med hjälp av Azure Databricks som en åtgärd, gör följande:
- Klicka på Skapa i det vänstra navigeringsfältet.
- Skapa ett flöde och lägg till valfri utlösartyp.
- Från det nya flödet klickar du på + och söker efter "Databricks" för att se tillgängliga åtgärder.
Om du vill skriva SQL väljer du någon av följande åtgärder:
Kör en SQL-instruktion: Skriv och kör en SQL-instruktion. Ange följande:
- För Brödtext/warehouse_id anger du ID för det lager där SQL-instruktionen ska köras.
- För Brödtext/statement_id anger du ID för SQL-instruktionen som ska köras.
- Mer information om de avancerade parametrarna finns här.
Kontrollera status och få resultat: Kontrollera statusen för en SQL-instruktion och samla in resultat. Ange följande:
- För Instruktions-ID anger du det ID som returnerades när SQL-instruktionen kördes.
- Mer information om parametern finns här.
Avbryt körningen av en instruktion: Avsluta körningen av en SQL-instruktion. Ange följande:
- För Instruktions-ID anger du ID för SQL-instruktionen som ska avslutas.
- Mer information om parametern finns här.
Hämta resultat efter segmentindex: Hämta resultat efter segmentindex, vilket är lämpligt för stora resultatuppsättningar. Ange följande:
- För Instruktions-ID anger du ID för SQL-instruktionen vars resultat du vill hämta.
- För Segmentindex anger du målsegmentindexet.
- Mer information om parametrarna finns här.
Om du vill interagera med ett befintligt Databricks-jobb väljer du någon av följande åtgärder:
- Listjobb: Hämtar en lista över jobb. Mer information finns här.
- Utlös en ny jobbkörning: Kör ett jobb och returnerar run_id för den utlösta körningen. Mer information finns här.
- Hämta en enda jobbkörning: Returnerar metadata om en körning, inklusive körningsstatus (t.ex. RUNNING, SUCCESS, FAILED), start- och sluttid, körningsvaraktighet, klusterinformation osv. Mer information finns här.
- Avbryt en jobbkörning: Avbryter en jobbkörning eller en aktivitetskörning. Mer information finns här.
- Hämta utdata för en enda jobbkörning: Hämtar utdata och metadata för en enskild aktivitetskörning. Mer information finns här.
Använda Azure Databricks som kunskapskälla i Copilot Studio
Gör följande för att lägga till dina Azure Databricks-data som en kunskapskälla i en Copilot Studio-agent:
- I sidofältet klickar du på Agent.
- Välj en befintlig agent eller skapa en ny agent genom att klicka på + Ny agent.
- Beskriv agenten genom att ange ett meddelande och klicka sedan på Skapa.
- Eller klicka på Hoppa över för att ange agentens information manuellt.
- På fliken Kunskap klickar du på + Kunskap.
- Klicka på Avancerat.
- Välj Azure Databricks som kunskapskälla .
- Ange katalognamnet som dina data finns i.
- Klicka på Anslut.
- Välj de tabeller som du vill att agenten ska använda som kunskapskälla och klicka på Lägg till.
Skapa virtuella Dataverse-tabeller med dina Azure Databricks-data
Du kan också skapa virtuella Dataverse-tabeller med Azure Databricks-anslutningsappen. Virtuella tabeller, även kallade virtuella entiteter, integrerar data från externa system med Microsoft Dataverse. En virtuell tabell definierar en tabell i Dataverse utan att den fysiska tabellen lagras i Dataverse-databasen. Mer information om virtuella tabeller finns i Komma igång med virtuella tabeller (entiteter).
Obs!
Även om virtuella tabeller inte använder Dataverse-lagringskapacitet rekommenderar Databricks att du använder direkta anslutningar för bättre prestanda.
Du måste ha rollen Systemanpassare eller Systemadministratör. Mer information finns i säkerhetsroller för Power Platform.
Följ dessa steg för att skapa en virtuell Dataverse-tabell:
I Power Apps går du till sidofältet och klickar på Tabeller.
Klicka på + Ny tabell i menyraden och välj Skapa en virtuell tabell.
Välj en befintlig Azure Databricks-anslutning eller skapa en ny anslutning till Azure Databricks. Information om hur du lägger till en ny anslutning finns i Steg 1: Lägga till en Azure Databricks-anslutning till Power Platform.
Databricks rekommenderar att du använder en tjänsthuvudnamnsanslutning för att skapa en virtuell tabell.
Klicka på Nästa.
Välj de tabeller som ska representeras som en virtuell Dataverse-tabell.
- Virtuella Dataverse-tabeller kräver en primärnyckel. Vyer kan därför inte vara virtuella tabeller, men materialiserade vyer kan göra det.
Klicka på Nästa.
Konfigurera den virtuella tabellen genom att uppdatera informationen i tabellen om det behövs.
Klicka på Nästa.
Bekräfta informationen om datakällan och klicka på Slutför.
Använd den virtuella Dataverse-tabellen i Power Apps, Power Automate och Copilot Studio.
En lista över kända begränsningar för virtuella Dataverse-tabeller finns i Kända begränsningar och felsökning.
Genomföra batchuppdateringar
Om du behöver utföra massskapande,uppdaterings- eller borttagningsåtgärder som svar på Power Apps-indata rekommenderar Databricks att implementera ett Power Automate-flöde. Gör följande för att åstadkomma detta:
Skapa en canvasapp med din Azure Databricks-anslutning i Power Apps.
Skapa ett Power Automate-flöde med hjälp av Azure Databricks-anslutningen och använd Power Apps som utlösare.
I Power Automate-utlösaren lägger du till de indatafält som du vill skicka från Power Apps till Power Automate.
Skapa ett samlingsobjekt i Power Apps för att samla in alla dina ändringar.
Lägg till Power Automate-flödet i din canvas-app.
Anropa Power Automate-flödet från din arbetsyteapp och iterera över samlingen med hjälp av ett
ForAllkommando.ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
Samtidiga skrivningar
Samtidighet på radnivå minskar konflikterna mellan samtidiga skrivåtgärder genom att identifiera ändringar på radnivå och automatiskt lösa konflikter som uppstår när samtidiga skrivningar uppdaterar eller tar bort olika rader i samma datafil.
Samtidighet på radnivå ingår i Databricks Runtime 14.2 eller senare. Samtidighet på radnivå stöds som standard för följande typer av tabeller:
- Tabeller med borttagningsvektorer aktiverade och utan partitionering
- Tabeller med flytande klustring, såvida inte borttagningsvektorer är inaktiverade
Om du vill aktivera borttagningsvektorer kör du följande SQL-kommando:
ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
Mer information om samtidiga skrivkonflikter i Azure Databricks finns i Isoleringsnivåer och skrivkonflikter i Azure Databricks.
Lägga till Azure Databricks i en dataprincip
Genom att lägga till Azure Databricks i en företagsdatapolicy kan Azure Databricks inte dela data med kopplingar i andra grupper. Detta skyddar dina data och förhindrar att de delas med dem som inte ska ha åtkomst till dem. Mer information finns i Hantera dataprinciper.
Så här lägger du till Azure Databricks-anslutningen i en Power Platform-datapolicy:
- Från ett Power Platform-program klickar du på inställningsväxeln längst upp till höger och väljer Administrationscenter.
- I sidofältet klickar du på Principer>Dataprinciper.
- Om du använder det nya administrationscentret klickar du på >>.
- Klicka på + Ny princip eller välj en befintlig princip.
- Om du skapar en ny policy, ange ett namn.
- Välj en miljö att lägga till i policyn och klicka på + Lägg till i policy ovan.
- Klicka på Nästa.
- Sök efter och välj Azure Databricks-anslutningsappen .
- Klicka på Flytta till företag och klicka på Nästa.
- Granska din princip och klicka på Skapa princip.
Begränsningar
- Power Platform-anslutningsappen stöder inte myndighetsmoln.
Begränsningar för Power App
Följande PowerFx-formler beräknar värden med endast de data som har hämtats lokalt:
| Kategori | Formula |
|---|---|
| Tabellfunktion | - GroupBy -Tydlig |
| Aggregation | - CountRows - StdevP - StdevS |
Skapa en anslutning
Anslutningsappen stöder följande autentiseringstyper:
| OAuth-anslutning | OAuth-anslutning | Alla regioner | Går inte att dela |
| Anslutning till tjänstens huvudnamn | Anslutning till tjänstens huvudnamn | Alla regioner | Shareable |
| Standard [INAKTUELL] | Det här alternativet är endast för äldre anslutningar utan en explicit autentiseringstyp och tillhandahålls endast för bakåtkompatibilitet. | Alla regioner | Går inte att dela |
OAuth-anslutning
Autentiserings-ID: oauth2-auth
Tillämpligt: Alla regioner
OAuth-anslutning
Det här är inte delningsbar anslutning. Om power-appen delas med en annan användare uppmanas en annan användare att skapa en ny anslutning explicit.
| Namn | Typ | Description | Krävs |
|---|---|---|---|
| Servervärdnamn (exempel: adb-3980263885549757139.2.azuredatabricks.net) | snöre | Servernamn för Databricks-arbetsytan | Sann |
| HTTP-sökväg (exempel: /sql/1.0/warehouses/a9c4e781bd29f315) | snöre | HTTP-sökväg för Databricks SQL Warehouse | Sann |
Anslutning till tjänstens huvudnamn
Autentiserings-ID: oAuthClientCredentials
Tillämpligt: Alla regioner
Anslutning till tjänstens huvudnamn
Det här är en delningsbar anslutning. Om power-appen delas med en annan användare delas även anslutningen. Mer information finns i Översikt över anslutningsappar för arbetsyteappar – Power Apps | Microsoft Docs
| Namn | Typ | Description | Krävs |
|---|---|---|---|
| Klient-ID | snöre | Sann | |
| Klienthemlighet | securestring | Sann | |
| Hyresgäst | snöre | Sann | |
| Servervärdnamn (exempel: adb-3980263885549757139.2.azuredatabricks.net) | snöre | Servernamn för Databricks-arbetsytan | Sann |
| HTTP-sökväg (exempel: /sql/1.0/warehouses/a9c4e781bd29f315) | snöre | HTTP-sökväg för Databricks SQL Warehouse | Sann |
Standard [INAKTUELL]
Tillämpligt: Alla regioner
Det här alternativet är endast för äldre anslutningar utan en explicit autentiseringstyp och tillhandahålls endast för bakåtkompatibilitet.
Det här är inte delningsbar anslutning. Om power-appen delas med en annan användare uppmanas en annan användare att skapa en ny anslutning explicit.
Begränsningsgränser
| Name | Anrop | Förnyelseperiod |
|---|---|---|
| API-anrop per anslutning | 100 | 60 sekunder |
Åtgärder
| Avbryt en körning |
Avbryter en jobbkörning eller en aktivitetskörning. Körningen avbryts asynkront, så den kan fortfarande köras när den här begäran har slutförts. |
| Avbryt instruktionskörning |
Begär att en körningsinstruktor avbryts. Anropare måste söka efter status för att se terminaltillståndet. |
| Azure Databricks Genie |
Fråga Genie-blanksteg för att få insikter från dina data. |
| Hämta en enda jobbkörning |
Hämtar metadata för en körning. Stora matriser i resultatet sidnumreras när de överskrider 100 element. En begäran om en enskild körning returnerar alla egenskaper för den körningen och de första 100 elementen i matrisegenskaperna (uppgifter, job_clusters, job_parameters och repair_history). Använd fältet next_page_token för att söka efter fler resultat och skicka dess värde som page_token i efterföljande begäranden. Om matrisegenskaper har fler än 100 element returneras ytterligare resultat för efterföljande begäranden. Matriser utan ytterligare resultat kommer att vara tomma på senare sidor. |
| Hämta resultat efter segmentindex |
När instruktionskörningen har slutförts kan den här begäran användas för att hämta alla segment efter index. |
| Hämta utdata för en enskild körning |
Hämta utdata och metadata för en enskild aktivitetskörning. När en notebook-uppgift returnerar ett värde via anropet dbutils.notebook.exit() kan du använda den här slutpunkten för att hämta det värdet. Azure Databricks begränsar det här API:et till att returnera de första 5 MB av utdata. Om du vill returnera ett större resultat kan du lagra jobbresultat i en molnlagringstjänst. Den här slutpunkten verifierar att parametern run_id är giltig och returnerar HTTP-statuskoden 400 om parametern run_id är ogiltig. Körningar tas bort automatiskt efter 60 dagar. Om du vill referera till dem längre än 60 dagar måste du spara gamla körningsresultat innan de upphör att gälla. |
| Kontrollera status och få resultat |
Hämta status, manifest och resultat för -instruktionen |
| Köra en SQL-instruktion |
Kör en SQL-instruktion och vänta eventuellt på resultatet under en angiven tid. |
| Lista jobb |
Hämtar en lista över jobb. |
| Utlösa en ny jobbkörning |
Kör ett jobb och returnera run_id för den utlösta körningen. |
Avbryt en körning
Avbryter en jobbkörning eller en aktivitetskörning. Körningen avbryts asynkront, så den kan fortfarande köras när den här begäran har slutförts.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
run_id
|
run_id | True | integer |
Det här fältet krävs. |
Avbryt instruktionskörning
Begär att en körningsinstruktor avbryts. Anropare måste söka efter status för att se terminaltillståndet.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Instruktions-ID
|
statement_id | True | string |
Instruktions-ID |
Azure Databricks Genie
Fråga Genie-blanksteg för att få insikter från dina data.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Genie Space ID
|
genie_space_id | True | string |
Genie Space ID |
Hämta en enda jobbkörning
Hämtar metadata för en körning. Stora matriser i resultatet sidnumreras när de överskrider 100 element. En begäran om en enskild körning returnerar alla egenskaper för den körningen och de första 100 elementen i matrisegenskaperna (uppgifter, job_clusters, job_parameters och repair_history). Använd fältet next_page_token för att söka efter fler resultat och skicka dess värde som page_token i efterföljande begäranden. Om matrisegenskaper har fler än 100 element returneras ytterligare resultat för efterföljande begäranden. Matriser utan ytterligare resultat kommer att vara tomma på senare sidor.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Kör ID
|
run_id | True | integer |
Den kanoniska identifieraren för körningen som metadata ska hämtas för. Det här fältet krävs. |
|
Inkludera historik
|
include_history | boolean |
Om reparationshistoriken ska inkluderas i svaret. |
|
|
Inkludera lösta värden
|
include_resolved_values | boolean |
Om du vill inkludera lösta parametervärden i svaret. |
|
|
Sidtoken
|
page_token | string |
Använd next_page_token som returnerades från föregående GetRun-svar för att begära nästa sida i körningens matrisegenskaper. |
Returer
- Body
- JobsRun
Hämta resultat efter segmentindex
När instruktionskörningen har slutförts kan den här begäran användas för att hämta alla segment efter index.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Instruktions-ID
|
statement_id | True | string |
Instruktions-ID |
|
Segmentindex
|
chunk_index | True | string |
Segmentindex |
Returer
- Body
- SqlResultData
Hämta utdata för en enskild körning
Hämta utdata och metadata för en enskild aktivitetskörning. När en notebook-uppgift returnerar ett värde via anropet dbutils.notebook.exit() kan du använda den här slutpunkten för att hämta det värdet. Azure Databricks begränsar det här API:et till att returnera de första 5 MB av utdata. Om du vill returnera ett större resultat kan du lagra jobbresultat i en molnlagringstjänst. Den här slutpunkten verifierar att parametern run_id är giltig och returnerar HTTP-statuskoden 400 om parametern run_id är ogiltig. Körningar tas bort automatiskt efter 60 dagar. Om du vill referera till dem längre än 60 dagar måste du spara gamla körningsresultat innan de upphör att gälla.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Kör ID
|
run_id | True | integer |
Den kanoniska identifieraren för körningen. |
Returer
- Body
- JobsRunOutput
Kontrollera status och få resultat
Hämta status, manifest och resultat för -instruktionen
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Instruktions-ID
|
statement_id | True | string |
Instruktions-ID |
Returer
Svar på instruktionskörning
- Body
- SqlStatementResponse
Köra en SQL-instruktion
Kör en SQL-instruktion och vänta eventuellt på resultatet under en angiven tid.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
warehouse_id
|
warehouse_id | True | string |
Mållager-ID |
|
uttalande
|
statement | True | string |
SQL-instruktionen som ska köras. Instruktionen kan eventuellt parametriseras, se parametrar |
|
name
|
name | True | string |
Parametermarkörnamn |
|
type
|
type | string |
Parameterdatatyp |
|
|
värde
|
value | string |
Parametervärde |
|
|
catalog
|
catalog | string |
Standardkatalog för körning |
|
|
schema
|
schema | string |
Standardschema för körning |
|
|
läggning
|
disposition | string |
Resultathämtningsläge |
|
|
format
|
format | string |
Format för resultatuppsättning |
|
|
on_wait_timeout
|
on_wait_timeout | string |
Åtgärd vid tidsgräns |
|
|
wait_timeout
|
wait_timeout | string |
Tidsgräns för resultatväntetid |
|
|
byte_limit
|
byte_limit | integer |
Gräns för resultatbyte |
|
|
row_limit
|
row_limit | integer |
Gräns för resultatrad |
Returer
Svar på instruktionskörning
- Body
- SqlStatementResponse
Lista jobb
Hämtar en lista över jobb.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
Limit
|
limit | integer |
Antalet jobb som ska returneras. Det här värdet måste vara större än 0 och mindre eller lika med 100. Standardvärdet är 20. |
|
|
Visa uppgifter
|
expand_tasks | boolean |
Om uppgifts- och klusterinformation ska inkluderas i svaret. Observera att endast de första 100 elementen visas. Använd :method:jobs/get to paginate through all tasks and clusters (Använd :method:jobs/get to paginate through all tasks and clusters). |
|
|
Jobbnamn
|
name | string |
Ett filter i listan baserat på det exakta (skiftlägesokänsliga) jobbnamnet. |
|
|
Sidtoken
|
page_token | string |
Använd next_page_token eller prev_page_token som returnerades från föregående begäran för att lista nästa eller föregående sida med jobb. |
Returer
- Body
- JobsListJobsResponse
Utlösa en ny jobbkörning
Kör ett jobb och returnera run_id för den utlösta körningen.
Parametrar
| Name | Nyckel | Obligatorisk | Typ | Description |
|---|---|---|---|---|
|
idempotency_token
|
idempotency_token | string |
En valfri token för att garantera idempotensen för jobbkörningsbegäranden. Om det redan finns en körning med den angivna token skapar begäran inte en ny körning, utan returnerar ID:t för den befintliga körningen i stället. Om en körning med den angivna token tas bort returneras ett fel. Om du anger idempotenstoken kan du vid ett fel försöka igen tills begäran har slutförts. Azure Databricks garanterar att exakt en körning startas med den idempotenstoken. Den här token måste innehålla högst 64 tecken. Mer information finns i Så här säkerställer du idempotens för jobb. |
|
|
job_id
|
job_id | True | integer |
ID för jobbet som ska köras |
|
job_parameters
|
job_parameters | object |
Parametrar på jobbnivå som används i körningen. till exempel "param": "overriding_val" |
|
|
bara
|
only | array of string |
En lista över aktivitetsnycklar som ska köras i jobbet. Om det här fältet inte anges körs alla aktiviteter i jobbet. |
|
|
performance_target
|
performance_target | string | ||
|
full_refresh
|
full_refresh | boolean |
Om sant utlöser en fullständig uppdatering i delta live-tabellen. |
|
|
enabled
|
enabled | True | boolean |
Om det är sant aktiverar du köning för jobbet. Det här är ett obligatoriskt fält. |
Returer
- Body
- JobsRunNowResponse
Definitioner
Object
SqlBaseChunkInfo
Metadata för ett resultatuppsättningssegment
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Antal byte i resultatsegmentet |
|
chunk_index
|
chunk_index | integer |
Position i sekvensen för resultatuppsättningssegment |
|
row_count
|
row_count | integer |
Antal rader i resultatsegmentet |
|
row_offset
|
row_offset | integer |
Startradsförskjutning i resultatuppsättningen |
SqlColumnInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
name
|
name | string |
Kolumnnamn |
|
position
|
position | integer |
Kolumnposition (0-baserad) |
|
type_interval_type
|
type_interval_type | string |
Format för intervalltyp |
|
type_name
|
type_name | SqlColumnInfoTypeName |
Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY. |
|
type_precision
|
type_precision | integer |
Antal siffror för DECIMAL-typ |
|
type_scale
|
type_scale | integer |
Antal decimaler för DECIMALTYP |
|
type_text
|
type_text | string |
Fullständig SQL-typspecifikation |
SqlColumnInfoTypeName
Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY.
Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY.
SqlStatementResponse
Svar på instruktionskörning
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
manifestera
|
manifest | SqlResultManifest |
Resultatuppsättningsschema och metadata |
|
resultat
|
result | SqlResultData | |
|
statement_id
|
statement_id | string |
Instruktions-ID |
|
status
|
status | SqlStatementStatus |
Körningsstatus för instruktion |
SqlResultManifest
Resultatuppsättningsschema och metadata
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
Bitar
|
chunks | array of SqlBaseChunkInfo |
Metadata för resultatsegment |
|
format
|
format | string | |
|
schema
|
schema | SqlResultSchema |
Kolumndefinitioner för resultatuppsättningar |
|
total_byte_count
|
total_byte_count | integer |
Totalt antal byte i resultatuppsättningen |
|
total_chunk_count
|
total_chunk_count | integer |
Totalt antal segment |
|
total_row_count
|
total_row_count | integer |
Totalt antal rader |
|
Trunkerade
|
truncated | boolean |
Status för resultattrunkering |
SqlStatementStatus
Körningsstatus för instruktion
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
fel
|
error | SqlServiceError | |
|
state
|
state | SqlStatementState |
Körningstillstånd för instruktion |
SqlStatementState
SqlServiceError
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
error_code
|
error_code | string | |
|
meddelande
|
message | string |
Felmeddelande |
SqlResultSchema
Kolumndefinitioner för resultatuppsättningar
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
column_count
|
column_count | integer | |
|
columns
|
columns | array of SqlColumnInfo |
SqlResultData
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Byte i resultatsegment |
|
chunk_index
|
chunk_index | integer |
Segmentposition |
|
data_array
|
data_array | SqlJsonArray |
Matris med matriser med strängvärden |
|
external_links
|
external_links | array of SqlExternalLink | |
|
next_chunk_index
|
next_chunk_index | integer |
Nästa segmentindex |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
Nästa segmentlänk |
|
row_count
|
row_count | integer |
Rader i segment |
|
row_offset
|
row_offset | integer |
Startradsförskjutning |
SqlJsonArray
Matris med matriser med strängvärden
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
Föremål
|
array of |
SqlExternalLink
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Byte i segment |
|
chunk_index
|
chunk_index | integer |
Segmentposition |
|
Förfallodagen
|
expiration | date-time |
Länkens förfallotid |
|
external_link
|
external_link | string | |
|
http_headers
|
http_headers | object |
Nödvändiga HTTP-huvuden |
|
next_chunk_index
|
next_chunk_index | integer |
Nästa segmentindex |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
Nästa segmentlänk |
|
row_count
|
row_count | integer |
Rader i segment |
|
row_offset
|
row_offset | integer |
Startradsförskjutning |
JobsRunNowResponse
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
Det globalt unika ID:t för den nyligen utlösta körningen. |
JobsPerformanceTarget
JobsPipelineParams
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
Om sant utlöser en fullständig uppdatering i delta live-tabellen. |
JobsQueueSettings
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
enabled
|
enabled | boolean |
Om det är sant aktiverar du köning för jobbet. Det här är ett obligatoriskt fält. |
JobsListJobsResponse
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
jobs
|
jobs | array of JobsBaseJob |
Listan över jobb. Inkluderas endast i svaret om det finns jobb att lista. |
|
next_page_token
|
next_page_token | string |
En token som kan användas för att visa nästa sida med jobb (om tillämpligt). |
|
prev_page_token
|
prev_page_token | string |
En token som kan användas för att visa föregående sida med jobb (om tillämpligt). |
JobsBaseJob
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
created_time
|
created_time | integer |
Den tid då det här jobbet skapades i epok millisekunder (millisekunder sedan 1/1/1970 UTC). |
|
creator_user_name
|
creator_user_name | string |
Skaparens användarnamn. Det här fältet tas inte med i svaret om användaren redan har tagits bort. |
|
effective_budget_policy_id
|
effective_budget_policy_id | uuid |
ID:t för den budgetprincip som används av det här jobbet för kostnadsattribution. Detta kan anges genom (i prioritetsordning): 1. Budgetadministratörer via konto- eller arbetsytekonsolen 2. Jobbgränssnittet på jobbinformationssidan och jobb-API:et med budget_policy_id 3. Härledd standard som baseras på tillgängliga budgetprinciper för run_as identitet när jobb skapas eller ändras. |
|
har_mer
|
has_more | boolean |
Anger om jobbet har fler matrisegenskaper (uppgifter, job_clusters) som inte visas. De kan nås via :method:jobs/get-slutpunkten. Det är bara relevant för API 2.2 :method:jobs/list requests with expand_tasks=true. |
|
job_id
|
job_id | integer |
Den kanoniska identifieraren för det här jobbet. |
|
settings
|
settings | JobsJobSettings | |
|
trigger_state
|
trigger_state | JobsTriggerStateProto |
JobbJobbInställningar
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
budget_policy_id
|
budget_policy_id | uuid |
ID:t för den angivna budgetprincipen som ska användas för det här jobbet. Om det inte anges kan en standardbudgetprincip tillämpas när du skapar eller ändrar jobbet. Se effective_budget_policy_id för den budgetprincip som används av den här arbetsbelastningen. |
|
kontinuerlig
|
continuous | JobsContinuous | |
|
driftsättning
|
deployment | JobsJobDeployment | |
|
beskrivning
|
description | string |
En valfri beskrivning av jobbet. Den maximala längden är 27700 tecken i UTF-8-kodning. |
|
edit_mode
|
edit_mode | JobsJobEditMode | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
environments
|
environments | array of JobsJobEnvironment |
En lista över miljöspecifikationer för aktivitetskörning som kan refereras till av serverlösa uppgifter i det här jobbet. En miljö måste finnas för serverlösa uppgifter. För serverlösa notebook-uppgifter är miljön tillgänglig i notebook-miljöpanelen. För andra serverlösa uppgifter måste aktivitetsmiljön anges med hjälp av environment_key i aktivitetsinställningarna. |
|
git_source
|
git_source | JobsGitSource | |
|
Hälsa
|
health | JobsJobsHealthRules | |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
En lista över specifikationer för jobbkluster som kan delas och återanvändas av uppgifter i det här jobbet. Bibliotek kan inte deklareras i ett delat jobbkluster. Du måste deklarera beroende bibliotek i aktivitetsinställningar. |
|
max_concurrent_runs
|
max_concurrent_runs | integer |
Ett valfritt högsta tillåtna antal samtidiga körningar av jobbet. Ange det här värdet om du vill kunna köra samma jobb parallellt. Det här är till exempel användbart om du utlöser jobbet enligt ett vanligt schema och vill tillåta att efterföljande körningar överlappar varandra, eller om du vill utlösa flera körningar som skiljer sig åt med deras indataparametrar. Den här inställningen påverkar endast nya körningar. Anta till exempel att jobbets samtidighet är 4 och att det finns 4 samtidiga aktiva körningar. Om du sedan ställer in samtidigheten på 3 kommer inte någon av de aktiva körningarna att dödas. Men från och med då hoppas nya körningar över om det inte finns färre än 3 aktiva körningar. Det här värdet får inte överstiga 1 000. Om det här värdet anges till 0 hoppas alla nya körningar över. |
|
name
|
name | string |
Ett valfritt namn för jobbet. Den maximala längden är 4 096 byte i UTF-8-kodning. |
|
notification_settings
|
notification_settings | JobsJobNotificationSettings | |
|
parameters
|
parameters | array of JobsJobParameterDefinition |
Parameterdefinitioner på jobbnivå |
|
performance_target
|
performance_target | JobsPerformanceTarget | |
|
kö
|
queue | JobsQueueSettings | |
|
run_as
|
run_as | JobsJobRunAs | |
|
schedule
|
schedule | JobsCronSchedule | |
|
tags
|
tags | object |
En karta över taggar som är associerade med jobbet. Dessa vidarebefordras till klustret som klustertaggar för jobbkluster och omfattas av samma begränsningar som klustertaggar. Högst 25 taggar kan läggas till i jobbet. |
|
tasks
|
tasks | array of JobsTask |
En lista över uppgiftsspecifikationer som ska utföras av den här uppgiften. Det stöder upp till 1 000 element i skrivslutpunkter (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Skrivskyddade slutpunkter returnerar endast 100 uppgifter. Om fler än 100 uppgifter är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/get. Använd fältet next_page_token i objektroten för att avgöra om fler resultat är tillgängliga. |
|
timeout_seconds
|
timeout_seconds | integer |
En valfri tidsgräns som tillämpas för varje körning av den här uppgiften. Värdet 0 innebär ingen tidsgräns. |
|
trigger
|
trigger | JobsTriggerSettings | |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobbKontinuerliga
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus |
JobsPauseStatus
JobbJobbDistribution
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
typ
|
kind | JobsJobDeploymentKind | |
|
metadata_file_path
|
metadata_file_path | string |
Sökvägen till filen som innehåller distributionsmetadata. |
JobsJobDeploymentKind
JobbJobbEditMode
JobsJobEmailNotifications
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
En lista över e-postadresser som ska meddelas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Om ingen regel för måttet RUN_DURATION_SECONDS anges i hälsofältet för jobbet skickas inte meddelanden. |
|
on_failure
|
on_failure | array of string |
En lista över e-postadresser som ska meddelas när en körning misslyckas. En körning anses ha slutförts utan framgång om den slutar med en INTERNAL_ERROR life_cycle_state eller en MISSLYCKAD eller TIMED_OUT result_state. Om detta inte anges när jobbet skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
|
on_start
|
on_start | array of string |
En lista över e-postadresser som ska meddelas när en körning börjar. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
En lista över e-postadresser som ska meddelas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut. |
|
on_success
|
on_success | array of string |
En lista över e-postadresser som ska meddelas när en körning har slutförts. En körning anses ha slutförts om den slutar med en AVSLUTAD life_cycle_state och en SUCCESS-result_state. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
JobsJobEnvironment
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
environment_key
|
environment_key | string |
Nyckeln för en miljö. Det måste vara unikt i ett jobb. |
|
specifikation
|
spec | ComputeEnvironment |
ComputeEnvironment
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
beroenden
|
dependencies | array of string |
Lista över pip-beroenden, som stöds av pip-versionen i den här miljön. Varje beroende är en giltig pip-kravfilrad per https://pip.pypa.io/en/stable/reference/requirements-file-format/. Tillåtna beroenden omfattar en kravspecificerare, en arkiv-URL, en lokal projektsökväg (till exempel WSFS eller UC-volymer i Azure Databricks) eller en VCS-projekt-URL. |
|
environment_version
|
environment_version | string |
Obligatoriskt. Miljöversion som används av miljön. Varje version levereras med en specifik Python-version och en uppsättning Python-paket. Versionen är en sträng som består av ett heltal. Se även https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions. |
JobsGitSource
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
git_branch
|
git_branch | string |
Namnet på den gren som ska checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_tag eller git_commit. |
|
git_commit
|
git_commit | string |
Checka in för att checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_branch eller git_tag. |
|
git_provider
|
git_provider | JobsGitProvider | |
|
git_snapshot
|
git_snapshot | JobsGitSnapshot | |
|
git_tag
|
git_tag | string |
Namnet på taggen som ska checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_branch eller git_commit. |
|
git_url
|
git_url | string |
URL för lagringsplatsen som ska klonas av det här jobbet. |
JobsGitProvider
JobsGitSnapshot
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
used_commit
|
used_commit | string |
Incheckning som användes för att köra körningen. Om git_branch angavs pekar detta på grenens head vid tidpunkten för körningen. Om git_tag har angetts pekar detta på incheckningen som taggen pekar på. |
JobsJobsHealthRules
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
regler
|
rules | array of JobsJobsHealthRule |
JobsJobsHealthRule
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
metric
|
metric | JobsJobsHealthMetric | |
|
Op
|
op | JobsJobsHealthOperator | |
|
värde
|
value | integer |
Anger det tröskelvärde som hälsomåttet ska följa för att uppfylla hälsoregeln. |
JobsJobsHealthMetric
JobsJobsHealthOperator
JobsJobCluster
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
job_cluster_key
|
job_cluster_key | string |
Ett unikt namn för jobbklustret. Det här fältet krävs och måste vara unikt i jobbet. JobTaskSettings kan referera till det här fältet för att avgöra vilket kluster som ska startas för aktivitetskörningen. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
ComputeClusterSpec
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
apply_policy_default_values
|
apply_policy_default_values | boolean |
När värdet är true används fasta värden och standardvärden från principen för fält som utelämnas. När värdet är falskt tillämpas endast fasta värden från principen. |
|
autoscale
|
autoscale | ComputeAutoScale | |
|
autotermination_minutes
|
autotermination_minutes | integer |
Avslutar klustret automatiskt när det är inaktivt efter denna tidsperiod i minuter. Om det inte anges avslutas inte klustret automatiskt. Om det anges måste tröskelvärdet vara mellan 10 och 1 0000 minuter. Användare kan också ange det här värdet till 0 för att uttryckligen inaktivera automatisk avslutning. |
|
azure_attributes
|
azure_attributes | ComputeAzureAttributes | |
|
cluster_log_conf
|
cluster_log_conf | ComputeClusterLogConf | |
|
kluster_namn
|
cluster_name | string |
Klusternamn som begärs av användaren. Detta behöver inte vara unikt. Om det inte anges vid skapandet blir klusternamnet en tom sträng. För jobbkluster anges klusternamnet automatiskt baserat på jobb- och jobbkörnings-ID:t. |
|
custom_tags
|
custom_tags | object |
Ytterligare taggar för klusterresurser. Azure Databricks taggar alla klusterresurser (t.ex. AWS-instanser och EBS-volymer) med dessa taggar utöver default_tags. Anmärkningar: – För närvarande tillåter Azure Databricks högst 45 anpassade taggar – Kluster kan bara återanvända molnresurser om resursernas taggar är en delmängd av klustertaggar |
|
data_security_mode
|
data_security_mode | ComputeDataSecurityMode | |
|
docker_image
|
docker_image | ComputeDockerImage | |
|
driver_instance_pool_id
|
driver_instance_pool_id | string |
Det valfria ID:t för instanspoolen för drivrutinen för klustret tillhör. Poolklustret använder instanspoolen med ID (instance_pool_id) om drivrutinspoolen inte har tilldelats. |
|
driver_node_type_id
|
driver_node_type_id | string |
Nodtypen för Spark-drivrutinen. Observera att det här fältet är valfritt. Om det inte anges anges drivrutinsnodtypen som samma värde som node_type_id som definierats ovan. Det här fältet, tillsammans med node_type_id, bör inte anges om virtual_cluster_size har angetts. Om både driver_node_type_id, node_type_id och virtual_cluster_size anges har driver_node_type_id och node_type_id företräde. |
|
enable_elastic_disk
|
enable_elastic_disk | boolean |
Lokal lagring med automatisk skalning: när det här klustret är aktiverat hämtas ytterligare diskutrymme dynamiskt när Spark-arbetarna får ont om diskutrymme. Den här funktionen kräver specifika AWS-behörigheter för att fungera korrekt – mer information finns i användarhandboken. |
|
enable_local_disk_encryption
|
enable_local_disk_encryption | boolean |
Om du vill aktivera LUKS på virtuella klusterdatorers lokala diskar |
|
init_scripts
|
init_scripts | array of ComputeInitScriptInfo |
Konfigurationen för lagring av init-skript. Valfritt antal destinationer kan anges. Skripten körs sekventiellt i den angivna ordningen. Om cluster_log_conf anges skickas init-skriptloggar till <mål>/<kluster-ID>/init_scripts. |
|
instance_pool_id
|
instance_pool_id | string |
Det valfria ID:t för instanspoolen som klustret tillhör. |
|
is_single_node
|
is_single_node | boolean |
Det här fältet kan bara användas när typ = CLASSIC_PREVIEW. När värdet är true anger Azure Databricks automatiskt en nodrelaterad custom_tags, spark_conf och num_workers |
|
typ
|
kind | ComputeKind | |
|
node_type_id
|
node_type_id | string |
Det här fältet kodar, via ett enda värde, de resurser som är tillgängliga för var och en av Spark-noderna i det här klustret. Spark-noderna kan till exempel etableras och optimeras för minnes- eller beräkningsintensiva arbetsbelastningar. En lista över tillgängliga nodtyper kan hämtas med hjälp av API-anropet :method:clusters/listNodeTypes. |
|
num_workers
|
num_workers | integer |
Antal arbetsnoder som klustret ska ha. Ett kluster har en Spark Driver och num_workers Executors för totalt num_workers + 1 Spark-noder. Obs! När du läser egenskaperna för ett kluster återspeglar det här fältet önskat antal arbetare i stället för det faktiska aktuella antalet arbetare. Om ett kluster till exempel ändras från 5 till 10 arbetare uppdateras det här fältet omedelbart för att återspegla målstorleken på 10 arbetare, medan de arbetare som anges i spark_info gradvis ökar från 5 till 10 när de nya noderna etableras. |
|
policy_id
|
policy_id | string |
ID:t för klusterprincipen som används för att skapa klustret om tillämpligt. |
|
runtime_engine
|
runtime_engine | ComputeRuntimeEngine | |
|
single_user_name
|
single_user_name | string |
Ett användarnamn om data_security_mode är SINGLE_USER |
|
spark_conf
|
spark_conf | object |
Ett objekt som innehåller en uppsättning valfria, användardefinierade Nyckel/värde-par för Spark-konfiguration. Användare kan också skicka in en sträng med extra JVM-alternativ till drivrutinen och körarna via spark.driver.extraJavaOptions respektive spark.executor.extraJavaOptions. |
|
spark_env_vars
|
spark_env_vars | object |
Ett objekt som innehåller en uppsättning valfria, användardefinierade nyckelvärdepar för miljövariabler. Observera att nyckel/värde-paret i formuläret (X,Y) exporteras som det är (dvs. exportera X='Y') när drivrutinen och arbetarna startas. För att kunna ange ytterligare en uppsättning SPARK_DAEMON_JAVA_OPTS rekommenderar vi att du lägger till dem i $SPARK_DAEMON_JAVA_OPTS enligt exemplet nedan. Detta säkerställer att även alla standarddatabricks-hanterade miljövariabler ingår. Exempel på Spark-miljövariabler: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} eller {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
|
spark_version
|
spark_version | string |
Spark-versionen av klustret, t.ex. 3.3.x-scala2.11. En lista över tillgängliga Spark-versioner kan hämtas med api-anropet :method:clusters/sparkVersions. |
|
ssh_public_keys
|
ssh_public_keys | array of string |
Innehåll med offentlig SSH-nyckel som läggs till i varje Spark-nod i det här klustret. Motsvarande privata nycklar kan användas för att logga in med användarnamnet ubuntu på port 2200. Upp till 10 nycklar kan anges. |
|
use_ml_runtime
|
use_ml_runtime | boolean |
Det här fältet kan bara användas när typ = CLASSIC_PREVIEW. effective_spark_version bestäms av spark_version (DBR-version), det här fältet use_ml_runtime och om node_type_id är gpu-nod eller inte. |
|
workload_type
|
workload_type | ComputeWorkloadType |
ComputeAutoScale
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
max_workers
|
max_workers | integer |
Det maximala antalet arbetare som klustret kan skalas upp till när det är överbelastat. Observera att max_workers måste vara strikt större än min_workers. |
|
min_workers
|
min_workers | integer |
Det minsta antalet arbetare som klustret kan skalas ned till när det är underutnyttrat. Det är också det första antalet arbetare som klustret kommer att ha när det har skapats. |
ComputeAzureAttributes
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
tillgänglighet
|
availability | ComputeAzureAvailability | |
|
first_on_demand
|
first_on_demand | integer |
De första first_on_demand noderna i klustret placeras på begäran-instanser. Det här värdet bör vara större än 0 för att säkerställa att klusterdrivrutinsnoden placeras på en instans på begäran. Om det här värdet är större än eller lika med den aktuella klusterstorleken placeras alla noder på begäran-instanser. Om det här värdet är mindre än den aktuella klusterstorleken placeras first_on_demand noder på begäran-instanser och resten placeras på tillgänglighetsinstanser. Observera att det här värdet inte påverkar klusterstorleken och för närvarande inte kan muteras under ett klusters livslängd. |
|
log_analytics_info
|
log_analytics_info | ComputeLogAnalyticsInfo | |
|
spot_bid_max_price
|
spot_bid_max_price | double |
Det högsta budpriset som ska användas för Azure Spot-instanser. Maxpriset för budet får inte vara högre än instansens pris på begäran. Om det inte anges är standardvärdet -1, vilket anger att instansen inte kan avlägsnas på grundval av pris, och endast på grundval av tillgänglighet. Dessutom ska > värdet 0 eller -1. |
ComputeAzureAvailability
ComputeLogAnalyticsInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
log_analytics_primary_key
|
log_analytics_primary_key | string | |
|
log_analytics_workspace_id
|
log_analytics_workspace_id | string |
ComputeClusterLogConf
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
dbfs
|
dbfs | ComputeDbfsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo |
ComputeDbfsStorageInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
dbfs-mål, t.ex. dbfs:/my/path |
ComputeVolumesStorageInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
UC-volymmål, t.ex. /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh eller dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh |
ComputeDataSecurityMode
ComputeDockerImage
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
basic_auth
|
basic_auth | ComputeDockerBasicAuth | |
|
URL
|
url | string |
URL för docker-avbildningen. |
ComputeDockerBasicAuth
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
lösenord
|
password | string |
Användarens lösenord |
|
username
|
username | string |
Användarens namn |
ComputeInitScriptInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
abfss
|
abfss | ComputeAdlsgen2Info | |
|
fil
|
file | ComputeLocalFileInfo | |
|
gcs
|
gcs | ComputeGcsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo | |
|
workspace
|
workspace | ComputeWorkspaceStorageInfo |
ComputeAdlsgen2Info
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
abfss-mål, t.ex. abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>. |
ComputeLocalFileInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
lokalt filmål, t.ex. fil:/my/local/file.sh |
ComputeGcsStorageInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
GCS-mål/URI, t.ex. gs://my-bucket/some-prefix |
ComputeWorkspaceStorageInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination
|
destination | string |
wsfs-mål, t.ex. arbetsyta:/cluster-init-scripts/setup-datadog.sh |
ComputeKind
ComputeRuntimeEngine
ComputeWorkloadType
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
clients
|
clients | ComputeClientsTypes |
ComputeClientsTypes
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
jobs
|
jobs | boolean |
När jobb har angetts kan klustret användas för jobb |
|
Bärbara datorer
|
notebooks | boolean |
Med notebook-filer angivna kan det här klustret användas för notebook-filer |
JobsJobNotificationSettings
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
Om sant skickar du inte meddelanden till mottagare som anges i on_failure om körningen avbryts. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
Om det är sant ska du inte skicka meddelanden till mottagare som anges i on_failure om körningen hoppas över. |
JobsJobParameterDefinition
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
default
|
default | string |
Standardvärde för parametern. |
|
name
|
name | string |
Namnet på den definierade parametern. Får endast innehålla alfanumeriska tecken, _, -och . |
JobsJobRunAs
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
service_principal_name
|
service_principal_name | string |
Program-ID för ett aktivt huvudnamn för tjänsten. För att ange det här fältet krävs rollen servicePrincipal/user. |
|
user_name
|
user_name | string |
E-postmeddelandet för en aktiv arbetsyteanvändare. Användare som inte är administratörer kan bara ange det här fältet till sin egen e-post. |
JobsCronSchedule
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus | |
|
quartz_cron_expression
|
quartz_cron_expression | string |
Ett Cron-uttryck med Quartz-syntax som beskriver schemat för ett jobb. Mer information finns i Cron-utlösare . Det här fältet krävs. |
|
timezone_id
|
timezone_id | string |
Ett Java-tidszons-ID. Schemat för ett jobb matchas med avseende på den här tidszonen. Mer information finns i Java TimeZone . Det här fältet krävs. |
JobbTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
condition_task
|
condition_task | JobsConditionTask | |
|
dashboard_task
|
dashboard_task | JobsDashboardTask | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
En valfri matris med objekt som anger beroendediagrammet för uppgiften. Alla aktiviteter som anges i det här fältet måste slutföras innan den här aktiviteten körs. Aktiviteten körs endast om run_if villkoret är sant. Nyckeln är task_key och värdet är namnet som tilldelats den beroende aktiviteten. |
|
beskrivning
|
description | string |
En valfri beskrivning för den här uppgiften. |
|
disable_auto_optimization
|
disable_auto_optimization | boolean |
Ett alternativ för att inaktivera automatisk optimering i serverlös |
|
email_notifications
|
email_notifications | JobsTaskEmailNotifications | |
|
environment_key
|
environment_key | string |
Nyckeln som refererar till en miljöspecifikation i ett jobb. Det här fältet krävs för Python-skript, Python-hjul och dbt-uppgifter när du använder serverlös beräkning. |
|
existing_cluster_id
|
existing_cluster_id | string |
Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet |
|
for_each_task
|
for_each_task | JobsForEachTask | |
|
Hälsa
|
health | JobsJobsHealthRules | |
|
job_cluster_key
|
job_cluster_key | string |
Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters. |
|
libraries
|
libraries | array of ComputeLibrary |
En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista. |
|
max_retries
|
max_retries | integer |
Ett valfritt maximalt antal gånger för att försöka utföra en misslyckad körning igen. En körning anses vara misslyckad om den slutförs med den misslyckade result_state eller INTERNAL_ERROR life_cycle_state. Värdet -1 innebär att försöka igen på obestämd tid och värdet 0 innebär att aldrig försöka igen. |
|
min_retry_interval_millis
|
min_retry_interval_millis | integer |
Ett valfritt minimalt intervall i millisekunder mellan starten av den misslyckade körningen och den efterföljande återförsökskörningen. Standardbeteendet är att misslyckade körningar omedelbart görs om. |
|
new_cluster
|
new_cluster | ComputeClusterSpec | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | JobsTaskNotificationSettings | |
|
pipeline_task
|
pipeline_task | JobsPipelineTask | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | JobsPythonWheelTask | |
|
retry_on_timeout
|
retry_on_timeout | boolean |
En valfri princip för att ange om ett jobb ska försöka igen när tidsgränsen uppnås. Standardbeteendet är att inte försöka igen vid tidsgränsen. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
spark_jar_task
|
spark_jar_task | JobsSparkJarTask | |
|
spark_python_task
|
spark_python_task | JobsSparkPythonTask | |
|
spark_submit_task
|
spark_submit_task | JobsSparkSubmitTask | |
|
sql_task
|
sql_task | Object | |
|
task_key
|
task_key | string |
Ett unikt namn för uppgiften. Det här fältet används för att referera till den här aktiviteten från andra aktiviteter. Det här fältet krävs och måste vara unikt i det överordnade jobbet. Vid Uppdatering eller Återställning används det här fältet för att referera till de uppgifter som ska uppdateras eller återställas. |
|
timeout_seconds
|
timeout_seconds | integer |
En valfri tidsgräns som tillämpas på varje körning av den här jobbaktiviteten. Värdet 0 innebär ingen tidsgräns. |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsConditionTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
vänster
|
left | string |
Den vänstra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens. |
|
Op
|
op | JobsConditionTaskOp | |
|
Höger
|
right | string |
Den högra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens. |
JobsConditionTaskOp
JobsDashboardTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
dashboard_id
|
dashboard_id | string |
Identifieraren för instrumentpanelen som ska uppdateras. |
|
subscription
|
subscription | JobsSubscription | |
|
warehouse_id
|
warehouse_id | string |
Valfritt: Det lager-ID som instrumentpanelen ska köras med för schemat. Om det inte anges används standardlagret för instrumentpanelen. |
JobsSubscription
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
custom_subject
|
custom_subject | string |
Valfritt: Tillåter användare att ange en anpassad ämnesrad i e-postmeddelandet som skickas till prenumeranter. |
|
Pausad
|
paused | boolean |
När det är sant skickar prenumerationen inte e-postmeddelanden. |
|
abonnenterna
|
subscribers | array of JobsSubscriptionSubscriber |
Listan över prenumeranter som ska skicka ögonblicksbilden av instrumentpanelen till. |
JobsSubscriptionSubscriber
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
destination_id
|
destination_id | string |
En ögonblicksbild av instrumentpanelen skickas till målet när fältet destination_id finns. |
|
user_name
|
user_name | string |
En ögonblicksbild av instrumentpanelen skickas till användarens e-post när fältet user_name finns. |
JobsSource
JobsTaskDependency
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
utfall
|
outcome | string |
Det går bara att ange beroenden för villkorsaktivitet. Resultatet av den beroende aktivitet som måste uppfyllas för att den här aktiviteten ska kunna köras. |
|
task_key
|
task_key | string |
Namnet på den här aktiviteten beror på. |
JobsTaskEmailNotifications
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
En lista över e-postadresser som ska meddelas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Om ingen regel för måttet RUN_DURATION_SECONDS anges i hälsofältet för jobbet skickas inte meddelanden. |
|
on_failure
|
on_failure | array of string |
En lista över e-postadresser som ska meddelas när en körning misslyckas. En körning anses ha slutförts utan framgång om den slutar med en INTERNAL_ERROR life_cycle_state eller en MISSLYCKAD eller TIMED_OUT result_state. Om detta inte anges när jobbet skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
|
on_start
|
on_start | array of string |
En lista över e-postadresser som ska meddelas när en körning börjar. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
En lista över e-postadresser som ska meddelas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut. |
|
on_success
|
on_success | array of string |
En lista över e-postadresser som ska meddelas när en körning har slutförts. En körning anses ha slutförts om den slutar med en AVSLUTAD life_cycle_state och en SUCCESS-result_state. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte. |
ComputeLibrary
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
Cran
|
cran | ComputeRCranLibrary | |
|
burk
|
jar | string |
URI för JAR-biblioteket som ska installeras. URI:er som stöds omfattar arbetsytesökvägar, Sökvägar för Unity-katalogvolymer och ADLS-URI:er. Exempel: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } eller { "jar": "abfss://my-bucket/library.jar" }. Om ADLS används kontrollerar du att klustret har läsbehörighet i biblioteket. Du kan behöva starta klustret med ett Microsoft Entra ID-tjänsthuvudnamn för att få åtkomst till ADLS-URI:n. |
|
Maven
|
maven | ComputeMavenLibrary | |
|
pypi
|
pypi | ComputePythonPyPiLibrary | |
|
Krav
|
requirements | string |
URI för den requirements.txt fil som ska installeras. Endast sökvägar för arbetsytor och Sökvägar för Unity-katalogvolymer stöds. Till exempel: { "requirements": "/Workspace/path/to/requirements.txt" } eller { "requirements" : "/Volumes/path/to/requirements.txt" } |
|
whl
|
whl | string |
URI för hjulbiblioteket som ska installeras. URI:er som stöds omfattar arbetsytesökvägar, Sökvägar för Unity-katalogvolymer och ADLS-URI:er. Till exempel: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } eller { "whl": "abfss://my-bucket/library.whl" }. Om ADLS används kontrollerar du att klustret har läsbehörighet i biblioteket. Du kan behöva starta klustret med ett Microsoft Entra ID-tjänsthuvudnamn för att få åtkomst till ADLS-URI:n. |
JobsForEachTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
konkurrens
|
concurrency | integer |
Ett valfritt högsta tillåtna antal samtidiga körningar av aktiviteten. Ange det här värdet om du vill kunna köra flera körningar av aktiviteten samtidigt. |
|
Ingångar
|
inputs | string |
Matris för uppgift att iterera på. Det kan vara en JSON-sträng eller en referens till en matrisparameter. |
|
uppgift
|
task | Object |
ComputeRCranLibrary
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
paket
|
package | string |
Namnet på CRAN-paketet som ska installeras. |
|
Repo
|
repo | string |
Lagringsplatsen där paketet finns. Om det inte anges används cran-standardlagringsplatsen. |
ComputeMavenLibrary
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
Koordinater
|
coordinates | string |
Maven-koordinater i Gradle-stil. Exempel: "org.jsoup:jsoup:1.7.2". |
|
Undantag
|
exclusions | array of string |
Lista över beroenden som ska undantas. Till exempel: ["slf4j:slf4j", "*:hadoop-client"]. Maven-beroendeundantag: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html. |
|
Repo
|
repo | string |
Maven-lagringsplats för att installera Maven-paketet från. Om det utelämnas genomsöks både Maven Central Repository och Spark Packages. |
ComputePythonPyPiLibrary
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
paket
|
package | string |
Namnet på pypi-paketet som ska installeras. En valfri exakt versionsspecifikation stöds också. Exempel: "simplejson" och "simplejson==3.8.0". |
|
Repo
|
repo | string |
Lagringsplatsen där paketet finns. Om det inte anges används standard-pip-indexet. |
JobsNotebookTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
Basparametrar som ska användas för varje körning av det här jobbet. Om körningen initieras av ett anrop till :method:jobs/run Now med angivna parametrar sammanfogas de två parametrarna. Om samma nyckel anges i base_parameters och i körnings nu används värdet från run-now. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar. Om notebook-filen tar en parameter som inte anges i jobbets base_parameters eller åsidosättningsparametrarna kör nu används standardvärdet från notebook-filen. Hämta dessa parametrar i en notebook-fil med dbutils.widgets.get. JSON-representationen av det här fältet får inte överstiga 1 MB. |
|
notebook_path
|
notebook_path | string |
Sökvägen till anteckningsboken som ska köras på Azure Databricks-arbetsytan eller fjärrlagringsplatsen. För notebook-filer som lagras på Azure Databricks-arbetsytan måste sökvägen vara absolut och börja med ett snedstreck. För notebook-filer som lagras på en fjärrlagringsplats måste sökvägen vara relativ. Det här fältet krävs. |
|
källa
|
source | JobsSource | |
|
warehouse_id
|
warehouse_id | string |
Valfritt warehouse_id för att köra notebook-filen på ett SQL-lager. Klassiska SQL-lager stöds INTE, använd serverlösa eller pro SQL-lager. Observera att SQL-lager endast stöder SQL-celler. Om notebook-filen innehåller icke-SQL-celler misslyckas körningen. |
JobsTaskNotificationSettings
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
alert_on_last_attempt
|
alert_on_last_attempt | boolean |
Om sant, skicka inte meddelanden till mottagare som anges i on_start för de nya körningarna och skicka inte meddelanden till mottagare som anges i on_failure förrän det sista återförsöket av körningen. |
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
Om sant skickar du inte meddelanden till mottagare som anges i on_failure om körningen avbryts. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
Om det är sant ska du inte skicka meddelanden till mottagare som anges i on_failure om körningen hoppas över. |
JobsPipelineTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
Om sant utlöser en fullständig uppdatering i delta live-tabellen. |
|
pipeline_id
|
pipeline_id | string |
Det fullständiga namnet på pipelineaktiviteten som ska köras. |
JobbPythonWheelTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
entry_point
|
entry_point | string |
Namngiven startpunkt att använda, om den inte finns i metadata för paketet kör den funktionen från paketet direkt med hjälp av $packageName.$entryPoint() |
|
named_parameters
|
named_parameters | object |
Kommandoradsparametrar som skickas till Python-hjulaktivitet i form av ["--name=task", "--data=dbfs:/path/to/data.json"]. Lämna den tom om parametrarna inte är null. |
|
package_name
|
package_name | string |
Namnet på paketet som ska köras |
|
parameters
|
parameters | array of string |
Kommandoradsparametrar som skickas till Python-hjulaktivitet. Lämna den tom om named_parameters inte är null. |
JobsRunIf
JobsRunJobTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
job_id
|
job_id | integer |
ID för jobbet som ska utlösas. |
|
job_parameters
|
job_parameters | object |
Parametrar på jobbnivå som används för att utlösa jobbet. |
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobbSparkJarTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
main_class_name
|
main_class_name | string |
Det fullständiga namnet på klassen som innehåller huvudmetoden som ska köras. Den här klassen måste finnas i en JAR som tillhandahålls som ett bibliotek. Koden måste använda SparkContext.getOrCreate för att få en Spark-kontext. annars misslyckas körningen av jobbet. |
|
parameters
|
parameters | array of string |
Parametrar som skickas till huvudmetoden. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar. |
JobbSparkPythonTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Kommandoradsparametrar som skickas till Python-filen. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar. |
|
python_file
|
python_file | string |
Python-filen som ska köras. Molnfil-URI:er (till exempel dbfs:/, s3:/, adls:/, gcs:/) och arbetsytesökvägar stöds. För Python-filer som lagras på Azure Databricks-arbetsytan måste sökvägen vara absolut och börja med /. För filer som lagras på en fjärrlagringsplats måste sökvägen vara relativ. Det här fältet krävs. |
|
källa
|
source | JobsSource |
JobsSparkSubmitTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Kommandoradsparametrar som skickas till Spark-sändning. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar. |
JobsWebhookNotifications
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of JobsWebhook |
En valfri lista över systemmeddelande-ID:t som ska anropas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Högst 3 mål kan anges för egenskapen on_duration_warning_threshold_exceeded. |
|
on_failure
|
on_failure | array of JobsWebhook |
En valfri lista över systemmeddelande-ID:t som ska anropas när körningen misslyckas. Högst 3 mål kan anges för egenskapen on_failure. |
|
on_start
|
on_start | array of JobsWebhook |
En valfri lista över systemmeddelande-ID:t som ska anropas när körningen startar. Högst 3 mål kan anges för egenskapen on_start. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of JobsWebhook |
En valfri lista över systemmeddelande-ID:er som ska anropas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut. Högst 3 mål kan anges för egenskapen on_streaming_backlog_exceeded. |
|
on_success
|
on_success | array of JobsWebhook |
En valfri lista över systemmeddelande-ID:er som ska anropas när körningen har slutförts. Högst 3 mål kan anges för egenskapen on_success. |
JobsWebhook
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
Id-nummer
|
id | string |
JobsTriggerSettings
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerConfiguration | |
|
pause_status
|
pause_status | JobsPauseStatus | |
|
periodisk
|
periodic | JobsPeriodicTriggerConfiguration |
JobsFileArrivalTriggerConfiguration
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
min_time_between_triggers_seconds
|
min_time_between_triggers_seconds | integer |
Om den anges startar utlösaren endast en körning efter den angivna tiden som passerat sedan den senaste gången utlösaren utlöstes. Det minsta tillåtna värdet är 60 sekunder |
|
URL
|
url | string |
URL som ska övervakas för filinkomster. Sökvägen måste peka på roten eller en undersökväg till den externa platsen. |
|
wait_after_last_change_seconds
|
wait_after_last_change_seconds | integer |
Om den anges startar utlösaren bara en körning när ingen filaktivitet har inträffat under den angivna tiden. Detta gör det möjligt att vänta tills en batch med inkommande filer tas emot innan en körning utlöses. Det minsta tillåtna värdet är 60 sekunder. |
JobsPeriodicTriggerConfiguration
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
interval
|
interval | integer |
Det intervall med vilket utlösaren ska köras. |
|
enhet
|
unit | JobsPeriodicTriggerConfigurationTimeUnit |
JobsPeriodicTriggerConfigurationTimeUnit
JobsTriggerStateProto
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerState |
JobsFileArrivalTriggerState
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
using_file_events
|
using_file_events | boolean |
Anger om utlösaren utnyttjar filhändelser för att identifiera filinkomster. |
JobbKör
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
Sekvensnumret för det här körningsförsöket för en utlöst jobbkörning. Det första försöket för en körning har en attempt_number på 0. Om det första körningsförsöket misslyckas och jobbet har en återförsöksprincip (max_retries > 0) skapas efterföljande körningar med en original_attempt_run_id av det ursprungliga försökets ID och en inkrementell attempt_number. Körningar görs bara på nytt tills de lyckas och det maximala attempt_number är detsamma som det max_retries värdet för jobbet. |
|
cleanup_duration
|
cleanup_duration | integer |
Den tid i millisekunder det tog att avsluta klustret och rensa eventuella associerade artefakter. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet cleanup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
cluster_spec
|
cluster_spec | JobsClusterSpec | |
|
creator_user_name
|
creator_user_name | string |
Skaparens användarnamn. Det här fältet tas inte med i svaret om användaren redan har tagits bort. |
|
beskrivning
|
description | string |
Beskrivning av körningen |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
end_time
|
end_time | integer |
Den tid då den här körningen slutade i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här fältet är inställt på 0 om jobbet fortfarande körs. |
|
execution_duration
|
execution_duration | integer |
Den tid i millisekunder det tog att köra kommandona i JAR-filen eller notebook-filen tills de slutfördes, misslyckades, tog timeout, avbröts eller påträffade ett oväntat fel. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet execution_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
git_source
|
git_source | JobsGitSource | |
|
har_mer
|
has_more | boolean |
Anger om körningen har fler matrisegenskaper (uppgifter, job_clusters) som inte visas. De kan nås via :method:jobs/getrun-slutpunkten. Det är bara relevant för API 2.2 :method:jobs/listruns requests with expand_tasks=true. |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
En lista över specifikationer för jobbkluster som kan delas och återanvändas av uppgifter i det här jobbet. Bibliotek kan inte deklareras i ett delat jobbkluster. Du måste deklarera beroende bibliotek i aktivitetsinställningar. Om fler än 100 jobbkluster är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/getrun. |
|
job_id
|
job_id | integer |
Den kanoniska identifieraren för jobbet som innehåller den här körningen. |
|
job_parameters
|
job_parameters | array of JobsJobParameter |
Parametrar på jobbnivå som används i körningen |
|
job_run_id
|
job_run_id | integer |
ID för jobbkörningen som den här körningen tillhör. För äldre jobb och jobbkörningar med en uppgift fylls fältet i med jobbkörnings-ID:t. För aktivitetskörningar fylls fältet i med ID:t för den jobbkörning som aktivitetskörningen tillhör. |
|
next_page_token
|
next_page_token | string |
En token som kan användas för att visa nästa sida med matrisegenskaper. |
|
original_attempt_run_id
|
original_attempt_run_id | integer |
Om den här körningen är ett nytt försök för ett tidigare körningsförsök innehåller det här fältet run_id för det ursprungliga försöket. annars är det samma som run_id. |
|
overriding_parameters
|
overriding_parameters | JobsRunParameters | |
|
queue_duration
|
queue_duration | integer |
Den tid i millisekunder som körningen har använt i kön. |
|
repair_history
|
repair_history | array of JobsRepairHistoryItem |
Körningens reparationshistorik. |
|
run_duration
|
run_duration | integer |
Tiden i millisekunder tog det jobbkörningen och alla dess reparationer att slutföras. |
|
run_id
|
run_id | integer |
Den kanoniska identifieraren för körningen. Det här ID:t är unikt för alla körningar av alla jobb. |
|
run_name
|
run_name | string |
Ett valfritt namn för körningen. Den maximala längden är 4 096 byte i UTF-8-kodning. |
|
run_page_url
|
run_page_url | string |
URL:en till detaljsidan för körningen. |
|
körtyp
|
run_type | JobsRunType | |
|
schedule
|
schedule | JobsCronSchedule | |
|
setup_duration
|
setup_duration | integer |
Tiden i millisekunder det tog att konfigurera klustret. För körningar som körs på nya kluster är detta tiden då klustret skapas, för körningar som körs på befintliga kluster den här gången bör vara mycket kort. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet setup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
starttid
|
start_time | integer |
Den tid då den här körningen startades i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här kanske inte är den tidpunkt då jobbaktiviteten börjar köras, till exempel om jobbet är schemalagt att köras i ett nytt kluster, det är den tidpunkt då anropet för att skapa klustret utfärdas. |
|
status
|
status | JobsRunStatus | |
|
tasks
|
tasks | array of JobsRunTask |
Listan över uppgifter som utförs av körningen. Varje uppgift har en egen run_id som du kan använda för att anropa JobsGetOutput för att hämta körningsutdata. Om fler än 100 uppgifter är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/getrun. Använd fältet next_page_token i objektroten för att avgöra om fler resultat är tillgängliga. |
|
trigger
|
trigger | JobsTriggerType | |
|
trigger_info
|
trigger_info | JobsTriggerInfo |
JobsClusterInstance
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
cluster_id
|
cluster_id | string |
Den kanoniska identifieraren för klustret som används av en körning. Det här fältet är alltid tillgängligt för körningar i befintliga kluster. För körningar på nya kluster blir det tillgängligt när klustret har skapats. Det här värdet kan användas för att visa loggar genom att bläddra till /#setting/sparkui/$cluster_id/driver-logs. Loggarna fortsätter att vara tillgängliga när körningen har slutförts. Svaret inkluderar inte det här fältet om identifieraren inte är tillgänglig ännu. |
|
spark_context_id
|
spark_context_id | string |
Den kanoniska identifieraren för Spark-kontexten som används av en körning. Det här fältet fylls i när körningen påbörjas. Det här värdet kan användas för att visa Spark-användargränssnittet genom att bläddra till /#setting/sparkui/$cluster_id/$spark_context_id. Spark-användargränssnittet fortsätter att vara tillgängligt när körningen har slutförts. Svaret inkluderar inte det här fältet om identifieraren inte är tillgänglig ännu. |
JobsClusterSpec
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
existing_cluster_id
|
existing_cluster_id | string |
Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet |
|
job_cluster_key
|
job_cluster_key | string |
Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters. |
|
libraries
|
libraries | array of ComputeLibrary |
En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
JobsJobParameter
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
default
|
default | string |
Parameterns valfria standardvärde |
|
name
|
name | string |
Namnet på parametern |
|
värde
|
value | string |
Värdet som används i körningen |
JobsRunParameters
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobsRepairHistoryItem
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
end_time
|
end_time | integer |
Sluttiden för (reparerad) körning. |
|
Id-nummer
|
id | integer |
ID:t för reparationen. Returneras endast för de objekt som representerar en reparation i repair_history. |
|
starttid
|
start_time | integer |
Starttiden för (reparerad) körning. |
|
status
|
status | JobsRunStatus | |
|
task_run_ids
|
task_run_ids | array of integer |
Körnings-ID:t för aktiviteten körs som en del av det här reparationshistorikobjektet. |
|
type
|
type | JobsRepairHistoryItemType |
JobsRunStatus
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
queue_details
|
queue_details | JobsQueueDetails | |
|
state
|
state | JobsRunLifecycleStateV2State | |
|
termination_details
|
termination_details | JobsTerminationDetails |
JobsQueueDetails
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
kod
|
code | JobsQueueDetailsCodeCode | |
|
meddelande
|
message | string |
Ett beskrivande meddelande med köinformationen. Det här fältet är ostrukturerat och det exakta formatet kan komma att ändras. |
JobsQueueDetailsCodeCode
JobsRunLifecycleStateV2State
JobsTerminationDetails
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
kod
|
code | JobsTerminationCodeCode | |
|
meddelande
|
message | string |
Ett beskrivande meddelande med avslutningsinformationen. Det här fältet är ostrukturerat och formatet kan ändras. |
|
type
|
type | JobsTerminationTypeType |
JobsTerminationCodeCode
JobsTerminationTypeType
JobsRepairHistoryItemType
JobsRunType
JobsRunTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
Sekvensnumret för det här körningsförsöket för en utlöst jobbkörning. Det första försöket för en körning har en attempt_number på 0. Om det första körningsförsöket misslyckas och jobbet har en återförsöksprincip (max_retries > 0) skapas efterföljande körningar med en original_attempt_run_id av det ursprungliga försökets ID och en inkrementell attempt_number. Körningar görs bara på nytt tills de lyckas och det maximala attempt_number är detsamma som det max_retries värdet för jobbet. |
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
cleanup_duration
|
cleanup_duration | integer |
Den tid i millisekunder det tog att avsluta klustret och rensa eventuella associerade artefakter. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet cleanup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
condition_task
|
condition_task | JobsRunConditionTask | |
|
dashboard_task
|
dashboard_task | Object | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
En valfri matris med objekt som anger beroendediagrammet för uppgiften. Alla uppgifter som anges i det här fältet måste slutföras innan den här aktiviteten körs. Nyckeln är task_key och värdet är namnet som tilldelats den beroende aktiviteten. |
|
beskrivning
|
description | string |
En valfri beskrivning för den här uppgiften. |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
end_time
|
end_time | integer |
Den tid då den här körningen slutade i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här fältet är inställt på 0 om jobbet fortfarande körs. |
|
environment_key
|
environment_key | string |
Nyckeln som refererar till en miljöspecifikation i ett jobb. Det här fältet krävs för Python-skript, Python-hjul och dbt-uppgifter när du använder serverlös beräkning. |
|
execution_duration
|
execution_duration | integer |
Den tid i millisekunder det tog att köra kommandona i JAR-filen eller notebook-filen tills de slutfördes, misslyckades, tog timeout, avbröts eller påträffade ett oväntat fel. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet execution_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
existing_cluster_id
|
existing_cluster_id | string |
Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet |
|
for_each_task
|
for_each_task | Object | |
|
git_source
|
git_source | JobsGitSource | |
|
job_cluster_key
|
job_cluster_key | string |
Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters. |
|
libraries
|
libraries | array of Object |
En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista. |
|
new_cluster
|
new_cluster | Object | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | Object | |
|
pipeline_task
|
pipeline_task | Object | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | Object | |
|
queue_duration
|
queue_duration | integer |
Den tid i millisekunder som körningen har använt i kön. |
|
resolved_values
|
resolved_values | JobsResolvedValues | |
|
run_duration
|
run_duration | integer |
Tiden i millisekunder tog det jobbkörningen och alla dess reparationer att slutföras. |
|
run_id
|
run_id | integer |
ID:t för aktivitetskörningen. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
run_page_url
|
run_page_url | string | |
|
setup_duration
|
setup_duration | integer |
Tiden i millisekunder det tog att konfigurera klustret. För körningar som körs på nya kluster är detta tiden då klustret skapas, för körningar som körs på befintliga kluster den här gången bör vara mycket kort. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet setup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration. |
|
spark_jar_task
|
spark_jar_task | Object | |
|
spark_python_task
|
spark_python_task | Object | |
|
spark_submit_task
|
spark_submit_task | Object | |
|
sql_task
|
sql_task | Object | |
|
starttid
|
start_time | integer |
Den tid då den här körningen startades i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här kanske inte är den tidpunkt då jobbaktiviteten börjar köras, till exempel om jobbet är schemalagt att köras i ett nytt kluster, det är den tidpunkt då anropet för att skapa klustret utfärdas. |
|
status
|
status | JobsRunStatus | |
|
task_key
|
task_key | string |
Ett unikt namn för uppgiften. Det här fältet används för att referera till den här aktiviteten från andra aktiviteter. Det här fältet krävs och måste vara unikt i det överordnade jobbet. Vid Uppdatering eller Återställning används det här fältet för att referera till de uppgifter som ska uppdateras eller återställas. |
|
timeout_seconds
|
timeout_seconds | integer |
En valfri tidsgräns som tillämpas på varje körning av den här jobbaktiviteten. Värdet 0 innebär ingen tidsgräns. |
|
webhook_notifications
|
webhook_notifications | Object |
JobsRunConditionTask
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
vänster
|
left | string |
Den vänstra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens. |
|
Op
|
op | JobsConditionTaskOp | |
|
utfall
|
outcome | string |
Utvärderingsresultatet för villkorsuttrycket. Ifyllt om uppgiften har slutförts. Kan vara "sant" eller "falskt" |
|
Höger
|
right | string |
Den högra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens. |
JobsTriggerType
JobsTriggerInfo
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
Körnings-ID för körningsjobbkörningen |
JobsRunOutput
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
clean_rooms_notebook_output
|
clean_rooms_notebook_output | Object | |
|
dashboard_output
|
dashboard_output | Object | |
|
dbt_output
|
dbt_output | Object | |
|
fel
|
error | string |
Ett felmeddelande som anger varför en uppgift misslyckades eller varför utdata inte är tillgängliga. Meddelandet är ostrukturerat och dess exakta format kan komma att ändras. |
|
error_trace
|
error_trace | string |
Om det uppstod ett fel när körningen skulle köras innehåller det här fältet alla tillgängliga stackspårningar. |
|
info
|
info | string | |
|
logs
|
logs | string |
Utdata från uppgifter som skriver till standardströmmar (stdout/stderr) som spark_jar_task, spark_python_task python_wheel_task. Det stöds inte för notebook_task, pipeline_task eller spark_submit_task. Azure Databricks begränsar det här API:et till att returnera de sista 5 MB av dessa loggar. |
|
logs_truncated
|
logs_truncated | boolean |
Om loggarna trunkeras. |
|
metadata
|
metadata | Object | |
|
notebook_output
|
notebook_output | JobsNotebookOutput | |
|
run_job_output
|
run_job_output | JobsRunJobOutput | |
|
sql_output
|
sql_output | Object |
JobsNotebookOutput
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
resultat
|
result | string |
Värdet som skickades till dbutils.notebook.exit(). Azure Databricks begränsar det här API:et till att returnera de första 5 MB av värdet. För ett större resultat kan ditt jobb lagra resultaten i en molnlagringstjänst. Det här fältet saknas om dbutils.notebook.exit() aldrig anropades. |
|
Trunkerade
|
truncated | boolean |
Om resultatet trunkerades eller inte. |
JobsRunJobOutput
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
Körnings-ID för den utlösta jobbkörningen |
JobsResolvedValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
condition_task
|
condition_task | JobsResolvedConditionTaskValues | |
|
dbt_task
|
dbt_task | JobsResolvedDbtTaskValues | |
|
notebook_task
|
notebook_task | JobsResolvedNotebookTaskValues | |
|
python_wheel_task
|
python_wheel_task | JobsResolvedPythonWheelTaskValues | |
|
run_job_task
|
run_job_task | JobsResolvedRunJobTaskValues | |
|
simulation_task
|
simulation_task | JobsResolvedParamPairValues | |
|
spark_jar_task
|
spark_jar_task | JobsResolvedStringParamsValues | |
|
spark_python_task
|
spark_python_task | JobsResolvedStringParamsValues | |
|
spark_submit_task
|
spark_submit_task | JobsResolvedStringParamsValues | |
|
sql_task
|
sql_task | JobsResolvedParamPairValues |
JobsResolvedConditionTaskValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
vänster
|
left | string | |
|
Höger
|
right | string |
JobsResolvedDbtTaskValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
commands
|
commands | array of string |
JobsResolvedNotebookTaskValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
JobsResolvedPythonWheelTaskValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
named_parameters
|
named_parameters | object | |
|
parameters
|
parameters | array of string |
JobsResolvedRunJobTaskValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
job_parameters
|
job_parameters | object | |
|
parameters
|
parameters | object |
JobsResolvedParamPairValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
parameters
|
parameters | object |
JobsResolvedStringParamsValues
| Name | Sökväg | Typ | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |