Dela via


Databricks (förhandsversion)

Databricks erbjuder en enhetlig plattform för skalbar datahantering, styrning och analys, som kombinerar effektiva arbetsflöden med möjlighet att hantera olika datatyper effektivt

Den här anslutningsappen är tillgänglig i följande produkter och regioner:

Tjänster Class Regioner
Copilot Studio Premie Alla Power Automate-regioner utom följande:
     - Amerikanska myndigheter (GCC)
     - Amerikanska myndigheter (GCC High)
     – China Cloud drivs av 21Vianet
     - US Department of Defense (DoD)
Logiska appar Norm Alla Logic Apps-regioner utom följande:
     – Azure Government-regioner
     – Regioner i Azure Kina
     - US Department of Defense (DoD)
Power Apps Premie Alla Power Apps-regioner utom följande:
     - Amerikanska myndigheter (GCC)
     - Amerikanska myndigheter (GCC High)
     – China Cloud drivs av 21Vianet
     - US Department of Defense (DoD)
Power Automate Premie Alla Power Automate-regioner utom följande:
     - Amerikanska myndigheter (GCC)
     - Amerikanska myndigheter (GCC High)
     – China Cloud drivs av 21Vianet
     - US Department of Defense (DoD)
Kontakt
Namn Databricks-support
URL https://help.databricks.com
E-postmeddelande eng-partner-eco-help@databricks.com
Metadata för anslutningsprogram
Utgivare Databricks Inc.
Webbplats https://www.databricks.com/
Sekretesspolicy https://www.databricks.com/legal/privacynotice
Kategorier Uppgifter

Ansluta till Databricks från Microsoft Power Platform

Den här sidan förklarar hur du ansluter till Databricks från Microsoft Power Platform genom att lägga till Databricks som en dataanslutning. När du är ansluten kan du använda dina Databricks-data från följande plattformar:

  • Power Apps: Skapa program som kan läsa från och skriva till Databricks, samtidigt som du bevarar dina Databricks-styrningskontroller.
  • Power Automate: Skapa flöden och lägg till åtgärder som gör det möjligt att köra anpassad SQL eller ett befintligt jobb och få tillbaka resultaten.
  • Copilot Studio: Skapa anpassade agenter med dina Databricks-data som kunskapskälla.

Innan du börjar

Innan du ansluter till Databricks från Power Platform måste du uppfylla följande krav:

  • Du har en personlig åtkomsttoken för din Databricks-arbetsyta.
  • Du har en Premium Power Apps-licens.
  • Du har ett Databricks-konto.
  • Du har åtkomst till ett SQL-lager i Databricks.

Steg 1: Lägga till en Databricks-anslutning till Power Platform

Not: Om du använder Copilot Studio rekommenderar vi att du skapar Databricks-anslutningen i Power Apps eller Power Automate. Sedan kan den användas i Copilot Studio.

Gör följande för att lägga till en Databricks-anslutning:

  1. I Power Apps eller Power Automate går du till sidofältet och klickar på Anslutningar.
  2. Klicka på + Ny anslutning i det övre vänstra hörnet.
  3. Sök efter "Databricks" med hjälp av sökfältet i det övre högra hörnet.
  4. Välj Panelen Databricks (inte Azure Databricks).
  5. Ange din autentiseringsinformation.
    • För token anger du följande "Bearer <personal-access-token>"
  6. Klicka på Skapa.

Steg 2: Använd Databricks-anslutningen

När du har skapat en Databricks-anslutning i Power Apps eller Power Automate kan du använda dina Databricks-data för att skapa Power-arbetsyteappar, Power Automate-flöden och Copilot Studio-agenter.

Använda dina Databricks-data för att skapa Appar för Power-arbetsytor

Important

Du kan bara använda appar för arbetsytor om du ansluter direkt till Databricks i appen. Du kan inte använda virtuella tabeller.

Gör följande för att lägga till Databricks-data i ditt program:

  1. Klicka på Skapa i det vänstra navigeringsfältet.
  2. Klicka på Börja med en tom arbetsyta och välj önskad arbetsytestorlek för att skapa en ny arbetsyteapp.
  3. Från ditt program klickar du på Lägg till>>Databricks. Välj den Databricks-anslutning som du skapade.
  4. Välj en katalog i sidofältet Välj en datauppsättning .
  5. I sidofältet Välj en datauppsättning väljer du alla tabeller som du vill ansluta din arbetsyteapp till.
  6. Klicka på Anslut.

Dataåtgärder i Power Apps:

Anslutningsappen stöder åtgärder för att skapa, uppdatera och ta bort, men endast för tabeller som har en definierad primärnyckel. När du utför skapandeåtgärder måste du alltid ange primärnyckeln.

Not: Databricks stöder genererade identitetskolumner. I det här fallet genereras primärnyckelvärden automatiskt på servern när raden skapas och kan inte anges manuellt.

Använda dina Databricks-data för att skapa Power Automate-flöden

Api:et för instruktionskörning och jobb-API:et exponeras i Power Automate, så att du kan skriva SQL-instruktioner och köra befintliga jobb. Om du vill skapa ett Power Automate-flöde med Databricks som en åtgärd gör du följande:

  1. Klicka på Skapa i det vänstra navigeringsfältet.
  2. Skapa ett flöde och lägg till valfri utlösartyp.
  3. Från det nya flödet klickar du på + och söker efter "Databricks" för att se tillgängliga åtgärder.

Om du vill skriva SQL väljer du någon av följande åtgärder:

  • Kör en SQL-instruktion: Skriv och kör en SQL-instruktion. Ange följande:

    • För Brödtext/warehouse_id anger du ID för det lager där SQL-instruktionen ska köras.
    • För Brödtext/statement_id anger du ID för SQL-instruktionen som ska köras.
    • Mer information om de avancerade parametrarna finns här.
  • Kontrollera status och få resultat: Kontrollera statusen för en SQL-instruktion och samla in resultat. Ange följande:

    • För Instruktions-ID anger du det ID som returnerades när SQL-instruktionen kördes.
    • Mer information om parametern finns här.
  • Avbryt körningen av en instruktion: Avsluta körningen av en SQL-instruktion. Ange följande:

    • För Instruktions-ID anger du ID för SQL-instruktionen som ska avslutas.
    • Mer information om parametern finns här.
  • Hämta resultat efter segmentindex: Hämta resultat efter segmentindex, vilket är lämpligt för stora resultatuppsättningar. Ange följande:

    • För Instruktions-ID anger du ID för SQL-instruktionen vars resultat du vill hämta.
    • För Segmentindex anger du målsegmentindexet.
    • Mer information om parametrarna finns här.

Om du vill interagera med ett befintligt Databricks-jobb väljer du någon av följande åtgärder:

  • Listjobb: Hämtar en lista över jobb. Mer information finns här.
  • Utlös en ny jobbkörning: Kör ett jobb och returnerar run_id för den utlösta körningen. Mer information finns här.
  • Hämta en enda jobbkörning: Returnerar metadata om en körning, inklusive körningsstatus (t.ex. RUNNING, SUCCESS, FAILED), start- och sluttid, körningsvaraktighet, klusterinformation osv. Mer information finns här.
  • Avbryt en jobbkörning: Avbryter en jobbkörning eller en aktivitetskörning. Mer information finns här.
  • Hämta utdata för en enda jobbkörning: Hämtar utdata och metadata för en enskild aktivitetskörning. Mer information finns här.

Använda Databricks som kunskapskälla i Copilot Studio

Gör följande för att lägga till Databricks-data som en kunskapskälla i en Copilot Studio-agent:

  1. I sidofältet klickar du på Agent.
  2. Välj en befintlig agent eller skapa en ny agent genom att klicka på + Ny agent.
    • Beskriv agenten genom att ange ett meddelande och klicka sedan på Skapa.
    • Eller klicka på Hoppa över för att ange agentens information manuellt.
  3. På fliken Kunskap klickar du på + Kunskap.
  4. Klicka på Avancerat.
  5. Välj Databricks som kunskapskälla .
  6. Ange katalognamnet som dina data finns i.
  7. Klicka på Anslut.
  8. Välj de tabeller som du vill att agenten ska använda som kunskapskälla och klicka på Lägg till.

Skapa virtuella Dataverse-tabeller med dina Databricks-data

Du kan också skapa virtuella Dataverse-tabeller med Databricks-anslutningsappen. Virtuella tabeller, även kallade virtuella entiteter, integrerar data från externa system med Microsoft Dataverse. En virtuell tabell definierar en tabell i Dataverse utan att den fysiska tabellen lagras i Dataverse-databasen. Mer information om virtuella tabeller finns i Komma igång med virtuella tabeller (entiteter).

Anmärkning

Även om virtuella tabeller inte använder Dataverse-lagringskapacitet rekommenderar Databricks att du använder direkta anslutningar för bättre prestanda.

Du måste ha rollen Systemanpassare eller Systemadministratör. Mer information finns i säkerhetsroller för Power Platform.

Följ dessa steg för att skapa en virtuell Dataverse-tabell:

  1. I Power Apps går du till sidofältet och klickar på Tabeller.

  2. Klicka på + Ny tabell i menyraden och välj Skapa en virtuell tabell.

  3. Välj en befintlig Databricks-anslutning eller skapa en ny anslutning till Databricks. Information om hur du lägger till en ny anslutning finns i Steg 1: Lägg till en Databricks-anslutning till Power Platform.

    Databricks rekommenderar att du använder en tjänsthuvudnamnsanslutning för att skapa en virtuell tabell.

  4. Klicka på Nästa.

  5. Välj de tabeller som ska representeras som en virtuell Dataverse-tabell.

    • Virtuella Dataverse-tabeller kräver en primärnyckel. Vyer kan därför inte vara virtuella tabeller, men materialiserade vyer kan göra det.
  6. Klicka på Nästa.

  7. Konfigurera den virtuella tabellen genom att uppdatera informationen i tabellen om det behövs.

  8. Klicka på Nästa.

  9. Bekräfta informationen om datakällan och klicka på Slutför.

  10. Använd den virtuella Dataverse-tabellen i Power Apps, Power Automate och Copilot Studio.

En lista över kända begränsningar för virtuella Dataverse-tabeller finns i Kända begränsningar och felsökning.

Genomföra batchuppdateringar

Om du behöver utföra massskapande,uppdaterings- eller borttagningsåtgärder som svar på Power Apps-indata rekommenderar Databricks att implementera ett Power Automate-flöde. Gör följande för att åstadkomma detta:

  1. Skapa en arbetsyteapp med din Databricks-anslutning i Power Apps.

  2. Skapa ett Power Automate-flöde med hjälp av Databricks-anslutningen och använd Power Apps som utlösare.

  3. I Power Automate-utlösaren lägger du till de indatafält som du vill skicka från Power Apps till Power Automate.

  4. Skapa ett samlingsobjekt i Power Apps för att samla in alla dina ändringar.

  5. Lägg till Power Automate-flödet i din canvas-app.

  6. Anropa Power Automate-flödet från din arbetsyteapp och iterera över samlingen med hjälp av ett ForAll kommando.

    ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
    

Samtidiga skrivningar

Samtidighet på radnivå minskar konflikterna mellan samtidiga skrivåtgärder genom att identifiera ändringar på radnivå och automatiskt lösa konflikter som uppstår när samtidiga skrivningar uppdaterar eller tar bort olika rader i samma datafil.

Samtidighet på radnivå ingår i Databricks Runtime 14.2 eller senare. Samtidighet på radnivå stöds som standard för följande typer av tabeller:

  • Tabeller med borttagningsvektorer aktiverade och utan partitionering
  • Tabeller med flytande klustring, såvida inte borttagningsvektorer är inaktiverade

Om du vill aktivera borttagningsvektorer kör du följande SQL-kommando:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Mer information om samtidiga skrivkonflikter i Databricks finns i Isoleringsnivåer och skrivkonflikter på Databricks.

Lägga till Databricks i en dataprincip

Genom att lägga till Databricks i en affärsdataprincip kan Databricks inte dela data med anslutningsappar i andra grupper. Detta skyddar dina data och förhindrar att de delas med dem som inte ska ha åtkomst till dem. Mer information finns i Hantera dataprinciper.

Så här lägger du till Databricks-anslutningsappen i en Power Platform-dataprincip:

  1. Från ett Power Platform-program klickar du på inställningsväxeln längst upp till höger och väljer Administrationscenter.
  2. I sidofältet klickar du på Principer>Dataprinciper.
  3. Om du använder det nya administrationscentret klickar du på >>.
  4. Klicka på + Ny princip eller välj en befintlig princip.
  5. Om du skapar en ny policy, ange ett namn.
  6. Välj en miljö att lägga till i policyn och klicka på + Lägg till i policy ovan.
  7. Klicka på Nästa.
  8. Sök efter och välj Databricks*-anslutningsappen.
  9. Klicka på Flytta till företag och klicka på Nästa.
  10. Granska din princip och klicka på Skapa princip.

Begränsningar

  • Power Platform-anslutningsappen stöder inte myndighetsmoln.

Begränsningar för Power App

Följande PowerFx-formler beräknar värden med endast de data som har hämtats lokalt:

Kategori Formula
Tabellfunktion - GroupBy
-Tydlig
Aggregation - CountRows
- StdevP
- StdevS

Skapa en anslutning

Anslutningsappen stöder följande autentiseringstyper:

Personlig åtkomsttoken Personlig åtkomsttoken Alla regioner Går inte att dela
Standard [INAKTUELL] Det här alternativet är endast för äldre anslutningar utan en explicit autentiseringstyp och tillhandahålls endast för bakåtkompatibilitet. Alla regioner Går inte att dela

Personlig åtkomsttoken

Autentiserings-ID: PAT

Tillämpligt: Alla regioner

Personlig åtkomsttoken

Det här är inte delningsbar anslutning. Om power-appen delas med en annan användare uppmanas en annan användare att skapa en ny anslutning explicit.

Namn Typ Description Krävs
API-nyckel (format: Ägarens <personliga åtkomsttoken>) securestring Personlig åtkomsttokenbaserad API-nyckel Sann
Servervärdnamn (exempel: foo.cloud.databricks.com) snöre Servernamn för Databricks-arbetsytan Sann
HTTP-sökväg (exempel: /sql/1.0/warehouses/a9c4e781bd29f315) snöre HTTP-sökväg för Databricks SQL Warehouse Sann

Standard [INAKTUELL]

Tillämpligt: Alla regioner

Det här alternativet är endast för äldre anslutningar utan en explicit autentiseringstyp och tillhandahålls endast för bakåtkompatibilitet.

Det här är inte delningsbar anslutning. Om power-appen delas med en annan användare uppmanas en annan användare att skapa en ny anslutning explicit.

Namn Typ Description Krävs
API-nyckel (format: Ägarens <personliga åtkomsttoken>) securestring Personlig åtkomsttokenbaserad API-nyckel Sann
Servervärdnamn (exempel: foo.cloud.databricks.com) snöre Servernamn för Databricks-arbetsytan Sann
HTTP-sökväg (exempel: /sql/1.0/warehouses/a9c4e781bd29f315) snöre HTTP-sökväg för Databricks SQL Warehouse Sann

Begränsningsgränser

Name Anrop Förnyelseperiod
API-anrop per anslutning 100 60 sekunder

Åtgärder

Avbryt en körning

Avbryter en jobbkörning eller en aktivitetskörning. Körningen avbryts asynkront, så den kan fortfarande köras när den här begäran har slutförts.

Avbryt instruktionskörning

Begär att en körningsinstruktor avbryts. Anropare måste söka efter status för att se terminaltillståndet.

Databricks Genie

Fråga Genie-blanksteg för att få insikter från dina data.

Hämta en enda jobbkörning

Hämtar metadata för en körning. Stora matriser i resultatet sidnumreras när de överskrider 100 element. En begäran om en enskild körning returnerar alla egenskaper för den körningen och de första 100 elementen i matrisegenskaperna (uppgifter, job_clusters, job_parameters och repair_history). Använd fältet next_page_token för att söka efter fler resultat och skicka dess värde som page_token i efterföljande begäranden. Om matrisegenskaper har fler än 100 element returneras ytterligare resultat för efterföljande begäranden. Matriser utan ytterligare resultat kommer att vara tomma på senare sidor.

Hämta resultat efter segmentindex

När instruktionskörningen har slutförts kan den här begäran användas för att hämta alla segment efter index.

Hämta utdata för en enskild körning

Hämta utdata och metadata för en enskild aktivitetskörning. När en notebook-uppgift returnerar ett värde via anropet dbutils.notebook.exit() kan du använda den här slutpunkten för att hämta det värdet. Databricks begränsar det här API:et till att returnera de första 5 MB av utdata. Om du vill returnera ett större resultat kan du lagra jobbresultat i en molnlagringstjänst. Den här slutpunkten verifierar att parametern run_id är giltig och returnerar HTTP-statuskoden 400 om parametern run_id är ogiltig. Körningar tas bort automatiskt efter 60 dagar. Om du vill referera till dem längre än 60 dagar måste du spara gamla körningsresultat innan de upphör att gälla.

Kontrollera status och få resultat

Hämta status, manifest och resultat för -instruktionen

Köra en SQL-instruktion

Kör en SQL-instruktion och vänta eventuellt på resultatet under en angiven tid.

Lista jobb

Hämtar en lista över jobb.

Utlösa en ny jobbkörning

Kör ett jobb och returnera run_id för den utlösta körningen.

Avbryt en körning

Avbryter en jobbkörning eller en aktivitetskörning. Körningen avbryts asynkront, så den kan fortfarande köras när den här begäran har slutförts.

Parametrar

Name Nyckel Obligatorisk Typ Description
run_id
run_id True integer

Det här fältet krävs.

Avbryt instruktionskörning

Begär att en körningsinstruktor avbryts. Anropare måste söka efter status för att se terminaltillståndet.

Parametrar

Name Nyckel Obligatorisk Typ Description
Instruktions-ID
statement_id True string

Instruktions-ID

Databricks Genie

Fråga Genie-blanksteg för att få insikter från dina data.

Parametrar

Name Nyckel Obligatorisk Typ Description
Genie Space ID
genie_space_id True string

Genie Space ID

Hämta en enda jobbkörning

Hämtar metadata för en körning. Stora matriser i resultatet sidnumreras när de överskrider 100 element. En begäran om en enskild körning returnerar alla egenskaper för den körningen och de första 100 elementen i matrisegenskaperna (uppgifter, job_clusters, job_parameters och repair_history). Använd fältet next_page_token för att söka efter fler resultat och skicka dess värde som page_token i efterföljande begäranden. Om matrisegenskaper har fler än 100 element returneras ytterligare resultat för efterföljande begäranden. Matriser utan ytterligare resultat kommer att vara tomma på senare sidor.

Parametrar

Name Nyckel Obligatorisk Typ Description
Kör ID
run_id True integer

Den kanoniska identifieraren för körningen som metadata ska hämtas för. Det här fältet krävs.

Inkludera historik
include_history boolean

Om reparationshistoriken ska inkluderas i svaret.

Inkludera lösta värden
include_resolved_values boolean

Om du vill inkludera lösta parametervärden i svaret.

Sidtoken
page_token string

Använd next_page_token som returnerades från föregående GetRun-svar för att begära nästa sida i körningens matrisegenskaper.

Returer

Body
JobsRun

Hämta resultat efter segmentindex

När instruktionskörningen har slutförts kan den här begäran användas för att hämta alla segment efter index.

Parametrar

Name Nyckel Obligatorisk Typ Description
Instruktions-ID
statement_id True string

Instruktions-ID

Segmentindex
chunk_index True string

Segmentindex

Returer

Hämta utdata för en enskild körning

Hämta utdata och metadata för en enskild aktivitetskörning. När en notebook-uppgift returnerar ett värde via anropet dbutils.notebook.exit() kan du använda den här slutpunkten för att hämta det värdet. Databricks begränsar det här API:et till att returnera de första 5 MB av utdata. Om du vill returnera ett större resultat kan du lagra jobbresultat i en molnlagringstjänst. Den här slutpunkten verifierar att parametern run_id är giltig och returnerar HTTP-statuskoden 400 om parametern run_id är ogiltig. Körningar tas bort automatiskt efter 60 dagar. Om du vill referera till dem längre än 60 dagar måste du spara gamla körningsresultat innan de upphör att gälla.

Parametrar

Name Nyckel Obligatorisk Typ Description
Kör ID
run_id True integer

Den kanoniska identifieraren för körningen.

Returer

Kontrollera status och få resultat

Hämta status, manifest och resultat för -instruktionen

Parametrar

Name Nyckel Obligatorisk Typ Description
Instruktions-ID
statement_id True string

Instruktions-ID

Returer

Svar på instruktionskörning

Köra en SQL-instruktion

Kör en SQL-instruktion och vänta eventuellt på resultatet under en angiven tid.

Parametrar

Name Nyckel Obligatorisk Typ Description
warehouse_id
warehouse_id True string

Mållager-ID

uttalande
statement True string

SQL-instruktionen som ska köras. Instruktionen kan eventuellt parametriseras, se parametrar

name
name True string

Parametermarkörnamn

type
type string

Parameterdatatyp

värde
value string

Parametervärde

catalog
catalog string

Standardkatalog för körning

schema
schema string

Standardschema för körning

läggning
disposition string

Resultathämtningsläge

format
format string

Format för resultatuppsättning

on_wait_timeout
on_wait_timeout string

Åtgärd vid tidsgräns

wait_timeout
wait_timeout string

Tidsgräns för resultatväntetid

byte_limit
byte_limit integer

Gräns för resultatbyte

row_limit
row_limit integer

Gräns för resultatrad

Returer

Svar på instruktionskörning

Lista jobb

Hämtar en lista över jobb.

Parametrar

Name Nyckel Obligatorisk Typ Description
Limit
limit integer

Antalet jobb som ska returneras. Det här värdet måste vara större än 0 och mindre eller lika med 100. Standardvärdet är 20.

Visa uppgifter
expand_tasks boolean

Om uppgifts- och klusterinformation ska inkluderas i svaret. Observera att endast de första 100 elementen visas. Använd :method:jobs/get to paginate through all tasks and clusters (Använd :method:jobs/get to paginate through all tasks and clusters).

Jobbnamn
name string

Ett filter i listan baserat på det exakta (skiftlägesokänsliga) jobbnamnet.

Sidtoken
page_token string

Använd next_page_token eller prev_page_token som returnerades från föregående begäran för att lista nästa eller föregående sida med jobb.

Returer

Utlösa en ny jobbkörning

Kör ett jobb och returnera run_id för den utlösta körningen.

Parametrar

Name Nyckel Obligatorisk Typ Description
idempotency_token
idempotency_token string

En valfri token för att garantera idempotensen för jobbkörningsbegäranden. Om det redan finns en körning med den angivna token skapar begäran inte en ny körning, utan returnerar ID:t för den befintliga körningen i stället. Om en körning med den angivna token tas bort returneras ett fel. Om du anger idempotenstoken kan du vid ett fel försöka igen tills begäran har slutförts. Databricks garanterar att exakt en körning startas med den idempotenstoken. Den här token måste innehålla högst 64 tecken. Mer information finns i Så här säkerställer du idempotens för jobb.

job_id
job_id True integer

ID för jobbet som ska köras

job_parameters
job_parameters object

Parametrar på jobbnivå som används i körningen. till exempel "param": "overriding_val"

bara
only array of string

En lista över aktivitetsnycklar som ska köras i jobbet. Om det här fältet inte anges körs alla aktiviteter i jobbet.

performance_target
performance_target string
full_refresh
full_refresh boolean

Om sant utlöser en fullständig uppdatering i delta live-tabellen.

enabled
enabled True boolean

Om det är sant aktiverar du köning för jobbet. Det här är ett obligatoriskt fält.

Returer

Definitioner

Object

SqlBaseChunkInfo

Metadata för ett resultatuppsättningssegment

Name Sökväg Typ Description
byte_count
byte_count integer

Antal byte i resultatsegmentet

chunk_index
chunk_index integer

Position i sekvensen för resultatuppsättningssegment

row_count
row_count integer

Antal rader i resultatsegmentet

row_offset
row_offset integer

Startradsförskjutning i resultatuppsättningen

SqlColumnInfo

Name Sökväg Typ Description
name
name string

Kolumnnamn

position
position integer

Kolumnposition (0-baserad)

type_interval_type
type_interval_type string

Format för intervalltyp

type_name
type_name SqlColumnInfoTypeName

Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY.

type_precision
type_precision integer

Antal siffror för DECIMAL-typ

type_scale
type_scale integer

Antal decimaler för DECIMALTYP

type_text
type_text string

Fullständig SQL-typspecifikation

SqlColumnInfoTypeName

Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY.

Namnet på basdatatypen. Detta inkluderar inte information för komplexa typer som STRUCT, MAP eller ARRAY.

SqlStatementResponse

Svar på instruktionskörning

Name Sökväg Typ Description
manifestera
manifest SqlResultManifest

Resultatuppsättningsschema och metadata

resultat
result SqlResultData
statement_id
statement_id string

Instruktions-ID

status
status SqlStatementStatus

Körningsstatus för instruktion

SqlResultManifest

Resultatuppsättningsschema och metadata

Name Sökväg Typ Description
Bitar
chunks array of SqlBaseChunkInfo

Metadata för resultatsegment

format
format string
schema
schema SqlResultSchema

Kolumndefinitioner för resultatuppsättningar

total_byte_count
total_byte_count integer

Totalt antal byte i resultatuppsättningen

total_chunk_count
total_chunk_count integer

Totalt antal segment

total_row_count
total_row_count integer

Totalt antal rader

Trunkerade
truncated boolean

Status för resultattrunkering

SqlStatementStatus

Körningsstatus för instruktion

Name Sökväg Typ Description
fel
error SqlServiceError
state
state SqlStatementState

Körningstillstånd för instruktion

SqlStatementState

Körningstillstånd för instruktion

Körningstillstånd för instruktion

SqlServiceError

Name Sökväg Typ Description
error_code
error_code string
meddelande
message string

Felmeddelande

SqlResultSchema

Kolumndefinitioner för resultatuppsättningar

Name Sökväg Typ Description
column_count
column_count integer
columns
columns array of SqlColumnInfo

SqlResultData

Name Sökväg Typ Description
byte_count
byte_count integer

Byte i resultatsegment

chunk_index
chunk_index integer

Segmentposition

data_array
data_array SqlJsonArray

Matris med matriser med strängvärden

external_links
external_links array of SqlExternalLink
next_chunk_index
next_chunk_index integer

Nästa segmentindex

next_chunk_internal_link
next_chunk_internal_link string

Nästa segmentlänk

row_count
row_count integer

Rader i segment

row_offset
row_offset integer

Startradsförskjutning

SqlJsonArray

Matris med matriser med strängvärden

Name Sökväg Typ Description
Föremål
array of
Name Sökväg Typ Description
byte_count
byte_count integer

Byte i segment

chunk_index
chunk_index integer

Segmentposition

Förfallodagen
expiration date-time

Länkens förfallotid

external_link
external_link string
http_headers
http_headers object

Nödvändiga HTTP-huvuden

next_chunk_index
next_chunk_index integer

Nästa segmentindex

next_chunk_internal_link
next_chunk_internal_link string

Nästa segmentlänk

row_count
row_count integer

Rader i segment

row_offset
row_offset integer

Startradsförskjutning

JobsRunNowResponse

Name Sökväg Typ Description
run_id
run_id integer

Det globalt unika ID:t för den nyligen utlösta körningen.

JobsPerformanceTarget

JobsPipelineParams

Name Sökväg Typ Description
full_refresh
full_refresh boolean

Om sant utlöser en fullständig uppdatering i delta live-tabellen.

JobsQueueSettings

Name Sökväg Typ Description
enabled
enabled boolean

Om det är sant aktiverar du köning för jobbet. Det här är ett obligatoriskt fält.

JobsListJobsResponse

Name Sökväg Typ Description
jobs
jobs array of JobsBaseJob

Listan över jobb. Inkluderas endast i svaret om det finns jobb att lista.

next_page_token
next_page_token string

En token som kan användas för att visa nästa sida med jobb (om tillämpligt).

prev_page_token
prev_page_token string

En token som kan användas för att visa föregående sida med jobb (om tillämpligt).

JobsBaseJob

Name Sökväg Typ Description
created_time
created_time integer

Den tid då det här jobbet skapades i epok millisekunder (millisekunder sedan 1/1/1970 UTC).

creator_user_name
creator_user_name string

Skaparens användarnamn. Det här fältet tas inte med i svaret om användaren redan har tagits bort.

effective_budget_policy_id
effective_budget_policy_id uuid

ID:t för den budgetprincip som används av det här jobbet för kostnadsattribution. Detta kan anges genom (i prioritetsordning): 1. Budgetadministratörer via konto- eller arbetsytekonsolen 2. Jobbgränssnittet på jobbinformationssidan och jobb-API:et med budget_policy_id 3. Härledd standard som baseras på tillgängliga budgetprinciper för run_as identitet när jobb skapas eller ändras.

har_mer
has_more boolean

Anger om jobbet har fler matrisegenskaper (uppgifter, job_clusters) som inte visas. De kan nås via :method:jobs/get-slutpunkten. Det är bara relevant för API 2.2 :method:jobs/list requests with expand_tasks=true.

job_id
job_id integer

Den kanoniska identifieraren för det här jobbet.

settings
settings JobsJobSettings
trigger_state
trigger_state JobsTriggerStateProto

JobbJobbInställningar

Name Sökväg Typ Description
budget_policy_id
budget_policy_id uuid

ID:t för den angivna budgetprincipen som ska användas för det här jobbet. Om det inte anges kan en standardbudgetprincip tillämpas när du skapar eller ändrar jobbet. Se effective_budget_policy_id för den budgetprincip som används av den här arbetsbelastningen.

kontinuerlig
continuous JobsContinuous
driftsättning
deployment JobsJobDeployment
beskrivning
description string

En valfri beskrivning av jobbet. Den maximala längden är 27700 tecken i UTF-8-kodning.

edit_mode
edit_mode JobsJobEditMode
email_notifications
email_notifications JobsJobEmailNotifications
environments
environments array of JobsJobEnvironment

En lista över miljöspecifikationer för aktivitetskörning som kan refereras till av serverlösa uppgifter i det här jobbet. En miljö måste finnas för serverlösa uppgifter. För serverlösa notebook-uppgifter är miljön tillgänglig i notebook-miljöpanelen. För andra serverlösa uppgifter måste aktivitetsmiljön anges med hjälp av environment_key i aktivitetsinställningarna.

git_source
git_source JobsGitSource
Hälsa
health JobsJobsHealthRules
job_clusters
job_clusters array of JobsJobCluster

En lista över specifikationer för jobbkluster som kan delas och återanvändas av uppgifter i det här jobbet. Bibliotek kan inte deklareras i ett delat jobbkluster. Du måste deklarera beroende bibliotek i aktivitetsinställningar.

max_concurrent_runs
max_concurrent_runs integer

Ett valfritt högsta tillåtna antal samtidiga körningar av jobbet. Ange det här värdet om du vill kunna köra samma jobb parallellt. Det här är till exempel användbart om du utlöser jobbet enligt ett vanligt schema och vill tillåta att efterföljande körningar överlappar varandra, eller om du vill utlösa flera körningar som skiljer sig åt med deras indataparametrar. Den här inställningen påverkar endast nya körningar. Anta till exempel att jobbets samtidighet är 4 och att det finns 4 samtidiga aktiva körningar. Om du sedan ställer in samtidigheten på 3 kommer inte någon av de aktiva körningarna att dödas. Men från och med då hoppas nya körningar över om det inte finns färre än 3 aktiva körningar. Det här värdet får inte överstiga 1 000. Om det här värdet anges till 0 hoppas alla nya körningar över.

name
name string

Ett valfritt namn för jobbet. Den maximala längden är 4 096 byte i UTF-8-kodning.

notification_settings
notification_settings JobsJobNotificationSettings
parameters
parameters array of JobsJobParameterDefinition

Parameterdefinitioner på jobbnivå

performance_target
performance_target JobsPerformanceTarget
queue JobsQueueSettings
run_as
run_as JobsJobRunAs
schedule
schedule JobsCronSchedule
tags
tags object

En karta över taggar som är associerade med jobbet. Dessa vidarebefordras till klustret som klustertaggar för jobbkluster och omfattas av samma begränsningar som klustertaggar. Högst 25 taggar kan läggas till i jobbet.

tasks
tasks array of JobsTask

En lista över uppgiftsspecifikationer som ska utföras av den här uppgiften. Det stöder upp till 1 000 element i skrivslutpunkter (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Skrivskyddade slutpunkter returnerar endast 100 uppgifter. Om fler än 100 uppgifter är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/get. Använd fältet next_page_token i objektroten för att avgöra om fler resultat är tillgängliga.

timeout_seconds
timeout_seconds integer

En valfri tidsgräns som tillämpas för varje körning av den här uppgiften. Värdet 0 innebär ingen tidsgräns.

trigger
trigger JobsTriggerSettings
webhook_notifications
webhook_notifications JobsWebhookNotifications

JobbKontinuerliga

Name Sökväg Typ Description
pause_status
pause_status JobsPauseStatus

JobsPauseStatus

JobbJobbDistribution

Name Sökväg Typ Description
typ
kind JobsJobDeploymentKind
metadata_file_path
metadata_file_path string

Sökvägen till filen som innehåller distributionsmetadata.

JobsJobDeploymentKind

JobbJobbEditMode

JobsJobEmailNotifications

Name Sökväg Typ Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

En lista över e-postadresser som ska meddelas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Om ingen regel för måttet RUN_DURATION_SECONDS anges i hälsofältet för jobbet skickas inte meddelanden.

on_failure
on_failure array of string

En lista över e-postadresser som ska meddelas när en körning misslyckas. En körning anses ha slutförts utan framgång om den slutar med en INTERNAL_ERROR life_cycle_state eller en MISSLYCKAD eller TIMED_OUT result_state. Om detta inte anges när jobbet skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

on_start
on_start array of string

En lista över e-postadresser som ska meddelas när en körning börjar. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

En lista över e-postadresser som ska meddelas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut.

on_success
on_success array of string

En lista över e-postadresser som ska meddelas när en körning har slutförts. En körning anses ha slutförts om den slutar med en AVSLUTAD life_cycle_state och en SUCCESS-result_state. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

JobsJobEnvironment

Name Sökväg Typ Description
environment_key
environment_key string

Nyckeln för en miljö. Det måste vara unikt i ett jobb.

specifikation
spec ComputeEnvironment

ComputeEnvironment

Name Sökväg Typ Description
beroenden
dependencies array of string

Lista över pip-beroenden, som stöds av pip-versionen i den här miljön. Varje beroende är en giltig pip-kravfilrad per https://pip.pypa.io/en/stable/reference/requirements-file-format/. Tillåtna beroenden omfattar en kravspecificerare, en arkiv-URL, en lokal projektsökväg (till exempel WSFS eller UC-volymer i Databricks) eller en VCS-projekt-URL.

environment_version
environment_version string

Obligatoriskt. Miljöversion som används av miljön. Varje version levereras med en specifik Python-version och en uppsättning Python-paket. Versionen är en sträng som består av ett heltal.

JobsGitSource

Name Sökväg Typ Description
git_branch
git_branch string

Namnet på den gren som ska checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_tag eller git_commit.

git_commit
git_commit string

Checka in för att checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_branch eller git_tag.

git_provider
git_provider JobsGitProvider
git_snapshot
git_snapshot JobsGitSnapshot
git_tag
git_tag string

Namnet på taggen som ska checkas ut och användas av det här jobbet. Det går inte att ange det här fältet tillsammans med git_branch eller git_commit.

git_url
git_url string

URL för lagringsplatsen som ska klonas av det här jobbet.

JobsGitProvider

JobsGitSnapshot

Name Sökväg Typ Description
used_commit
used_commit string

Incheckning som användes för att köra körningen. Om git_branch angavs pekar detta på grenens head vid tidpunkten för körningen. Om git_tag har angetts pekar detta på incheckningen som taggen pekar på.

JobsJobsHealthRules

Name Sökväg Typ Description
regler
rules array of JobsJobsHealthRule

JobsJobsHealthRule

Name Sökväg Typ Description
metric
metric JobsJobsHealthMetric
Op
op JobsJobsHealthOperator
värde
value integer

Anger det tröskelvärde som hälsomåttet ska följa för att uppfylla hälsoregeln.

JobsJobsHealthMetric

JobsJobsHealthOperator

JobsJobCluster

Name Sökväg Typ Description
job_cluster_key
job_cluster_key string

Ett unikt namn för jobbklustret. Det här fältet krävs och måste vara unikt i jobbet. JobTaskSettings kan referera till det här fältet för att avgöra vilket kluster som ska startas för aktivitetskörningen.

new_cluster
new_cluster ComputeClusterSpec

ComputeClusterSpec

Name Sökväg Typ Description
apply_policy_default_values
apply_policy_default_values boolean

När värdet är true används fasta värden och standardvärden från principen för fält som utelämnas. När värdet är falskt tillämpas endast fasta värden från principen.

autoscale
autoscale ComputeAutoScale
autotermination_minutes
autotermination_minutes integer

Avslutar klustret automatiskt när det är inaktivt efter denna tidsperiod i minuter. Om det inte anges avslutas inte klustret automatiskt. Om det anges måste tröskelvärdet vara mellan 10 och 1 0000 minuter. Användare kan också ange det här värdet till 0 för att uttryckligen inaktivera automatisk avslutning.

azure_attributes
azure_attributes ComputeAzureAttributes
cluster_log_conf
cluster_log_conf ComputeClusterLogConf
kluster_namn
cluster_name string

Klusternamn som begärs av användaren. Detta behöver inte vara unikt. Om det inte anges vid skapandet blir klusternamnet en tom sträng. För jobbkluster anges klusternamnet automatiskt baserat på jobb- och jobbkörnings-ID:t.

custom_tags
custom_tags object

Ytterligare taggar för klusterresurser. Databricks taggar alla klusterresurser (t.ex. AWS-instanser och EBS-volymer) med dessa taggar utöver default_tags. Anmärkningar: – För närvarande tillåter Databricks högst 45 anpassade taggar – Kluster kan bara återanvända molnresurser om resursernas taggar är en delmängd av klustertaggar

data_security_mode
data_security_mode ComputeDataSecurityMode
docker_image
docker_image ComputeDockerImage
driver_instance_pool_id
driver_instance_pool_id string

Det valfria ID:t för instanspoolen för drivrutinen för klustret tillhör. Poolklustret använder instanspoolen med ID (instance_pool_id) om drivrutinspoolen inte har tilldelats.

driver_node_type_id
driver_node_type_id string

Nodtypen för Spark-drivrutinen. Observera att det här fältet är valfritt. Om det inte anges anges drivrutinsnodtypen som samma värde som node_type_id som definierats ovan. Det här fältet, tillsammans med node_type_id, bör inte anges om virtual_cluster_size har angetts. Om både driver_node_type_id, node_type_id och virtual_cluster_size anges har driver_node_type_id och node_type_id företräde.

enable_elastic_disk
enable_elastic_disk boolean

Lokal lagring med automatisk skalning: när det här klustret är aktiverat hämtas ytterligare diskutrymme dynamiskt när Spark-arbetarna får ont om diskutrymme. Den här funktionen kräver specifika AWS-behörigheter för att fungera korrekt – mer information finns i användarhandboken.

enable_local_disk_encryption
enable_local_disk_encryption boolean

Om du vill aktivera LUKS på virtuella klusterdatorers lokala diskar

init_scripts
init_scripts array of ComputeInitScriptInfo

Konfigurationen för lagring av init-skript. Valfritt antal destinationer kan anges. Skripten körs sekventiellt i den angivna ordningen. Om cluster_log_conf anges skickas init-skriptloggar till <mål>/<kluster-ID>/init_scripts.

instance_pool_id
instance_pool_id string

Det valfria ID:t för instanspoolen som klustret tillhör.

is_single_node
is_single_node boolean

Det här fältet kan bara användas när typ = CLASSIC_PREVIEW. När värdet är true anger Databricks automatiskt en nodrelaterad custom_tags, spark_conf och num_workers

typ
kind ComputeKind
node_type_id
node_type_id string

Det här fältet kodar, via ett enda värde, de resurser som är tillgängliga för var och en av Spark-noderna i det här klustret. Spark-noderna kan till exempel etableras och optimeras för minnes- eller beräkningsintensiva arbetsbelastningar. En lista över tillgängliga nodtyper kan hämtas med hjälp av API-anropet :method:clusters/listNodeTypes.

num_workers
num_workers integer

Antal arbetsnoder som klustret ska ha. Ett kluster har en Spark Driver och num_workers Executors för totalt num_workers + 1 Spark-noder. Obs! När du läser egenskaperna för ett kluster återspeglar det här fältet önskat antal arbetare i stället för det faktiska aktuella antalet arbetare. Om ett kluster till exempel ändras från 5 till 10 arbetare uppdateras det här fältet omedelbart för att återspegla målstorleken på 10 arbetare, medan de arbetare som anges i spark_info gradvis ökar från 5 till 10 när de nya noderna etableras.

policy_id
policy_id string

ID:t för klusterprincipen som används för att skapa klustret om tillämpligt.

runtime_engine
runtime_engine ComputeRuntimeEngine
single_user_name
single_user_name string

Ett användarnamn om data_security_mode är SINGLE_USER

spark_conf
spark_conf object

Ett objekt som innehåller en uppsättning valfria, användardefinierade Nyckel/värde-par för Spark-konfiguration. Användare kan också skicka in en sträng med extra JVM-alternativ till drivrutinen och körarna via spark.driver.extraJavaOptions respektive spark.executor.extraJavaOptions.

spark_env_vars
spark_env_vars object

Ett objekt som innehåller en uppsättning valfria, användardefinierade nyckelvärdepar för miljövariabler. Observera att nyckel/värde-paret i formuläret (X,Y) exporteras som det är (dvs. exportera X='Y') när drivrutinen och arbetarna startas. För att kunna ange ytterligare en uppsättning SPARK_DAEMON_JAVA_OPTS rekommenderar vi att du lägger till dem i $SPARK_DAEMON_JAVA_OPTS enligt exemplet nedan. Detta säkerställer att även alla standarddatabricks-hanterade miljövariabler ingår. Exempel på Spark-miljövariabler: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} eller {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

spark_version
spark_version string

Spark-versionen av klustret, t.ex. 3.3.x-scala2.11. En lista över tillgängliga Spark-versioner kan hämtas med api-anropet :method:clusters/sparkVersions.

ssh_public_keys
ssh_public_keys array of string

Innehåll med offentlig SSH-nyckel som läggs till i varje Spark-nod i det här klustret. Motsvarande privata nycklar kan användas för att logga in med användarnamnet ubuntu på port 2200. Upp till 10 nycklar kan anges.

use_ml_runtime
use_ml_runtime boolean

Det här fältet kan bara användas när typ = CLASSIC_PREVIEW. effective_spark_version bestäms av spark_version (DBR-version), det här fältet use_ml_runtime och om node_type_id är gpu-nod eller inte.

workload_type
workload_type ComputeWorkloadType

ComputeAutoScale

Name Sökväg Typ Description
max_workers
max_workers integer

Det maximala antalet arbetare som klustret kan skalas upp till när det är överbelastat. Observera att max_workers måste vara strikt större än min_workers.

min_workers
min_workers integer

Det minsta antalet arbetare som klustret kan skalas ned till när det är underutnyttrat. Det är också det första antalet arbetare som klustret kommer att ha när det har skapats.

ComputeAzureAttributes

Name Sökväg Typ Description
tillgänglighet
availability ComputeAzureAvailability
first_on_demand
first_on_demand integer

De första first_on_demand noderna i klustret placeras på begäran-instanser. Det här värdet bör vara större än 0 för att säkerställa att klusterdrivrutinsnoden placeras på en instans på begäran. Om det här värdet är större än eller lika med den aktuella klusterstorleken placeras alla noder på begäran-instanser. Om det här värdet är mindre än den aktuella klusterstorleken placeras first_on_demand noder på begäran-instanser och resten placeras på tillgänglighetsinstanser. Observera att det här värdet inte påverkar klusterstorleken och för närvarande inte kan muteras under ett klusters livslängd.

log_analytics_info
log_analytics_info ComputeLogAnalyticsInfo
spot_bid_max_price
spot_bid_max_price double

Det högsta budpriset som ska användas för Azure Spot-instanser. Maxpriset för budet får inte vara högre än instansens pris på begäran. Om det inte anges är standardvärdet -1, vilket anger att instansen inte kan avlägsnas på grundval av pris, och endast på grundval av tillgänglighet. Dessutom ska > värdet 0 eller -1.

ComputeAzureAvailability

ComputeLogAnalyticsInfo

Name Sökväg Typ Description
log_analytics_primary_key
log_analytics_primary_key string
log_analytics_workspace_id
log_analytics_workspace_id string

ComputeClusterLogConf

Name Sökväg Typ Description
dbfs
dbfs ComputeDbfsStorageInfo
volumes
volumes ComputeVolumesStorageInfo

ComputeDbfsStorageInfo

Name Sökväg Typ Description
destination
destination string

dbfs-mål, t.ex. dbfs:/my/path

ComputeVolumesStorageInfo

Name Sökväg Typ Description
destination
destination string

UC-volymmål, t.ex. /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh eller dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

ComputeDataSecurityMode

ComputeDockerImage

Name Sökväg Typ Description
basic_auth
basic_auth ComputeDockerBasicAuth
URL
url string

URL för docker-avbildningen.

ComputeDockerBasicAuth

Name Sökväg Typ Description
lösenord
password string

Användarens lösenord

username
username string

Användarens namn

ComputeInitScriptInfo

Name Sökväg Typ Description
abfss
abfss ComputeAdlsgen2Info
fil
file ComputeLocalFileInfo
gcs
gcs ComputeGcsStorageInfo
volumes
volumes ComputeVolumesStorageInfo
workspace
workspace ComputeWorkspaceStorageInfo

ComputeAdlsgen2Info

Name Sökväg Typ Description
destination
destination string

abfss-mål, t.ex. abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>.

ComputeLocalFileInfo

Name Sökväg Typ Description
destination
destination string

lokalt filmål, t.ex. fil:/my/local/file.sh

ComputeGcsStorageInfo

Name Sökväg Typ Description
destination
destination string

GCS-mål/URI, t.ex. gs://my-bucket/some-prefix

ComputeWorkspaceStorageInfo

Name Sökväg Typ Description
destination
destination string

wsfs-mål, t.ex. arbetsyta:/cluster-init-scripts/setup-datadog.sh

ComputeKind

ComputeRuntimeEngine

ComputeWorkloadType

Name Sökväg Typ Description
clients
clients ComputeClientsTypes

ComputeClientsTypes

Name Sökväg Typ Description
jobs
jobs boolean

När jobb har angetts kan klustret användas för jobb

Bärbara datorer
notebooks boolean

Med notebook-filer angivna kan det här klustret användas för notebook-filer

JobsJobNotificationSettings

Name Sökväg Typ Description
no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

Om sant skickar du inte meddelanden till mottagare som anges i on_failure om körningen avbryts.

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

Om det är sant ska du inte skicka meddelanden till mottagare som anges i on_failure om körningen hoppas över.

JobsJobParameterDefinition

Name Sökväg Typ Description
default
default string

Standardvärde för parametern.

name
name string

Namnet på den definierade parametern. Får endast innehålla alfanumeriska tecken, _, -och .

JobsJobRunAs

Name Sökväg Typ Description
service_principal_name
service_principal_name string

Program-ID för ett aktivt huvudnamn för tjänsten. För att ange det här fältet krävs rollen servicePrincipal/user.

user_name
user_name string

E-postmeddelandet för en aktiv arbetsyteanvändare. Användare som inte är administratörer kan bara ange det här fältet till sin egen e-post.

JobsCronSchedule

Name Sökväg Typ Description
pause_status
pause_status JobsPauseStatus
quartz_cron_expression
quartz_cron_expression string

Ett Cron-uttryck med Quartz-syntax som beskriver schemat för ett jobb. Mer information finns i Cron-utlösare . Det här fältet krävs.

timezone_id
timezone_id string

Ett Java-tidszons-ID. Schemat för ett jobb matchas med avseende på den här tidszonen. Mer information finns i Java TimeZone . Det här fältet krävs.

JobbTask

Name Sökväg Typ Description
clean_rooms_notebook_task
clean_rooms_notebook_task Object
condition_task
condition_task JobsConditionTask
dashboard_task
dashboard_task JobsDashboardTask
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

En valfri matris med objekt som anger beroendediagrammet för uppgiften. Alla aktiviteter som anges i det här fältet måste slutföras innan den här aktiviteten körs. Aktiviteten körs endast om run_if villkoret är sant. Nyckeln är task_key och värdet är namnet som tilldelats den beroende aktiviteten.

beskrivning
description string

En valfri beskrivning för den här uppgiften.

disable_auto_optimization
disable_auto_optimization boolean

Ett alternativ för att inaktivera automatisk optimering i serverlös

email_notifications
email_notifications JobsTaskEmailNotifications
environment_key
environment_key string

Nyckeln som refererar till en miljöspecifikation i ett jobb. Det här fältet krävs för Python-skript, Python-hjul och dbt-uppgifter när du använder serverlös beräkning.

existing_cluster_id
existing_cluster_id string

Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet

for_each_task
for_each_task JobsForEachTask
Hälsa
health JobsJobsHealthRules
job_cluster_key
job_cluster_key string

Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters.

libraries
libraries array of ComputeLibrary

En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista.

max_retries
max_retries integer

Ett valfritt maximalt antal gånger för att försöka utföra en misslyckad körning igen. En körning anses vara misslyckad om den slutförs med den misslyckade result_state eller INTERNAL_ERROR life_cycle_state. Värdet -1 innebär att försöka igen på obestämd tid och värdet 0 innebär att aldrig försöka igen.

min_retry_interval_millis
min_retry_interval_millis integer

Ett valfritt minimalt intervall i millisekunder mellan starten av den misslyckade körningen och den efterföljande återförsökskörningen. Standardbeteendet är att misslyckade körningar omedelbart görs om.

new_cluster
new_cluster ComputeClusterSpec
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings JobsTaskNotificationSettings
pipeline_task
pipeline_task JobsPipelineTask
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task JobsPythonWheelTask
retry_on_timeout
retry_on_timeout boolean

En valfri princip för att ange om ett jobb ska försöka igen när tidsgränsen uppnås. Standardbeteendet är att inte försöka igen vid tidsgränsen.

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
spark_jar_task
spark_jar_task JobsSparkJarTask
spark_python_task
spark_python_task JobsSparkPythonTask
spark_submit_task
spark_submit_task JobsSparkSubmitTask
sql_task
sql_task Object
task_key
task_key string

Ett unikt namn för uppgiften. Det här fältet används för att referera till den här aktiviteten från andra aktiviteter. Det här fältet krävs och måste vara unikt i det överordnade jobbet. Vid Uppdatering eller Återställning används det här fältet för att referera till de uppgifter som ska uppdateras eller återställas.

timeout_seconds
timeout_seconds integer

En valfri tidsgräns som tillämpas på varje körning av den här jobbaktiviteten. Värdet 0 innebär ingen tidsgräns.

webhook_notifications
webhook_notifications JobsWebhookNotifications

JobsConditionTask

Name Sökväg Typ Description
vänster
left string

Den vänstra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens.

Op
op JobsConditionTaskOp
Höger
right string

Den högra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens.

JobsConditionTaskOp

JobsDashboardTask

Name Sökväg Typ Description
dashboard_id
dashboard_id string

Identifieraren för instrumentpanelen som ska uppdateras.

subscription
subscription JobsSubscription
warehouse_id
warehouse_id string

Valfritt: Det lager-ID som instrumentpanelen ska köras med för schemat. Om det inte anges används standardlagret för instrumentpanelen.

JobsSubscription

Name Sökväg Typ Description
custom_subject
custom_subject string

Valfritt: Tillåter användare att ange en anpassad ämnesrad i e-postmeddelandet som skickas till prenumeranter.

Pausad
paused boolean

När det är sant skickar prenumerationen inte e-postmeddelanden.

abonnenterna
subscribers array of JobsSubscriptionSubscriber

Listan över prenumeranter som ska skicka ögonblicksbilden av instrumentpanelen till.

JobsSubscriptionSubscriber

Name Sökväg Typ Description
destination_id
destination_id string

En ögonblicksbild av instrumentpanelen skickas till målet när fältet destination_id finns.

user_name
user_name string

En ögonblicksbild av instrumentpanelen skickas till användarens e-post när fältet user_name finns.

JobsSource

JobsTaskDependency

Name Sökväg Typ Description
utfall
outcome string

Det går bara att ange beroenden för villkorsaktivitet. Resultatet av den beroende aktivitet som måste uppfyllas för att den här aktiviteten ska kunna köras.

task_key
task_key string

Namnet på den här aktiviteten beror på.

JobsTaskEmailNotifications

Name Sökväg Typ Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

En lista över e-postadresser som ska meddelas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Om ingen regel för måttet RUN_DURATION_SECONDS anges i hälsofältet för jobbet skickas inte meddelanden.

on_failure
on_failure array of string

En lista över e-postadresser som ska meddelas när en körning misslyckas. En körning anses ha slutförts utan framgång om den slutar med en INTERNAL_ERROR life_cycle_state eller en MISSLYCKAD eller TIMED_OUT result_state. Om detta inte anges när jobbet skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

on_start
on_start array of string

En lista över e-postadresser som ska meddelas när en körning börjar. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

En lista över e-postadresser som ska meddelas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut.

on_success
on_success array of string

En lista över e-postadresser som ska meddelas när en körning har slutförts. En körning anses ha slutförts om den slutar med en AVSLUTAD life_cycle_state och en SUCCESS-result_state. Om det inte anges när jobb skapas, återställs eller uppdateras är listan tom och meddelanden skickas inte.

ComputeLibrary

Name Sökväg Typ Description
Cran
cran ComputeRCranLibrary
burk
jar string

URI för JAR-biblioteket som ska installeras. URI:er som stöds omfattar arbetsytesökvägar, Sökvägar för Unity-katalogvolymer och ADLS-URI:er. Exempel: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } eller { "jar": "abfss://my-bucket/library.jar" }. Om ADLS används kontrollerar du att klustret har läsbehörighet i biblioteket. Du kan behöva starta klustret med ett Microsoft Entra ID-tjänsthuvudnamn för att få åtkomst till ADLS-URI:n.

Maven
maven ComputeMavenLibrary
pypi
pypi ComputePythonPyPiLibrary
Krav
requirements string

URI för den requirements.txt fil som ska installeras. Endast sökvägar för arbetsytor och Sökvägar för Unity-katalogvolymer stöds. Till exempel: { "requirements": "/Workspace/path/to/requirements.txt" } eller { "requirements" : "/Volumes/path/to/requirements.txt" }

whl
whl string

URI för hjulbiblioteket som ska installeras. URI:er som stöds omfattar arbetsytesökvägar, Sökvägar för Unity-katalogvolymer och ADLS-URI:er. Till exempel: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } eller { "whl": "abfss://my-bucket/library.whl" }. Om ADLS används kontrollerar du att klustret har läsbehörighet i biblioteket. Du kan behöva starta klustret med ett Microsoft Entra ID-tjänsthuvudnamn för att få åtkomst till ADLS-URI:n.

JobsForEachTask

Name Sökväg Typ Description
konkurrens
concurrency integer

Ett valfritt högsta tillåtna antal samtidiga körningar av aktiviteten. Ange det här värdet om du vill kunna köra flera körningar av aktiviteten samtidigt.

Ingångar
inputs string

Matris för uppgift att iterera på. Det kan vara en JSON-sträng eller en referens till en matrisparameter.

uppgift
task Object

ComputeRCranLibrary

Name Sökväg Typ Description
paket
package string

Namnet på CRAN-paketet som ska installeras.

Repo
repo string

Lagringsplatsen där paketet finns. Om det inte anges används cran-standardlagringsplatsen.

ComputeMavenLibrary

Name Sökväg Typ Description
Koordinater
coordinates string

Maven-koordinater i Gradle-stil. Exempel: "org.jsoup:jsoup:1.7.2".

Undantag
exclusions array of string

Lista över beroenden som ska undantas. Till exempel: ["slf4j:slf4j", "*:hadoop-client"]. Maven-beroendeundantag: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

Repo
repo string

Maven-lagringsplats för att installera Maven-paketet från. Om det utelämnas genomsöks både Maven Central Repository och Spark Packages.

ComputePythonPyPiLibrary

Name Sökväg Typ Description
paket
package string

Namnet på pypi-paketet som ska installeras. En valfri exakt versionsspecifikation stöds också. Exempel: "simplejson" och "simplejson==3.8.0".

Repo
repo string

Lagringsplatsen där paketet finns. Om det inte anges används standard-pip-indexet.

JobsNotebookTask

Name Sökväg Typ Description
base_parameters
base_parameters object

Basparametrar som ska användas för varje körning av det här jobbet. Om körningen initieras av ett anrop till :method:jobs/run Now med angivna parametrar sammanfogas de två parametrarna. Om samma nyckel anges i base_parameters och i körnings nu används värdet från run-now. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar. Om notebook-filen tar en parameter som inte anges i jobbets base_parameters eller åsidosättningsparametrarna kör nu används standardvärdet från notebook-filen. Hämta dessa parametrar i en notebook-fil med dbutils.widgets.get. JSON-representationen av det här fältet får inte överstiga 1 MB.

notebook_path
notebook_path string

Sökvägen till anteckningsboken som ska köras på Databricks-arbetsytan eller fjärrlagringsplatsen. För notebook-filer som lagras på Databricks-arbetsytan måste sökvägen vara absolut och börja med ett snedstreck. För notebook-filer som lagras på en fjärrlagringsplats måste sökvägen vara relativ. Det här fältet krävs.

källa
source JobsSource
warehouse_id
warehouse_id string

Valfritt warehouse_id för att köra notebook-filen på ett SQL-lager. Klassiska SQL-lager stöds INTE, använd serverlösa eller pro SQL-lager. Observera att SQL-lager endast stöder SQL-celler. Om notebook-filen innehåller icke-SQL-celler misslyckas körningen.

JobsTaskNotificationSettings

Name Sökväg Typ Description
alert_on_last_attempt
alert_on_last_attempt boolean

Om sant, skicka inte meddelanden till mottagare som anges i on_start för de nya körningarna och skicka inte meddelanden till mottagare som anges i on_failure förrän det sista återförsöket av körningen.

no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

Om sant skickar du inte meddelanden till mottagare som anges i on_failure om körningen avbryts.

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

Om det är sant ska du inte skicka meddelanden till mottagare som anges i on_failure om körningen hoppas över.

JobsPipelineTask

Name Sökväg Typ Description
full_refresh
full_refresh boolean

Om sant utlöser en fullständig uppdatering i delta live-tabellen.

pipeline_id
pipeline_id string

Det fullständiga namnet på pipelineaktiviteten som ska köras.

JobbPythonWheelTask

Name Sökväg Typ Description
entry_point
entry_point string

Namngiven startpunkt att använda, om den inte finns i metadata för paketet kör den funktionen från paketet direkt med hjälp av $packageName.$entryPoint()

named_parameters
named_parameters object

Kommandoradsparametrar som skickas till Python-hjulaktivitet i form av ["--name=task", "--data=dbfs:/path/to/data.json"]. Lämna den tom om parametrarna inte är null.

package_name
package_name string

Namnet på paketet som ska köras

parameters
parameters array of string

Kommandoradsparametrar som skickas till Python-hjulaktivitet. Lämna den tom om named_parameters inte är null.

JobsRunIf

JobsRunJobTask

Name Sökväg Typ Description
job_id
job_id integer

ID för jobbet som ska utlösas.

job_parameters
job_parameters object

Parametrar på jobbnivå som används för att utlösa jobbet.

pipeline_params
pipeline_params JobsPipelineParams

JobbSparkJarTask

Name Sökväg Typ Description
main_class_name
main_class_name string

Det fullständiga namnet på klassen som innehåller huvudmetoden som ska köras. Den här klassen måste finnas i en JAR som tillhandahålls som ett bibliotek. Koden måste använda SparkContext.getOrCreate för att få en Spark-kontext. annars misslyckas körningen av jobbet.

parameters
parameters array of string

Parametrar som skickas till huvudmetoden. Använd variabler för aktivitetsparameter för att ange parametrar som innehåller information om jobbkörningar.

JobbSparkPythonTask

Name Sökväg Typ Description
parameters
parameters array of string

Kommandoradsparametrar som skickas till Python-filen. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar.

python_file
python_file string

Python-filen som ska köras. Molnfil-URI:er (till exempel dbfs:/, s3:/, adls:/, gcs:/) och arbetsytesökvägar stöds. För Python-filer som lagras på Databricks-arbetsytan måste sökvägen vara absolut och börja med /. För filer som lagras på en fjärrlagringsplats måste sökvägen vara relativ. Det här fältet krävs.

källa
source JobsSource

JobsSparkSubmitTask

Name Sökväg Typ Description
parameters
parameters array of string

Kommandoradsparametrar som skickas till Spark-sändning. Använd aktivitetsparametervariabler för att ange parametrar som innehåller information om jobbkörningar.

JobsWebhookNotifications

Name Sökväg Typ Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of JobsWebhook

En valfri lista över systemmeddelande-ID:t som ska anropas när varaktigheten för en körning överskrider det tröskelvärde som angetts för måttet RUN_DURATION_SECONDS i hälsofältet. Högst 3 mål kan anges för egenskapen on_duration_warning_threshold_exceeded.

on_failure
on_failure array of JobsWebhook

En valfri lista över systemmeddelande-ID:t som ska anropas när körningen misslyckas. Högst 3 mål kan anges för egenskapen on_failure.

on_start
on_start array of JobsWebhook

En valfri lista över systemmeddelande-ID:t som ska anropas när körningen startar. Högst 3 mål kan anges för egenskapen on_start.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of JobsWebhook

En valfri lista över systemmeddelande-ID:er som ska anropas när tröskelvärden för kvarvarande strömningsloggar överskrids för alla strömmar. Tröskelvärden för kvarvarande strömningsloggar kan anges i hälsofältet med hjälp av följande mått: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS eller STREAMING_BACKLOG_FILES. Aviseringar baseras på medelvärdet på 10 minuter för dessa mått. Om problemet kvarstår skickas meddelanden var 30:e minut. Högst 3 mål kan anges för egenskapen on_streaming_backlog_exceeded.

on_success
on_success array of JobsWebhook

En valfri lista över systemmeddelande-ID:er som ska anropas när körningen har slutförts. Högst 3 mål kan anges för egenskapen on_success.

JobsWebhook

Name Sökväg Typ Description
Id-nummer
id string

JobsTriggerSettings

Name Sökväg Typ Description
file_arrival
file_arrival JobsFileArrivalTriggerConfiguration
pause_status
pause_status JobsPauseStatus
periodisk
periodic JobsPeriodicTriggerConfiguration

JobsFileArrivalTriggerConfiguration

Name Sökväg Typ Description
min_time_between_triggers_seconds
min_time_between_triggers_seconds integer

Om den anges startar utlösaren endast en körning efter den angivna tiden som passerat sedan den senaste gången utlösaren utlöstes. Det minsta tillåtna värdet är 60 sekunder

URL
url string

URL som ska övervakas för filinkomster. Sökvägen måste peka på roten eller en undersökväg till den externa platsen.

wait_after_last_change_seconds
wait_after_last_change_seconds integer

Om den anges startar utlösaren bara en körning när ingen filaktivitet har inträffat under den angivna tiden. Detta gör det möjligt att vänta tills en batch med inkommande filer tas emot innan en körning utlöses. Det minsta tillåtna värdet är 60 sekunder.

JobsPeriodicTriggerConfiguration

Name Sökväg Typ Description
interval
interval integer

Det intervall med vilket utlösaren ska köras.

enhet
unit JobsPeriodicTriggerConfigurationTimeUnit

JobsPeriodicTriggerConfigurationTimeUnit

JobsTriggerStateProto

Name Sökväg Typ Description
file_arrival
file_arrival JobsFileArrivalTriggerState

JobsFileArrivalTriggerState

Name Sökväg Typ Description
using_file_events
using_file_events boolean

Anger om utlösaren utnyttjar filhändelser för att identifiera filinkomster.

JobbKör

Name Sökväg Typ Description
attempt_number
attempt_number integer

Sekvensnumret för det här körningsförsöket för en utlöst jobbkörning. Det första försöket för en körning har en attempt_number på 0. Om det första körningsförsöket misslyckas och jobbet har en återförsöksprincip (max_retries > 0) skapas efterföljande körningar med en original_attempt_run_id av det ursprungliga försökets ID och en inkrementell attempt_number. Körningar görs bara på nytt tills de lyckas och det maximala attempt_number är detsamma som det max_retries värdet för jobbet.

cleanup_duration
cleanup_duration integer

Den tid i millisekunder det tog att avsluta klustret och rensa eventuella associerade artefakter. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet cleanup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

cluster_instance
cluster_instance JobsClusterInstance
cluster_spec
cluster_spec JobsClusterSpec
creator_user_name
creator_user_name string

Skaparens användarnamn. Det här fältet tas inte med i svaret om användaren redan har tagits bort.

beskrivning
description string

Beskrivning av körningen

effective_performance_target
effective_performance_target JobsPerformanceTarget
end_time
end_time integer

Den tid då den här körningen slutade i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här fältet är inställt på 0 om jobbet fortfarande körs.

execution_duration
execution_duration integer

Den tid i millisekunder det tog att köra kommandona i JAR-filen eller notebook-filen tills de slutfördes, misslyckades, tog timeout, avbröts eller påträffade ett oväntat fel. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet execution_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

git_source
git_source JobsGitSource
har_mer
has_more boolean

Anger om körningen har fler matrisegenskaper (uppgifter, job_clusters) som inte visas. De kan nås via :method:jobs/getrun-slutpunkten. Det är bara relevant för API 2.2 :method:jobs/listruns requests with expand_tasks=true.

job_clusters
job_clusters array of JobsJobCluster

En lista över specifikationer för jobbkluster som kan delas och återanvändas av uppgifter i det här jobbet. Bibliotek kan inte deklareras i ett delat jobbkluster. Du måste deklarera beroende bibliotek i aktivitetsinställningar. Om fler än 100 jobbkluster är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/getrun.

job_id
job_id integer

Den kanoniska identifieraren för jobbet som innehåller den här körningen.

job_parameters
job_parameters array of JobsJobParameter

Parametrar på jobbnivå som används i körningen

job_run_id
job_run_id integer

ID för jobbkörningen som den här körningen tillhör. För äldre jobb och jobbkörningar med en uppgift fylls fältet i med jobbkörnings-ID:t. För aktivitetskörningar fylls fältet i med ID:t för den jobbkörning som aktivitetskörningen tillhör.

next_page_token
next_page_token string

En token som kan användas för att visa nästa sida med matrisegenskaper.

original_attempt_run_id
original_attempt_run_id integer

Om den här körningen är ett nytt försök för ett tidigare körningsförsök innehåller det här fältet run_id för det ursprungliga försöket. annars är det samma som run_id.

overriding_parameters
overriding_parameters JobsRunParameters
queue_duration
queue_duration integer

Den tid i millisekunder som körningen har använt i kön.

repair_history
repair_history array of JobsRepairHistoryItem

Körningens reparationshistorik.

run_duration
run_duration integer

Tiden i millisekunder tog det jobbkörningen och alla dess reparationer att slutföras.

run_id
run_id integer

Den kanoniska identifieraren för körningen. Det här ID:t är unikt för alla körningar av alla jobb.

run_name
run_name string

Ett valfritt namn för körningen. Den maximala längden är 4 096 byte i UTF-8-kodning.

run_page_url
run_page_url string

URL:en till detaljsidan för körningen.

körtyp
run_type JobsRunType
schedule
schedule JobsCronSchedule
setup_duration
setup_duration integer

Tiden i millisekunder det tog att konfigurera klustret. För körningar som körs på nya kluster är detta tiden då klustret skapas, för körningar som körs på befintliga kluster den här gången bör vara mycket kort. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet setup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

starttid
start_time integer

Den tid då den här körningen startades i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här kanske inte är den tidpunkt då jobbaktiviteten börjar köras, till exempel om jobbet är schemalagt att köras i ett nytt kluster, det är den tidpunkt då anropet för att skapa klustret utfärdas.

status
status JobsRunStatus
tasks
tasks array of JobsRunTask

Listan över uppgifter som utförs av körningen. Varje uppgift har en egen run_id som du kan använda för att anropa JobsGetOutput för att hämta körningsutdata. Om fler än 100 uppgifter är tillgängliga kan du sidnumrera genom dem med hjälp av :method:jobs/getrun. Använd fältet next_page_token i objektroten för att avgöra om fler resultat är tillgängliga.

trigger
trigger JobsTriggerType
trigger_info
trigger_info JobsTriggerInfo

JobsClusterInstance

Name Sökväg Typ Description
cluster_id
cluster_id string

Den kanoniska identifieraren för klustret som används av en körning. Det här fältet är alltid tillgängligt för körningar i befintliga kluster. För körningar på nya kluster blir det tillgängligt när klustret har skapats. Det här värdet kan användas för att visa loggar genom att bläddra till /#setting/sparkui/$cluster_id/driver-logs. Loggarna fortsätter att vara tillgängliga när körningen har slutförts. Svaret inkluderar inte det här fältet om identifieraren inte är tillgänglig ännu.

spark_context_id
spark_context_id string

Den kanoniska identifieraren för Spark-kontexten som används av en körning. Det här fältet fylls i när körningen påbörjas. Det här värdet kan användas för att visa Spark-användargränssnittet genom att bläddra till /#setting/sparkui/$cluster_id/$spark_context_id. Spark-användargränssnittet fortsätter att vara tillgängligt när körningen har slutförts. Svaret inkluderar inte det här fältet om identifieraren inte är tillgänglig ännu.

JobsClusterSpec

Name Sökväg Typ Description
existing_cluster_id
existing_cluster_id string

Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet

job_cluster_key
job_cluster_key string

Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters.

libraries
libraries array of ComputeLibrary

En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista.

new_cluster
new_cluster ComputeClusterSpec

JobsJobParameter

Name Sökväg Typ Description
default
default string

Parameterns valfria standardvärde

name
name string

Namnet på parametern

värde
value string

Värdet som används i körningen

JobsRunParameters

Name Sökväg Typ Description
pipeline_params
pipeline_params JobsPipelineParams

JobsRepairHistoryItem

Name Sökväg Typ Description
effective_performance_target
effective_performance_target JobsPerformanceTarget
end_time
end_time integer

Sluttiden för (reparerad) körning.

Id-nummer
id integer

ID:t för reparationen. Returneras endast för de objekt som representerar en reparation i repair_history.

starttid
start_time integer

Starttiden för (reparerad) körning.

status
status JobsRunStatus
task_run_ids
task_run_ids array of integer

Körnings-ID:t för aktiviteten körs som en del av det här reparationshistorikobjektet.

type
type JobsRepairHistoryItemType

JobsRunStatus

Name Sökväg Typ Description
queue_details
queue_details JobsQueueDetails
state
state JobsRunLifecycleStateV2State
termination_details
termination_details JobsTerminationDetails

JobsQueueDetails

Name Sökväg Typ Description
kod
code JobsQueueDetailsCodeCode
meddelande
message string

Ett beskrivande meddelande med köinformationen. Det här fältet är ostrukturerat och det exakta formatet kan komma att ändras.

JobsQueueDetailsCodeCode

JobsRunLifecycleStateV2State

JobsTerminationDetails

Name Sökväg Typ Description
kod
code JobsTerminationCodeCode
meddelande
message string

Ett beskrivande meddelande med avslutningsinformationen. Det här fältet är ostrukturerat och formatet kan ändras.

type
type JobsTerminationTypeType

JobsTerminationCodeCode

JobsTerminationTypeType

JobsRepairHistoryItemType

JobsRunType

JobsRunTask

Name Sökväg Typ Description
attempt_number
attempt_number integer

Sekvensnumret för det här körningsförsöket för en utlöst jobbkörning. Det första försöket för en körning har en attempt_number på 0. Om det första körningsförsöket misslyckas och jobbet har en återförsöksprincip (max_retries > 0) skapas efterföljande körningar med en original_attempt_run_id av det ursprungliga försökets ID och en inkrementell attempt_number. Körningar görs bara på nytt tills de lyckas och det maximala attempt_number är detsamma som det max_retries värdet för jobbet.

clean_rooms_notebook_task
clean_rooms_notebook_task Object
cleanup_duration
cleanup_duration integer

Den tid i millisekunder det tog att avsluta klustret och rensa eventuella associerade artefakter. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet cleanup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

cluster_instance
cluster_instance JobsClusterInstance
condition_task
condition_task JobsRunConditionTask
dashboard_task
dashboard_task Object
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

En valfri matris med objekt som anger beroendediagrammet för uppgiften. Alla uppgifter som anges i det här fältet måste slutföras innan den här aktiviteten körs. Nyckeln är task_key och värdet är namnet som tilldelats den beroende aktiviteten.

beskrivning
description string

En valfri beskrivning för den här uppgiften.

effective_performance_target
effective_performance_target JobsPerformanceTarget
email_notifications
email_notifications JobsJobEmailNotifications
end_time
end_time integer

Den tid då den här körningen slutade i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här fältet är inställt på 0 om jobbet fortfarande körs.

environment_key
environment_key string

Nyckeln som refererar till en miljöspecifikation i ett jobb. Det här fältet krävs för Python-skript, Python-hjul och dbt-uppgifter när du använder serverlös beräkning.

execution_duration
execution_duration integer

Den tid i millisekunder det tog att köra kommandona i JAR-filen eller notebook-filen tills de slutfördes, misslyckades, tog timeout, avbröts eller påträffade ett oväntat fel. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet execution_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

existing_cluster_id
existing_cluster_id string

Om existing_cluster_id används ID för ett befintligt kluster för alla körningar. När du kör jobb eller uppgifter i ett befintligt kluster kan du behöva starta om klustret manuellt om det slutar svara. Vi föreslår att du kör jobb och uppgifter i nya kluster för bättre tillförlitlighet

for_each_task
for_each_task Object
git_source
git_source JobsGitSource
job_cluster_key
job_cluster_key string

Om job_cluster_key körs den här uppgiften genom att återanvända klustret som anges i job.settings.job_clusters.

libraries
libraries array of Object

En valfri lista över bibliotek som ska installeras i klustret. Standardvärdet är en tom lista.

new_cluster
new_cluster Object
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings Object
pipeline_task
pipeline_task Object
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task Object
queue_duration
queue_duration integer

Den tid i millisekunder som körningen har använt i kön.

resolved_values
resolved_values JobsResolvedValues
run_duration
run_duration integer

Tiden i millisekunder tog det jobbkörningen och alla dess reparationer att slutföras.

run_id
run_id integer

ID:t för aktivitetskörningen.

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
run_page_url
run_page_url string
setup_duration
setup_duration integer

Tiden i millisekunder det tog att konfigurera klustret. För körningar som körs på nya kluster är detta tiden då klustret skapas, för körningar som körs på befintliga kluster den här gången bör vara mycket kort. Varaktigheten för en aktivitetskörning är summan av setup_duration, execution_duration och cleanup_duration. Fältet setup_duration är inställt på 0 för flera jobbkörningar. Den totala varaktigheten för en multitask-jobbkörning är värdet för fältet run_duration.

spark_jar_task
spark_jar_task Object
spark_python_task
spark_python_task Object
spark_submit_task
spark_submit_task Object
sql_task
sql_task Object
starttid
start_time integer

Den tid då den här körningen startades i epok millisekunder (millisekunder sedan 1/1/1970 UTC). Det här kanske inte är den tidpunkt då jobbaktiviteten börjar köras, till exempel om jobbet är schemalagt att köras i ett nytt kluster, det är den tidpunkt då anropet för att skapa klustret utfärdas.

status
status JobsRunStatus
task_key
task_key string

Ett unikt namn för uppgiften. Det här fältet används för att referera till den här aktiviteten från andra aktiviteter. Det här fältet krävs och måste vara unikt i det överordnade jobbet. Vid Uppdatering eller Återställning används det här fältet för att referera till de uppgifter som ska uppdateras eller återställas.

timeout_seconds
timeout_seconds integer

En valfri tidsgräns som tillämpas på varje körning av den här jobbaktiviteten. Värdet 0 innebär ingen tidsgräns.

webhook_notifications
webhook_notifications Object

JobsRunConditionTask

Name Sökväg Typ Description
vänster
left string

Den vänstra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens.

Op
op JobsConditionTaskOp
utfall
outcome string

Utvärderingsresultatet för villkorsuttrycket. Ifyllt om uppgiften har slutförts. Kan vara "sant" eller "falskt"

Höger
right string

Den högra operanden för villkorsaktiviteten. Kan vara antingen ett strängvärde eller ett jobbtillstånd eller en parameterreferens.

JobsTriggerType

JobsTriggerInfo

Name Sökväg Typ Description
run_id
run_id integer

Körnings-ID för körningsjobbkörningen

JobsRunOutput

Name Sökväg Typ Description
clean_rooms_notebook_output
clean_rooms_notebook_output Object
dashboard_output
dashboard_output Object
dbt_output
dbt_output Object
fel
error string

Ett felmeddelande som anger varför en uppgift misslyckades eller varför utdata inte är tillgängliga. Meddelandet är ostrukturerat och dess exakta format kan komma att ändras.

error_trace
error_trace string

Om det uppstod ett fel när körningen skulle köras innehåller det här fältet alla tillgängliga stackspårningar.

information
info string
logs
logs string

Utdata från uppgifter som skriver till standardströmmar (stdout/stderr) som spark_jar_task, spark_python_task python_wheel_task. Det stöds inte för notebook_task, pipeline_task eller spark_submit_task. Databricks begränsar det här API:et till att returnera de sista 5 MB av dessa loggar.

logs_truncated
logs_truncated boolean

Om loggarna trunkeras.

metadata
metadata Object
notebook_output
notebook_output JobsNotebookOutput
run_job_output
run_job_output JobsRunJobOutput
sql_output
sql_output Object

JobsNotebookOutput

Name Sökväg Typ Description
resultat
result string

Värdet som skickades till dbutils.notebook.exit(). Databricks begränsar det här API:et till att returnera de första 5 MB av värdet. För ett större resultat kan ditt jobb lagra resultaten i en molnlagringstjänst. Det här fältet saknas om dbutils.notebook.exit() aldrig anropades.

Trunkerade
truncated boolean

Om resultatet trunkerades eller inte.

JobsRunJobOutput

Name Sökväg Typ Description
run_id
run_id integer

Körnings-ID för den utlösta jobbkörningen

JobsResolvedValues

Name Sökväg Typ Description
condition_task
condition_task JobsResolvedConditionTaskValues
dbt_task
dbt_task JobsResolvedDbtTaskValues
notebook_task
notebook_task JobsResolvedNotebookTaskValues
python_wheel_task
python_wheel_task JobsResolvedPythonWheelTaskValues
run_job_task
run_job_task JobsResolvedRunJobTaskValues
simulation_task
simulation_task JobsResolvedParamPairValues
spark_jar_task
spark_jar_task JobsResolvedStringParamsValues
spark_python_task
spark_python_task JobsResolvedStringParamsValues
spark_submit_task
spark_submit_task JobsResolvedStringParamsValues
sql_task
sql_task JobsResolvedParamPairValues

JobsResolvedConditionTaskValues

Name Sökväg Typ Description
vänster
left string
Höger
right string

JobsResolvedDbtTaskValues

Name Sökväg Typ Description
commands
commands array of string

JobsResolvedNotebookTaskValues

Name Sökväg Typ Description
base_parameters
base_parameters object

JobsResolvedPythonWheelTaskValues

Name Sökväg Typ Description
named_parameters
named_parameters object
parameters
parameters array of string

JobsResolvedRunJobTaskValues

Name Sökväg Typ Description
job_parameters
job_parameters object
parameters
parameters object

JobsResolvedParamPairValues

Name Sökväg Typ Description
parameters
parameters object

JobsResolvedStringParamsValues

Name Sökväg Typ Description
parameters
parameters array of string