Aracılığıyla paylaş


Azure Databricks

Azure Databricks ölçeklenebilir veri yönetimi, idare ve analiz için birleşik bir platform sunar ve kolaylaştırılmış iş akışlarını farklı veri türlerini verimli bir şekilde işleme özelliğiyle birleştirir

Bu bağlayıcı aşağıdaki ürün ve bölgelerde kullanılabilir:

Hizmet Class Bölgeler
Copilot Studio Premium Aşağıdakiler dışında tüm Power Automate bölgeleri :
     - ABD Kamu (GCC)
     - US Government (GCC High)
     - 21Vianet tarafından işletilen Çin Bulutu
     - ABD Savunma Bakanlığı (DoD)
Power Apps Premium Aşağıdakiler dışında tüm Power Apps bölgeleri :
     - ABD Kamu (GCC)
     - US Government (GCC High)
     - 21Vianet tarafından işletilen Çin Bulutu
     - ABD Savunma Bakanlığı (DoD)
Power Automate Premium Aşağıdakiler dışında tüm Power Automate bölgeleri :
     - ABD Kamu (GCC)
     - US Government (GCC High)
     - 21Vianet tarafından işletilen Çin Bulutu
     - ABD Savunma Bakanlığı (DoD)
İletişim
İsim Databricks Desteği
URL https://help.databricks.com
E-posta eng-partner-eco-help@databricks.com
Bağlayıcı Meta Verileri
Publisher Databricks Inc.
Web sitesi https://www.databricks.com/
Gizlilik ilkesi https://www.databricks.com/legal/privacynotice
Kategoriler Data

Microsoft Power Platform'dan Azure Databricks'e bağlanma

Bu sayfada Azure Databricks'i veri bağlantısı olarak ekleyerek Microsoft Power Platform'dan Azure Databricks'e nasıl bağlandığınız açıklanmaktadır. Bağlandığınızda, aşağıdaki platformlardan Azure Databricks verilerinizi kullanabilirsiniz:

  • Power Apps: Azure Databricks idare denetimlerinizi korurken Azure Databricks'ten okuyabilen ve Azure Databricks'e yazabilen uygulamalar oluşturun.
  • Power Automate: Özel SQL veya mevcut bir İşi yürütmeyi sağlayan akışlar oluşturun ve eylemler ekleyin ve sonuçları geri alın.
  • Copilot Studio: Azure Databricks verilerinizi bilgi kaynağı olarak kullanarak özel aracılar oluşturun.

Başlamadan önce

Power Platform'dan Azure Databricks'e bağlanmadan önce aşağıdaki gereksinimleri karşılamanız gerekir:

  • Microsoft Entra ID (eski adıyla Azure Active Directory) hesabınız var.
  • Premium Power Apps lisansınız var.
  • Azure Databricks hesabınız var.
  • Azure Databricks'te bir SQL ambarı erişiminiz vardır.

İsteğe bağlı: Azure Sanal Ağlarıyla bağlanma

Azure Databricks çalışma alanınız Sanal Ağlar kullanıyorsa bağlanmanın iki yolu vardır:

  1. Power Platform'la sanal ağınızdaki kaynakları genel İnternet üzerinden göstermeden tümleştirin. Azure Databricks çalışma alanınızın özel uç noktasına bağlanmak için, Azure Databricks'e özel bağlantıyı yapılandırdıktan sonra aşağıdakileri yapın:

    Sanal ağlar hakkında daha fazla bilgi için bkz. Sanal Ağ desteğine genel bakış.

  2. Ortak uç nokta içeren bir ön uç özel bağlantısının Çalışma Alanı IP Erişim Listesi tarafından korunduğu karma dağıtım ile erişimi etkinleştirin. Erişimi etkinleştirmek için aşağıdakileri yapın:

    1. Çalışma alanı düzeyinde genel erişimi etkinleştirin. Diğer ayrıntılar için bkz. Çalışma alanları için IP erişim listelerini yapılandırma.
    2. Çalışma Alanı IP erişim listenizeAzureConnectors IP aralığını veya ortamınızın bölgesine göre belirli Bir Power Platform IP aralığını ekleyin.

İsteğe bağlı: Microsoft Entra Hizmet Sorumlusu Oluşturma

Önemli

Azure Databricks ve Power Platform farklı kiracılardaysa, kimlik doğrulaması için Hizmet Sorumlularını kullanmanız gerekir.

Bağlanmadan önce, Azure Databricks hesabınıza veya çalışma alanınıza bir Microsoft Entra Hizmet Sorumlusu oluşturmak, ayarlamak ve atamak için aşağıdaki adımları tamamlayın:

1. Adım: Power Platform'a Azure Databricks bağlantısı ekleme

Not: Copilot Studio kullanıyorsanız Power Apps veya Power Automate'te Databricks bağlantısı oluşturmanızı öneririz. Ardından Copilot Studio'da kullanılabilir.

Azure Databricks bağlantısı eklemek için aşağıdakileri yapın:

  1. Power Apps veya Power Automate'te kenar çubuğunda Bağlantılar'a tıklayın.

  2. Sol üst köşedeki + Yeni bağlantı'ya tıklayın.

  3. Sağ üstteki arama çubuğunu kullanarak "Azure Databricks" araması yapın.

  4. Azure Databricks kutucuğunu seçin.

  5. Açılan menüden Kimlik doğrulama türünüzü seçin.

  6. Kimlik doğrulama yönteminizi seçin ve kimlik doğrulama bilgilerinizi girin.

    • Power Platform dağıtımınız ve Azure Databricks hesabınız aynı Microsoft Entra kiracısındaysa OAuth bağlantısını kullanabilirsiniz. Aşağıdaki bilgileri girin:

      • Sunucu Ana Bilgisayar Adı için Azure Databricks SQL ambarı ana bilgisayar adını girin.
      • HTTP Yolu için SQL ambarı HTTP yolunu girin.
      • Oluştur'utıklayın.
      • Microsoft Entra Kimliğiniz ile oturum açın.
    • Hizmet sorumlusu bağlantısı herhangi bir senaryoda kullanılabilir. Bağlanmadan önce bir Microsoft Entra hizmet sorumlusu oluşturun. Aşağıdaki bilgileri girin:

      • İstemci Kimliği için hizmet sorumlusu kimliğini girin.
      • Client Secret için hizmet temsilcisi sırrını girin.
      • Kiracı için hizmet sorumlusu kiracısını girin.
      • Konak adı alanına Azure Databricks SQL ambarı ana bilgisayar adını girin.
      • HTTP Yolu için SQL ambarı HTTP yolunu girin.
      • (İsteğe bağlı) Bağlantı oluşturulduktan sonra hizmet sorumlusu bağlantısını yeniden adlandırabilir veya ekip üyelerinizle paylaşabilirsiniz.
    • Azure Databricks SQL ambarı bağlantı ayrıntılarınızı bulmak için bkz. Azure Databricks işlem kaynağı için bağlantı ayrıntılarını alma.

  7. Oluştur'utıklayın.

2. Adım: Azure Databricks bağlantısını kullanma

Power Apps veya Power Automate'te bir Azure Databricks bağlantısı oluşturduktan sonra Azure Databricks verilerinizi kullanarak Power tuval uygulamaları, Power Automate akışları ve Copilot Studio aracıları oluşturabilirsiniz.

Power canvas uygulamaları oluşturmak için Azure Databricks verilerinizi kullanma

Önemli

Tuval uygulamalarını yalnızca uygulamadaki Azure Databricks'e doğrudan bağlanıyorsanız kullanabilirsiniz. Sanal tabloları kullanamazsınız.

Azure Databricks verilerinizi uygulamanıza eklemek için aşağıdakileri yapın:

  1. En soldaki gezinti çubuğunda Oluştur'a tıklayın.
  2. Boş bir tuvalle başla'ya tıklayın ve yeni bir tuval uygulaması oluşturmak için istediğiniz tuval boyutunu seçin.
  3. Uygulamanızdan Veri>Bağlayıcıları> EkleAzure Databricks'e tıklayın. Oluşturduğunuz Azure Databricks bağlantısını seçin.
  4. Veri kümesi seçin kenar çubuğundan bir katalog seçin.
  5. Veri kümesi seçin kenar çubuğundan tuval uygulamanızı bağlamak istediğiniz tüm tabloları seçin.
  6. Bağlan'a tıklayın.

Power Apps'teki veri işlemleri:

Bağlayıcı oluşturma, güncelleştirme ve silme işlemlerini destekler, ancak yalnızca birincil anahtarı tanımlanmış tablolar için geçerlidir. Oluşturma işlemlerini gerçekleştirirken her zaman birincil anahtarı belirtmeniz gerekir.

Not: Azure Databricks , oluşturulan kimlik sütunlarını destekler. Bu durumda, birincil anahtar değerleri satır oluşturma sırasında sunucuda otomatik olarak oluşturulur ve el ile belirtilemez.

Power Automate akışları oluşturmak için Azure Databricks verilerinizi kullanma

Deyim Yürütme API'si ve İşler API'si Power Automate'te kullanıma sunulur ve SQL deyimleri yazmanıza ve mevcut İşleri yürütmenize olanak tanır. Eylem olarak Azure Databricks kullanarak power automate akışı oluşturmak için aşağıdakileri yapın:

  1. En soldaki gezinti çubuğunda Oluştur'a tıklayın.
  2. Bir akış oluşturun ve herhangi bir tetikleyici türü ekleyin.
  3. Yeni akışınızda, kullanılabilir eylemleri görmek için tıklayın + ve "Databricks" araması yapın.

SQL yazmak için aşağıdaki eylemlerden birini seçin:

  • SQL Deyimi Yürütme: SQL deyimi yazın ve çalıştırın. Aşağıdakileri girin:

    • Gövde/warehouse_id için, SQL ifadesinin yürütüleceği ambarın kimliğini girin.
    • Gövde/statement_id için yürütülecek SQL deyiminin kimliğini girin.
    • Gelişmiş parametreler hakkında daha fazla bilgi için buraya bakın.
  • Durumu denetleyin ve sonuçları alın: SQL deyiminin durumunu denetleyin ve sonuçları toplayın. Aşağıdakileri girin:

    • Sorgu Kimliği için, SQL sorgusu yürütüldüğünde döndürülen kimliği girin.
    • Parametresi hakkında daha fazla bilgi için buraya bakın.
  • Bir deyiminin yürütülmesini iptal etme: SQL deyiminin yürütülmesini sonlandırın. Aşağıdakileri girin:

    • Deyim Kimliği için sonlandıracak SQL deyiminin kimliğini girin.
    • Parametresi hakkında daha fazla bilgi için buraya bakın.
  • Öbek dizinine göre sonuç alma: Büyük sonuç kümeleri için uygun olan öbek dizinine göre sonuçları alın. Aşağıdakileri girin:

    • Deyim Kimliği için, sonuçlarını almak istediğiniz SQL deyiminin kimliğini girin.
    • Öbek dizini için hedef öbek dizinini girin.
    • Parametreler hakkında daha fazla bilgi için buraya bakın.

Mevcut bir Databricks İşi ile etkileşime geçmek için aşağıdaki eylemlerden birini seçin:

  • İşleri Listele: İşlerin listesini alır. Daha fazla bilgi için buraya bakın.
  • Yeni bir iş çalıştırmasını tetikleme: Bir işi çalıştırır ve tetiklenen çalıştırmanın run_id döndürür. Daha fazla bilgi için buraya bakın.
  • Tek bir İş çalıştırması alma: Çalıştırma durumu (çalışan, BAŞARI, BAŞARI, BAŞARISIZ), başlangıç ve bitiş saati, yürütme süreleri, küme bilgileri vb. dahil olmak üzere bir çalıştırmayla ilgili meta verileri döndürür. Daha fazla bilgi için buraya bakın.
  • İş çalıştırmayı iptal etme: bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Daha fazla bilgi için buraya bakın.
  • Tek bir iş çalıştırmasının çıkışını alma: Tek bir görev çalıştırmasının çıktısını ve meta verilerini alır. Daha fazla bilgi için buraya bakın.

Copilot Studio'da bilgi kaynağı olarak Azure Databricks'i kullanma

Azure Databricks verilerinizi bir Copilot Studio aracısına bilgi kaynağı olarak eklemek için aşağıdakileri yapın:

  1. Kenar çubuğunda Aracı'ya tıklayın.
  2. Var olan bir aracıyı seçin veya + Yeni aracı'ya tıklayarak yeni bir aracı oluşturun.
    • Bir ileti girip Oluştur'a tıklayarak aracıyı açıklayın.
    • Ya da aracı bilgilerini el ile belirtmek için Atla'ya tıklayın.
  3. Bilgi sekmesinde + Bilgi'ye tıklayın.
  4. Gelişmiş'i tıklatın.
  5. Bilgi kaynağı olarak Azure Databricks'i seçin.
  6. Verilerinizin içinde yer alan katalog adını girin.
  7. Bağlan'a tıklayın.
  8. Aracınızın bilgi kaynağı olarak kullanmasını istediğiniz tabloları seçin ve Ekle'ye tıklayın.

Azure Databricks verilerinizle Dataverse sanal tabloları oluşturma

Azure Databricks bağlayıcısı ile Dataverse sanal tabloları da oluşturabilirsiniz. Sanal varlıklar olarak da bilinen sanal tablolar, dış sistemlerden gelen verileri Microsoft Dataverse ile tümleştirir. Sanal tablo, fiziksel tabloyu Dataverse veritabanında depolamadan Dataverse'de bir tablo tanımlar. Sanal tablolar hakkında daha fazla bilgi edinmek için bkz. Sanal tabloları (varlıklar) kullanmaya başlama.

Not

Sanal tablolar Dataverse depolama kapasitesini kullanmasa da, Databricks daha iyi performans için doğrudan bağlantıları kullanmanızı önerir.

Sistem Özelleştiricisi veya Sistem Yöneticisi rolüne sahip olmanız gerekir. Daha fazla bilgi için bkz. Power Platform için güvenlik rolleri.

Dataverse sanal tablosu oluşturmak için şu adımları izleyin:

  1. Power Apps'te kenar çubuğunda Tablolar'a tıklayın.

  2. Menü çubuğunda + Yeni Tablo'ya tıklayın ve Sanal tablo oluştur'u seçin.

  3. Mevcut bir Azure Databricks bağlantısını seçin veya Azure Databricks'e yeni bir bağlantı oluşturun. Yeni bağlantı eklemek için bkz . 1. Adım: Power Platform'a Azure Databricks bağlantısı ekleme.

    Databricks, sanal tablo oluşturmak için hizmet sorumlusu bağlantısı kullanılmasını önerir.

  4. Nextöğesine tıklayın.

  5. Dataverse sanal tablosu olarak temsil etmek için tabloları seçin.

    • Dataverse sanal tabloları için birincil anahtar gerekir. Bu nedenle, görünümler sanal tablolar olamaz, ancak maddileştirilmiş görünümler olabilir.
  6. Nextöğesine tıklayın.

  7. Gerekirse, tablonun ayrıntılarını güncelleştirerek sanal tabloyu yapılandırın.

  8. Nextöğesine tıklayın.

  9. Veri kaynağının ayrıntılarını onaylayın ve Son'a tıklayın.

  10. Power Apps, Power Automate ve Copilot Studio'da Dataverse sanal tablosunu kullanın.

Dataverse sanal tablolarının bilinen sınırlamalarının listesi için bkz. Bilinen sınırlamalar ve sorun giderme.

Toplu güncelleştirmeler gerçekleştirme

Power Apps girişlerine yanıt olarak toplu oluşturma, güncelleştirme veya silme işlemleri gerçekleştirmeniz gerekiyorsa Databricks bir Power Automate akışı uygulamanızı önerir. Bunu yapmak için aşağıdakileri yapın:

  1. Power Apps'te Azure Databricks bağlantınızı kullanarak bir tuval uygulaması oluşturun.

  2. Azure Databricks bağlantısını kullanarak bir Power Automate akışı oluşturun ve tetikleyici olarak Power Apps'i kullanın.

  3. Power Automate tetikleyicisinde, Power Apps'ten Power Automate'e geçirmek istediğiniz giriş alanlarını ekleyin.

  4. Tüm değişikliklerinizi toplamak için Power Apps'te bir koleksiyon nesnesi oluşturun.

  5. Power Automate akışını canvas uygulamanıza ekleyin.

  6. Tuval uygulamanızdan Power Automate akışını çağırın ve bir ForAll komut kullanarak koleksiyon üzerinde yineleme yapın.

    ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
    

Eşzamanlı yazma işlemleri

Satır düzeyi eşzamanlılık, satır düzeyindeki değişiklikleri algılayarak ve eşzamanlı yazma işlemleri aynı veri dosyasındaki farklı satırları güncelleştirdiğinde veya sildiğinde oluşan çakışmaları otomatik olarak çözerek eşzamanlı yazma işlemleri arasındaki çakışmaları azaltır.

Satır düzeyi eşzamanlılık, Databricks Runtime 14.2 veya üzeri sürümlerine dahil edilir. Satır düzeyi eşzamanlılık, aşağıdaki tablo türleri için varsayılan olarak desteklenir:

  • Silme vektörlerinin etkin olduğu ve bölümleme içermeyen tablolar
  • Silme vektörleri devre dışı bırakılmadıkça sıvı kümelemelerine sahip tablolar

Silme vektörlerini etkinleştirmek için aşağıdaki SQL komutunu çalıştırın:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Azure Databricks'teki eşzamanlı yazma çakışmaları hakkında daha fazla bilgi için bkz . Azure Databricks'te yalıtım düzeyleri ve yazma çakışmaları.

Veri ilkesine Azure Databricks ekleme

Azure Databricks'i bir İş verileri ilkesine ekleyerek Azure Databricks diğer gruplardaki bağlayıcılarla veri paylaşamaz. Bu, verilerinizi korur ve erişimi olmaması gereken kişilerle paylaşılmasını engeller. Daha fazla bilgi için bkz. Veri ilkelerini yönetme.

Azure Databricks bağlayıcısını power platform veri ilkesine eklemek için:

  1. Herhangi bir Power Platform uygulamasında sağ üstteki ayarlar dişlisine tıklayın ve Yönetim Merkezi'ni seçin.
  2. Kenar çubuğundaİlkeler Veri İlkeleri'ne> tıklayın.
  3. Yeni yönetim merkezini kullanıyorsanız Güvenlik>Verileri ve Gizlilik>Veri İlkesi'ne tıklayın.
  4. + Yeni İlke'ye tıklayın veya var olan bir ilkeyi seçin.
  5. Yeni bir ilke oluşturuyorsanız, bir ad girin.
  6. İlkenize eklenecek ortamı seçin ve yukarıdaki + İlkeye ekle'ye tıklayın.
  7. Nextöğesine tıklayın.
  8. Azure Databricks bağlayıcısını arayın ve seçin.
  9. İş'e Taşı ve İleri tıklayın.
  10. İlkenizi gözden geçirin ve İlke oluştur'a tıklayın.

Sınırlamalar

  • Power Platform bağlayıcısı kamu bulutlarını desteklemez.

Power App sınırlamaları

Aşağıdaki PowerFx formülleri yalnızca yerel olarak alınan verileri kullanarak değerleri hesaplar:

Kategori Formula
Tablo işlevi - GroupBy
-Farklı
Aggregation - CountRows
- StdevP
- StdevS

Bağlantı oluşturma

Bağlayıcı aşağıdaki kimlik doğrulama türlerini destekler:

OAuth Bağlantısı OAuth Bağlantısı Tüm bölgeler Paylaşılamaz
Hizmet Sorumlusu Bağlantısı Hizmet Sorumlusu Bağlantısı Tüm bölgeler Paylaşılabilir
Varsayılan [KULLANIM DIŞI] Bu seçenek yalnızca açık kimlik doğrulama türü olmayan eski bağlantılar içindir ve yalnızca geriye dönük uyumluluk için sağlanır. Tüm bölgeler Paylaşılamaz

OAuth Bağlantısı

Kimlik Doğrulama Kimliği: oauth2-auth

Geçerli: Tüm bölgeler

OAuth Bağlantısı

Bu, paylaşılabilir bir bağlantı değildir. Power app başka bir kullanıcıyla paylaşılıyorsa, başka bir kullanıcıdan açıkça yeni bağlantı oluşturması istenir.

İsim Türü Description Gerekli
Sunucu Ana Bilgisayar Adı (Örnek: adb-3980263885549757139.2.azuredatabricks.net) String Databricks çalışma alanının sunucu adı Doğru
HTTP Yolu (Örnek: /sql/1.0/warehouses/a9c4e781bd29f315) String Databricks SQL Ambarı'nın HTTP Yolu Doğru

Hizmet Sorumlusu Bağlantısı

Kimlik Doğrulama Kimliği: oAuthClientCredentials

Geçerli: Tüm bölgeler

Hizmet Sorumlusu Bağlantısı

Bu, paylaşılabilir bir bağlantıdır. Power app başka bir kullanıcıyla paylaşılıyorsa, bağlantı da paylaşılır. Daha fazla bilgi için bkz . Tuval uygulamaları için bağlayıcılara genel bakış - Power Apps | Microsoft Docs

İsim Türü Description Gerekli
Müşteri Kimliği String Doğru
İstemci Sırrı securestring Doğru
Tenant String Doğru
Sunucu Ana Bilgisayar Adı (Örnek: adb-3980263885549757139.2.azuredatabricks.net) String Databricks çalışma alanının sunucu adı Doğru
HTTP Yolu (Örnek: /sql/1.0/warehouses/a9c4e781bd29f315) String Databricks SQL Ambarı'nın HTTP Yolu Doğru

Varsayılan [KULLANIM DIŞI]

Geçerli: Tüm bölgeler

Bu seçenek yalnızca açık kimlik doğrulama türü olmayan eski bağlantılar içindir ve yalnızca geriye dönük uyumluluk için sağlanır.

Bu, paylaşılabilir bir bağlantı değildir. Power app başka bir kullanıcıyla paylaşılıyorsa, başka bir kullanıcıdan açıkça yeni bağlantı oluşturması istenir.

Azaltma Sınırları

Name Çağrılar Yenileme Dönemi
Bağlantı başına API çağrıları 100 60 saniye

Eylemler

Azure Databricks Genie

Verilerinizden içgörüler elde etmek için Genie alanlarını sorgulayın.

Deyim yürütmeyi iptal etme

Yürütme deyiminin iptal edilmesine yönelik istekler. Arayanların terminal durumunu görebilmesi için durumu yoklaması gerekir.

Durumu denetleme ve sonuçları alma

Deyimin durumunu, bildirimini ve sonuçlarını alma

İşleri Listele

İşlerin listesini alır.

SQL deyimi yürütme

Bir SQL deyimi yürütür ve isteğe bağlı olarak belirli bir süre için sonuçlarını bekler.

Tek bir iş çalıştırması alma

Çalıştırmanın meta verilerini alır. Sonuçlardaki büyük diziler 100 öğeyi aştıklarında sayfalanır. Tek bir çalıştırma isteği, bu çalıştırmanın tüm özelliklerini ve dizi özelliklerinin ilk 100 öğesini (görevler, job_clusters, job_parameters ve repair_history) döndürür. Daha fazla sonuç olup olmadığını denetlemek ve değerini sonraki isteklerde page_token olarak geçirmek için next_page_token alanını kullanın. Dizi özelliklerinin 100'den fazla öğesi varsa, sonraki isteklerde ek sonuçlar döndürülür. Ek sonuç içermeyen diziler sonraki sayfalarda boş olacaktır.

Tek bir çalıştırmanın çıkışını alma

Tek bir görev çalıştırmasının çıktısını ve meta verilerini alın. Bir not defteri görevi dbutils.notebook.exit() çağrısı aracılığıyla bir değer döndürdüğünde, bu değeri almak için bu uç noktayı kullanabilirsiniz. Azure Databricks, bu API'yi çıkışın ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz. Bu uç nokta , run_id parametresinin geçerli olduğunu doğrular ve run_id parametresi geçersizse 400 HTTP durum kodunu döndürür. Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir.

Yeni bir iş çalıştırması tetikleme

Bir iş çalıştırın ve tetiklenen çalıştırmanın run_id döndürür.

Çalıştırmayı iptal etme

bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Çalıştırma zaman uyumsuz olarak iptal edilir, bu nedenle bu istek tamamlandığında hala çalışıyor olabilir.

Öbek dizinine göre sonuç alma

Deyimi yürütme BAŞARILI olduktan sonra, bu istek dizine göre herhangi bir öbek getirmek için kullanılabilir.

Azure Databricks Genie

Verilerinizden içgörüler elde etmek için Genie alanlarını sorgulayın.

Parametreler

Name Anahtar Gerekli Tür Description
Genie Space ID
genie_space_id True string

Genie Space ID

Deyim yürütmeyi iptal etme

Yürütme deyiminin iptal edilmesine yönelik istekler. Arayanların terminal durumunu görebilmesi için durumu yoklaması gerekir.

Parametreler

Name Anahtar Gerekli Tür Description
Deyim Kimliği
statement_id True string

Deyim Kimliği

Durumu denetleme ve sonuçları alma

Deyimin durumunu, bildirimini ve sonuçlarını alma

Parametreler

Name Anahtar Gerekli Tür Description
Deyim Kimliği
statement_id True string

Deyim Kimliği

Döndürülenler

Deyim yürütme yanıtı

İşleri Listele

İşlerin listesini alır.

Parametreler

Name Anahtar Gerekli Tür Description
Sınır
limit integer

Döndürülecek iş sayısı. Bu değer 0'dan büyük ve 100'e eşit veya daha küçük olmalıdır. Varsayılan değer 20'dir.

Görevleri Genişlet
expand_tasks boolean

Yanıta görev ve küme ayrıntılarının eklenip eklenmeyeceği. Yalnızca ilk 100 öğe gösterilecektir. Tüm görevler ve kümeler arasında sayfalandırmak için :method:jobs/get komutunu kullanın.

İş Adı
name string

Tam (büyük/küçük harfe duyarsız) iş adına göre listede bir filtre.

Sayfa Belirteci
page_token string

İşlerin sonraki veya önceki sayfasını sırasıyla listelemek için önceki istekten döndürülen next_page_token veya prev_page_token kullanın.

Döndürülenler

SQL deyimi yürütme

Bir SQL deyimi yürütür ve isteğe bağlı olarak belirli bir süre için sonuçlarını bekler.

Parametreler

Name Anahtar Gerekli Tür Description
warehouse_id
warehouse_id True string

Hedef ambar kimliği

açıklama
statement True string

Yürütülecek SQL deyimi. deyimi isteğe bağlı olarak parametrelendirilebilir, bkz. parametreler

name
name True string

Parametre işaretçisi adı

type
type string

Parametre veri türü

value
value string

Parametre değeri

catalog
catalog string

Yürütme için varsayılan katalog

şema
schema string

Yürütme için varsayılan şema

eğilim
disposition string

Sonuç getirme modu

format
format string

Sonuç kümesi biçimi

on_wait_timeout
on_wait_timeout string

Zaman aşımında eylem

wait_timeout
wait_timeout string

Sonuç bekleme zaman aşımı

byte_limit
byte_limit integer

Sonuç bayt sınırı

row_limit
row_limit integer

Sonuç satırı sınırı

Döndürülenler

Deyim yürütme yanıtı

Tek bir iş çalıştırması alma

Çalıştırmanın meta verilerini alır. Sonuçlardaki büyük diziler 100 öğeyi aştıklarında sayfalanır. Tek bir çalıştırma isteği, bu çalıştırmanın tüm özelliklerini ve dizi özelliklerinin ilk 100 öğesini (görevler, job_clusters, job_parameters ve repair_history) döndürür. Daha fazla sonuç olup olmadığını denetlemek ve değerini sonraki isteklerde page_token olarak geçirmek için next_page_token alanını kullanın. Dizi özelliklerinin 100'den fazla öğesi varsa, sonraki isteklerde ek sonuçlar döndürülür. Ek sonuç içermeyen diziler sonraki sayfalarda boş olacaktır.

Parametreler

Name Anahtar Gerekli Tür Description
Çalıştırma Kimliği
run_id True integer

Meta verilerin alınabileceği çalıştırmanın kurallı tanımlayıcısı. Bu alan gereklidir.

Ekleme Geçmişi
include_history boolean

Yanıta onarım geçmişinin eklenip eklenmeyeceği.

Çözümlenen Değerleri Ekle
include_resolved_values boolean

Çözümlenen parametre değerlerinin yanıta eklenip eklenmeyeceği.

Sayfa Belirteci
page_token string

Çalıştırmanın dizi özelliklerinin sonraki sayfasını istemek için önceki GetRun yanıtından döndürülen next_page_token kullanın.

Döndürülenler

Body
JobsRun

Tek bir çalıştırmanın çıkışını alma

Tek bir görev çalıştırmasının çıktısını ve meta verilerini alın. Bir not defteri görevi dbutils.notebook.exit() çağrısı aracılığıyla bir değer döndürdüğünde, bu değeri almak için bu uç noktayı kullanabilirsiniz. Azure Databricks, bu API'yi çıkışın ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz. Bu uç nokta , run_id parametresinin geçerli olduğunu doğrular ve run_id parametresi geçersizse 400 HTTP durum kodunu döndürür. Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir.

Parametreler

Name Anahtar Gerekli Tür Description
Çalıştırma Kimliği
run_id True integer

Çalıştırmanın kurallı tanımlayıcısı.

Döndürülenler

Yeni bir iş çalıştırması tetikleme

Bir iş çalıştırın ve tetiklenen çalıştırmanın run_id döndürür.

Parametreler

Name Anahtar Gerekli Tür Description
idempotency_token
idempotency_token string

İş çalıştırma isteklerinin eşzamanlılığını garanti etmek için isteğe bağlı bir belirteç. Sağlanan belirteçle bir çalıştırma zaten varsa, istek yeni bir çalıştırma oluşturmaz ancak bunun yerine var olan çalıştırmanın kimliğini döndürür. Sağlanan belirteçle bir çalıştırma silinirse bir hata döndürülür. Bir kez etkililik belirtecini belirtirseniz, hata durumunda istek başarılı olana kadar yeniden deneyebilirsiniz. Azure Databricks, tam olarak bir çalıştırmanın bu bir kez etkililik belirteci ile başlatıldığını garanti eder. Bu belirtecin en fazla 64 karakteri olmalıdır. Daha fazla bilgi için bkz. İşler için eşzamanlılık sağlama.

job_id
job_id True integer

Yürütülecek işin kimliği

job_parameters
job_parameters object

Çalıştırmada kullanılan iş düzeyi parametreleri. örneğin "param": "overriding_val"

sadece
only array of string

İşin içinde çalıştırılacak görev anahtarlarının listesi. Bu alan sağlanmazsa, işteki tüm görevler çalıştırılır.

performance_target
performance_target string
full_refresh
full_refresh boolean

True ise, delta live tablosunda tam yenileme tetikler.

enabled
enabled True boolean

Doğruysa, iş için kuyruğa alma özelliğini etkinleştirin. Bu alanın doldurulması zorunludur.

Döndürülenler

Çalıştırmayı iptal etme

bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Çalıştırma zaman uyumsuz olarak iptal edilir, bu nedenle bu istek tamamlandığında hala çalışıyor olabilir.

Parametreler

Name Anahtar Gerekli Tür Description
run_id
run_id True integer

Bu alan gereklidir.

Öbek dizinine göre sonuç alma

Deyimi yürütme BAŞARILI olduktan sonra, bu istek dizine göre herhangi bir öbek getirmek için kullanılabilir.

Parametreler

Name Anahtar Gerekli Tür Description
Deyim Kimliği
statement_id True string

Deyim Kimliği

Öbek dizini
chunk_index True string

Öbek dizini

Döndürülenler

Tanımlar

Nesne

SqlBaseChunkInfo

Sonuç kümesi öbekleri için meta veriler

Name Yol Tür Description
byte_count
byte_count integer

Sonuç öbeklerindeki bayt sayısı

chunk_index
chunk_index integer

Sonuç kümesi öbekleri dizisindeki konum

row_count
row_count integer

Sonuç öbeklerindeki satır sayısı

row_offset
row_offset integer

Sonuç kümesinde başlangıç satırı uzaklığı

SqlColumnInfo

Name Yol Tür Description
name
name string

Sütun adı

konum
position integer

Sütun konumu (0 tabanlı)

type_interval_type
type_interval_type string

Aralık türü biçimi

type_name
type_name SqlColumnInfoTypeName

Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez.

type_precision
type_precision integer

ONDALıK türü için basamak sayısı

type_scale
type_scale integer

ONDALıK türü için ondalık basamak sayısı

type_text
type_text string

Tam SQL türü belirtimi

SqlColumnInfoTypeName

Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez.

Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez.

SqlStatementResponse

Deyim yürütme yanıtı

Name Yol Tür Description
manifesto
manifest SqlResultManifest

Sonuç kümesi şeması ve meta verileri

sonuç
result SqlResultData
statement_id
statement_id string

Deyim Kimliği

statü
status SqlStatementStatus

Deyim yürütme durumu

SqlResultManifest

Sonuç kümesi şeması ve meta verileri

Name Yol Tür Description
öbekler
chunks array of SqlBaseChunkInfo

Sonuç öbek meta verileri

format
format string
şema
schema SqlResultSchema

Sonuç kümesi sütun tanımları

total_byte_count
total_byte_count integer

Sonuç kümesindeki toplam bayt sayısı

total_chunk_count
total_chunk_count integer

Toplam öbek sayısı

total_row_count
total_row_count integer

Toplam satır sayısı

Kesilmiş
truncated boolean

Sonuç kesme durumu

SqlStatementStatus

Deyim yürütme durumu

Name Yol Tür Description
hata
error SqlServiceError
state
state SqlStatementState

Deyim yürütme durumu

SqlStatementState

Deyim yürütme durumu

Deyim yürütme durumu

SqlServiceError

Name Yol Tür Description
error_code
error_code string
message
message string

Hata mesajı

SqlResultSchema

Sonuç kümesi sütun tanımları

Name Yol Tür Description
column_count
column_count integer
columns
columns array of SqlColumnInfo

SqlResultData

Name Yol Tür Description
byte_count
byte_count integer

Sonuç öbekteki bayt sayısı

chunk_index
chunk_index integer

Öbek konumu

data_array
data_array SqlJsonArray

Dize değerlerine sahip dizi dizisi

external_links
external_links array of SqlExternalLink
next_chunk_index
next_chunk_index integer

Sonraki öbek dizini

next_chunk_internal_link
next_chunk_internal_link string

Sonraki öbek bağlantısı

row_count
row_count integer

Öbekteki satırlar

row_offset
row_offset integer

Başlangıç satırı uzaklığı

SqlJsonArray

Dize değerlerine sahip dizi dizisi

Name Yol Tür Description
Eşya
array of
Name Yol Tür Description
byte_count
byte_count integer

Öbekteki bayt sayısı

chunk_index
chunk_index integer

Öbek konumu

Sona erme
expiration date-time

Bağlantı süre sonu süresi

external_link
external_link string
http_headers
http_headers object

Gerekli HTTP üst bilgileri

next_chunk_index
next_chunk_index integer

Sonraki öbek dizini

next_chunk_internal_link
next_chunk_internal_link string

Sonraki öbek bağlantısı

row_count
row_count integer

Öbekteki satırlar

row_offset
row_offset integer

Başlangıç satırı uzaklığı

İşlerRunNowResponse

Name Yol Tür Description
run_id
run_id integer

Yeni tetiklenen çalıştırmanın genel benzersiz kimliği.

İşlerPerformanceTarget

İşlerPipelineParams

Name Yol Tür Description
full_refresh
full_refresh boolean

True ise, delta live tablosunda tam yenileme tetikler.

JobsQueueSettings

Name Yol Tür Description
enabled
enabled boolean

Doğruysa, iş için kuyruğa alma özelliğini etkinleştirin. Bu alanın doldurulması zorunludur.

JobsListJobsResponse

Name Yol Tür Description
jobs
jobs array of JobsBaseJob

İş listesi. Yalnızca listelenmek üzere işler varsa yanıta dahil edilir.

next_page_token
next_page_token string

İşlerin sonraki sayfasını listelemek için kullanılabilecek bir belirteç (varsa).

prev_page_token
prev_page_token string

Önceki iş sayfasını listelemek için kullanılabilecek bir belirteç (varsa).

JobsBaseJob

Name Yol Tür Description
created_time
created_time integer

Bu işin dönem milisaniye cinsinden oluşturulduğu saat (1/1/1970 UTC'den bu yana milisaniye).

creator_user_name
creator_user_name string

Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir.

effective_budget_policy_id
effective_budget_policy_id uuid

Maliyet atfı amacıyla bu iş tarafından kullanılan bütçe ilkesinin kimliği. Bu ayardan geçilebilir (öncelik sırasına göre): 1. Hesap veya çalışma alanı konsolu 2 aracılığıyla bütçe yöneticileri. budget_policy_id 3 kullanan iş ayrıntıları sayfasındaki ve İşler API'sindeki işler kullanıcı arabirimi. İş oluşturma veya değiştirme işleminde run_as kimliğinin erişilebilir bütçe ilkeleri temel alınarak varsayılan olarak çıkarılır.

daha_fazla
has_more boolean

İşin gösterilmeyen daha fazla dizi özelliğine (görevler, job_clusters) sahip olup olmadığını gösterir. Bunlara :method:jobs/get uç noktası üzerinden erişilebilir. Yalnızca expand_tasks=true olan API 2.2 :method:jobs/list istekleri için geçerlidir.

job_id
job_id integer

Bu işin kurallı tanımlayıcısı.

settings
settings JobsJobSettings
trigger_state
trigger_state JobsTriggerStateProto

jobsjobsettings

Name Yol Tür Description
budget_policy_id
budget_policy_id uuid

Bu iş için kullanılacak kullanıcı tarafından belirtilen bütçe ilkesinin kimliği. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz. effective_budget_policy_id.

devamlı
continuous JobsContinuous
Dağıtım
deployment JobsJobDeployment
açıklama
description string

İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir.

edit_mode
edit_mode JobsJobEditMode
email_notifications
email_notifications JobsJobEmailNotifications
environments
environments array of JobsJobEnvironment

Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir.

git_source
git_source JobsGitSource
Sağlık
health JobsJobsHealthRules
job_clusters
job_clusters array of JobsJobCluster

Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.

max_concurrent_runs
max_concurrent_runs integer

Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. Bu, örneğin işinizi sık sık tetikleyip ardışık çalıştırmaların birbiriyle çakışmasına izin vermek veya giriş parametrelerine göre farklı birden çok çalıştırma tetiklemeniz durumunda yararlı olur. Bu ayar yalnızca yeni çalıştırmaları etkiler. Örneğin, işin eşzamanlılığının 4 olduğunu ve 4 eşzamanlı etkin çalıştırma olduğunu varsayalım. Ardından eşzamanlılık 3 olarak ayarlıysa etkin çalıştırmaların hiçbiri sonlandırılamaz. Ancak, bundan sonra, 3'ten az etkin çalıştırma olmadığı sürece yeni çalıştırmalar atlanır. Bu değer 1000'i aşamaz. Bu değerin 0 olarak ayarlanması tüm yeni çalıştırmaların atlanmasına neden olur.

name
name string

İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır.

notification_settings
notification_settings JobsJobNotificationSettings
parameters
parameters array of JobsJobParameterDefinition

İş düzeyi parametre tanımları

performance_target
performance_target JobsPerformanceTarget
queue
queue JobsQueueSettings
run_as
run_as JobsJobRunAs
program
schedule JobsCronSchedule
tags
tags object

İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir.

tasks
tasks array of JobsTask

Bu işin gerçekleştireceği görev tanımlarının listesi. Yazma uç noktalarındaki en fazla 1000 öğeyi destekler (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Okuma uç noktaları yalnızca 100 görev döndürür. 100'den fazla görev varsa, :method:jobs/get komutunu kullanarak bunları sayfalandırabilirsiniz. Daha fazla sonuç olup olmadığını belirlemek için nesne kökündeki next_page_token alanını kullanın.

timeout_seconds
timeout_seconds integer

Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir.

trigger
trigger JobsTriggerSettings
webhook_notifications
webhook_notifications JobsWebhookNotifications

İşlerContinuous

Name Yol Tür Description
pause_status
pause_status JobsPauseStatus

İşlerPauseStatus

İşlerJobDeployment

Name Yol Tür Description
tür
kind JobsJobDeploymentKind
metadata_file_path
metadata_file_path string

Dağıtım meta verilerini içeren dosyanın yolu.

İşlerJobDeploymentKind

İşlerJobEditMode

JobsJobEmailNotifications

Name Yol Tür Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında bildirilecek e-posta adreslerinin listesi. İşin sistem durumu alanında RUN_DURATION_SECONDS ölçümü için hiçbir kural belirtilmezse bildirimler gönderilmez.

on_failure
on_failure array of string

Bir çalıştırma başarısız olduğunda bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın bir INTERNAL_ERROR life_cycle_state veya BAŞARISIZ veya TIMED_OUT result_state ile sona ermesi durumunda başarısız bir şekilde tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez.

on_start
on_start array of string

Çalıştırma başladığında bildirilecek e-posta adreslerinin listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur.

on_success
on_success array of string

Bir çalıştırma başarıyla tamamlandığında bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın sonlandırılan life_cycle_state ve SUCCESS result_state ile bitmesi durumunda başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez.

jobsjobEnvironment

Name Yol Tür Description
environment_key
environment_key string

Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır.

Spec
spec ComputeEnvironment

ComputeEnvironment

Name Yol Tür Description
bağımlılıklar
dependencies array of string

Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık, başına https://pip.pypa.io/en/stable/reference/requirements-file-format/geçerli bir pip gereksinimleri dosya satırıdır. İzin verilen bağımlılıklar gereksinim tanımlayıcısı, arşiv URL'si, yerel proje yolu (Azure Databricks'teki WSFS veya UC Birimleri gibi) veya bir VCS proje URL'si içerir.

environment_version
environment_version string

Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve python paketleri kümesiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir. Bkz. https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions.

İşlerGitSource

Name Yol Tür Description
git_branch
git_branch string

Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan git_tag veya git_commit ile birlikte belirtilemez.

git_commit
git_commit string

Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan git_branch veya git_tag ile birlikte belirtilemez.

git_provider
git_provider JobsGitProvider
git_snapshot
git_snapshot JobsGitSnapshot
git_tag
git_tag string

Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan git_branch veya git_commit ile birlikte belirtilemez.

git_url
git_url string

Bu iş tarafından kopyalanacak deponun URL'si.

İşlerGitProvider

İşlerGitSnapshot

Name Yol Tür Description
used_commit
used_commit string

Çalıştırmayı yürütmek için kullanılan işleme. git_branch belirtilirse, bu, çalıştırma sırasında dalın BAŞI'na işaret eder; git_tag belirtilirse bu, etiketin işaret olduğu işlemeye işaret eder.

İşlerİşlerHealthRules

Name Yol Tür Description
kurallar
rules array of JobsJobsHealthRule

İşlerİşlerHealthRule

Name Yol Tür Description
metric
metric JobsJobsHealthMetric
Op
op JobsJobsHealthOperator
value
value integer

Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir.

İşlerİşlerHealthMetric

JobsJobsHealthOperator

İşlerjobCluster

Name Yol Tür Description
job_cluster_key
job_cluster_key string

İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır. JobTaskSettings, görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir.

new_cluster
new_cluster ComputeClusterSpec

ComputeClusterSpec

Name Yol Tür Description
apply_policy_default_values
apply_policy_default_values boolean

true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır.

autoscale
autoscale ComputeAutoScale
autotermination_minutes
autotermination_minutes integer

Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir.

azure_attributes
azure_attributes ComputeAzureAttributes
cluster_log_conf
cluster_log_conf ComputeClusterLogConf
küme_adı
cluster_name string

Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur. İş kümeleri için, küme adı iş ve iş çalıştırma kimliklerine göre otomatik olarak ayarlanır.

custom_tags
custom_tags object

Küme kaynakları için ek etiketler. Azure Databricks, default_tags ek olarak tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bu etiketlerle etiketleyecektir. Notlar: - Şu anda Azure Databricks en fazla 45 özel etikete izin verir - Kümeler yalnızca kaynakların etiketleri küme etiketlerinin bir alt kümesiyse bulut kaynaklarını yeniden kullanabilir

data_security_mode
data_security_mode ComputeDataSecurityMode
docker_image
docker_image ComputeDockerImage
driver_instance_pool_id
driver_instance_pool_id string

Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz grubu (instance_pool_id) kimlikli örnek havuzunu kullanır.

driver_node_type_id
driver_node_type_id string

Spark sürücüsünün düğüm türü. Bu alanın isteğe bağlı olduğunu unutmayın; ayarlanmamışsa, sürücü düğümü türü yukarıda tanımlanan node_type_id ile aynı değer olarak ayarlanır. virtual_cluster_size ayarlandıysa, node_type_id ile birlikte bu alan ayarlanmamalıdır. Driver_node_type_id, node_type_id ve virtual_cluster_size belirtilirse, driver_node_type_id ve node_type_id öncelik kazanır.

enable_elastic_disk
enable_elastic_disk boolean

Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın.

enable_local_disk_encryption
enable_local_disk_encryption boolean

Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği

init_scripts
init_scripts array of ComputeInitScriptInfo

Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. cluster_log_conf belirtilirse, init betik günlükleri destination</cluster-ID>/<init_scripts adresine gönderilir>.

instance_pool_id
instance_pool_id string

Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.

is_single_node
is_single_node boolean

Bu alan yalnızca kind = CLASSIC_PREVIEW olduğunda kullanılabilir. True olarak ayarlandığında, Azure Databricks custom_tags, spark_conf ve num_workers ilgili tek düğümü otomatik olarak ayarlar

tür
kind ComputeKind
node_type_id
node_type_id string

Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi :method:clusters/listNodeTypes API çağrısı kullanılarak alınabilir.

num_workers
num_workers integer

Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır. Not: Bir kümenin özelliklerini okurken, bu alan gerçek geçerli çalışan sayısı yerine istenen çalışan sayısını yansıtır. Örneğin, bir küme 5 ila 10 çalışandan yeniden boyutlandırılırsa, bu alan hemen 10 çalışanın hedef boyutunu yansıtacak şekilde güncelleştirilir, ancak spark_info listelenen çalışanlar yeni düğümler sağlandıkça kademeli olarak 5'ten 10'a çıkar.

policy_id
policy_id string

Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.

runtime_engine
runtime_engine ComputeRuntimeEngine
single_user_name
single_user_name string

data_security_mode SINGLE_USER tek kullanıcı adı

spark_conf
spark_conf object

İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca sırasıyla spark.driver.extraJavaOptions ve spark.executor.extraJavaOptions aracılığıyla sürücüye ve yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.

spark_env_vars
spark_env_vars object

İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne. Sürücünün ve çalışanların başlatılması sırasında formun anahtar-değer çiftinin (X,Y) olduğu gibi dışarı aktarılacağını (yani X='Y'yi dışarı aktarın) unutmayın. Ek bir SPARK_DAEMON_JAVA_OPTS kümesi belirtmek için, bunları aşağıdaki örnekte gösterildiği gibi $SPARK_DAEMON_JAVA_OPTS'ye eklemenizi öneririz. Bu, databricks tarafından yönetilen tüm ortam değişkenlerinin de eklenmesini sağlar. Örnek Spark ortam değişkenleri: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} veya {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}

spark_version
spark_version string

Kümenin Spark sürümü, örneğin 3.3.x-scala2.11. Kullanılabilir Spark sürümlerinin listesi :method:clusters/sparkVersions API çağrısı kullanılarak alınabilir.

ssh_public_keys
ssh_public_keys array of string

Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, 2200 numaralı bağlantı noktasında ubuntu kullanıcı adıyla oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir.

use_ml_runtime
use_ml_runtime boolean

Bu alan yalnızca kind = CLASSIC_PREVIEW olduğunda kullanılabilir. effective_spark_version spark_version (DBR sürümü), bu alan use_ml_runtime ve node_type_id gpu düğümü olup olmadığıyla belirlenir.

workload_type
workload_type ComputeWorkloadType

ComputeAutoScale

Name Yol Tür Description
max_workers
max_workers integer

Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle min_workers büyük olması gerektiğini unutmayın.

min_workers
min_workers integer

Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır.

ComputeAzureAttributes

Name Yol Tür Description
availability
availability ComputeAzureAvailability
first_on_demand
first_on_demand integer

Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer 0'dan büyük olmalıdır. Bu değer geçerli küme boyutundan büyük veya buna eşitse, tüm düğümler isteğe bağlı örneklere yerleştirilir. Bu değer geçerli küme boyutundan küçükse, first_on_demand düğümler isteğe bağlı örneklere, kalan düğüm ise kullanılabilirlik örneklerine yerleştirilir. Bu değerin küme boyutunu etkilemediğini ve şu anda bir kümenin ömrü boyunca kapatılamayacağını unutmayın.

log_analytics_info
log_analytics_info ComputeLogAnalyticsInfo
spot_bid_max_price
spot_bid_max_price double

Azure spot örnekleri için kullanılacak maksimum teklif fiyatı. Teklif için En yüksek fiyat, örneğin isteğe bağlı fiyatından yüksek olamaz. Belirtilmezse, varsayılan değer -1'dir. Bu değer, örneğin fiyat temelinde ve yalnızca kullanılabilirlik temelinde çıkarılamayacağını belirtir. Ayrıca, değer 0 veya -1 olmalıdır > .

İşlemAzureAvailability

ComputeLogAnalyticsInfo

Name Yol Tür Description
log_analytics_primary_key
log_analytics_primary_key string
log_analytics_workspace_id
log_analytics_workspace_id string

ComputeClusterLogConf

Name Yol Tür Description
dbfs
dbfs ComputeDbfsStorageInfo
volumes
volumes ComputeVolumesStorageInfo

ComputeDbfsStorageInfo

Name Yol Tür Description
destination
destination string

dbfs hedefi, örneğin dbfs:/my/path

ComputeVolumesStorageInfo

Name Yol Tür Description
destination
destination string

UC Birimleri hedefi, örneğin /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh veya dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh

ComputeDataSecurityMode

ComputeDockerImage

Name Yol Tür Description
basic_auth
basic_auth ComputeDockerBasicAuth
url
url string

Docker görüntüsünün URL'si.

ComputeDockerBasicAuth

Name Yol Tür Description
şifre
password string

Kullanıcının parolası

kullanıcı adı
username string

Kullanıcının adı

ComputeInitScriptInfo

Name Yol Tür Description
abfss
abfss ComputeAdlsgen2Info
file
file ComputeLocalFileInfo
Gcs
gcs ComputeGcsStorageInfo
volumes
volumes ComputeVolumesStorageInfo
workspace
workspace ComputeWorkspaceStorageInfo

ComputeAdlsgen2Info

Name Yol Tür Description
destination
destination string

abfss hedefi, örneğin abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>.

ComputeLocalFileInfo

Name Yol Tür Description
destination
destination string

yerel dosya hedefi, örneğin dosya:/my/local/file.sh

ComputeGcsStorageInfo

Name Yol Tür Description
destination
destination string

GCS hedefi/URI'sı, örneğin gs://my-bucket/some-prefix

ComputeWorkspaceStorageInfo

Name Yol Tür Description
destination
destination string

wsfs hedefi, örneğin çalışma alanı:/cluster-init-scripts/setup-datadog.sh

ComputeKind

ComputeRuntimeEngine

ComputeWorkloadType

Name Yol Tür Description
clients
clients ComputeClientsTypes

ComputeClientsTypes

Name Yol Tür Description
jobs
jobs boolean

İşler ayarlandığında, küme işler için kullanılabilir

Dizüstü
notebooks boolean

Not defterleri ayarlandığında, bu küme not defterleri için kullanılabilir

JobsJobNotificationSettings

Name Yol Tür Description
no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

True ise, çalıştırma iptal edilirse on_failure'de belirtilen alıcılara bildirim göndermeyin.

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

True ise, çalıştırma atlanırsa on_failure'de belirtilen alıcılara bildirim göndermeyin.

İşlerJobParameterDefinition

Name Yol Tür Description
default
default string

Parametrenin varsayılan değeri.

name
name string

Tanımlanan parametrenin adı. Yalnızca _, -ve alfasayısal karakterler içerebilir.

jobsjobrunas

Name Yol Tür Description
service_principal_name
service_principal_name string

Etkin hizmet sorumlusunun uygulama kimliği. Bu alanın ayarlanması için servicePrincipal/user rolü gerekir.

user_name
user_name string

Etkin çalışma alanı kullanıcısının e-posta adresi. Yönetici olmayan kullanıcılar bu alanı yalnızca kendi e-postalarına ayarlayabilir.

İşlerCronSchedule

Name Yol Tür Description
pause_status
pause_status JobsPauseStatus
quartz_cron_expression
quartz_cron_expression string

Bir işin zamanlamasını açıklayan Quartz söz dizimini kullanan cron ifadesi. Ayrıntılar için bkz . Cron Tetikleyicisi . Bu alan gereklidir.

timezone_id
timezone_id string

Java saat dilimi kimliği. Bir işin zamanlaması bu saat dilimine göre çözümlenir. Ayrıntılar için bkz. Java TimeZone . Bu alan gereklidir.

jobstask

Name Yol Tür Description
clean_rooms_notebook_task
clean_rooms_notebook_task Object
condition_task
condition_task JobsConditionTask
dashboard_task
dashboard_task JobsDashboardTask
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

Görevin bağımlılık grafiğini belirten isteğe bağlı bir nesne dizisi. Bu görevi yürütmeden önce bu alanda belirtilen tüm görevlerin tamamlanması gerekir. Görev yalnızca run_if koşulu true olduğunda çalışır. Anahtar task_key ve değer bağımlı göreve atanan addır.

açıklama
description string

Bu görev için isteğe bağlı bir açıklama.

disable_auto_optimization
disable_auto_optimization boolean

Sunucusuz olarak otomatik iyileştirmeyi devre dışı bırakma seçeneği

email_notifications
email_notifications JobsTaskEmailNotifications
environment_key
environment_key string

bir işteki ortam belirtimlerine başvuran anahtar. Bu alan, sunucusuz işlem kullanılırken Python betiği, Python tekerleği ve dbt görevleri için gereklidir.

existing_cluster_id
existing_cluster_id string

existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz

for_each_task
for_each_task JobsForEachTask
Sağlık
health JobsJobsHealthRules
job_cluster_key
job_cluster_key string

job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür.

libraries
libraries array of ComputeLibrary

Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir.

max_retries
max_retries integer

Başarısız bir çalıştırmayı yeniden denemenin isteğe bağlı en fazla sayısı. BAŞARıSıZ result_state veya INTERNAL_ERROR life_cycle_state ile tamamlanan bir çalıştırmanın başarısız olduğu kabul edilir. -1 değeri süresiz olarak yeniden deneme anlamına gelir ve 0 değeri hiçbir zaman yeniden deneme anlamına gelir.

min_retry_interval_millis
min_retry_interval_millis integer

Başarısız çalıştırmanın başlangıcı ile sonraki yeniden deneme çalıştırması arasında milisaniye cinsinden isteğe bağlı en düşük aralık. Varsayılan davranış başarısız çalıştırmaların hemen yeniden denenmiş olmasıdır.

new_cluster
new_cluster ComputeClusterSpec
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings JobsTaskNotificationSettings
pipeline_task
pipeline_task JobsPipelineTask
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task JobsPythonWheelTask
retry_on_timeout
retry_on_timeout boolean

Bir işin zaman aşımına uğradıklarında yeniden denenip denenmeyeceğini belirtmek için isteğe bağlı bir ilke. Varsayılan davranış, zaman aşımında yeniden denememektir.

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
spark_jar_task
spark_jar_task JobsSparkJarTask
spark_python_task
spark_python_task JobsSparkPythonTask
spark_submit_task
spark_submit_task JobsSparkSubmitTask
sql_task
sql_task Object
task_key
task_key string

Görev için benzersiz bir ad. Bu alan, bu göreve diğer görevlerden başvurmak için kullanılır. Bu alan gereklidir ve üst işi içinde benzersiz olmalıdır. Güncelleştir veya Sıfırla'da, bu alan güncelleştirilecek veya sıfırlanacak görevlere başvurmak için kullanılır.

timeout_seconds
timeout_seconds integer

Bu iş görevinin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir.

webhook_notifications
webhook_notifications JobsWebhookNotifications

JobsConditionTask

Name Yol Tür Description
sol
left string

Koşul görevinin sol işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir.

Op
op JobsConditionTaskOp
Sağ
right string

Koşul görevinin sağ işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir.

JobsConditionTaskOp

İşlerDashboardTask

Name Yol Tür Description
dashboard_id
dashboard_id string

Yenilenecek panonun tanımlayıcısı.

subscription
subscription JobsSubscription
warehouse_id
warehouse_id string

İsteğe bağlı: Zamanlamaya ilişkin panonun yürütülecek ambar kimliği. Belirtilmezse, panonun varsayılan ambarı kullanılır.

İşlerAbonelik

Name Yol Tür Description
custom_subject
custom_subject string

İsteğe bağlı: Kullanıcıların abonelere gönderilen e-postada özel bir konu satırı belirtmesine izin verir.

Duraklatıldı
paused boolean

Doğru olduğunda abonelik e-posta göndermez.

Abone
subscribers array of JobsSubscriptionSubscriber

Panonun anlık görüntüsünü gönderecek abonelerin listesi.

JobsSubscriptionSubscriber

Name Yol Tür Description
destination_id
destination_id string

destination_id alanı mevcut olduğunda panonun anlık görüntüsü hedefe gönderilir.

user_name
user_name string

panonun anlık görüntüsü, user_name alanı mevcut olduğunda kullanıcının e-postasına gönderilir.

İşlerKaynak

İşlerTaskDependency

Name Yol Tür Description
sonuç
outcome string

Yalnızca koşul görev bağımlılıklarında belirtilebilir. Bu görevin çalışması için karşılanması gereken bağımlı görevin sonucu.

task_key
task_key string

Bu görevin bağlı olduğu görevin adı.

İşlerTaskEmailNotifications

Name Yol Tür Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of string

Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında bildirilecek e-posta adreslerinin listesi. İşin sistem durumu alanında RUN_DURATION_SECONDS ölçümü için hiçbir kural belirtilmezse bildirimler gönderilmez.

on_failure
on_failure array of string

Bir çalıştırma başarısız olduğunda bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın bir INTERNAL_ERROR life_cycle_state veya BAŞARISIZ veya TIMED_OUT result_state ile sona ermesi durumunda başarısız bir şekilde tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez.

on_start
on_start array of string

Çalıştırma başladığında bildirilecek e-posta adreslerinin listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of string

Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur.

on_success
on_success array of string

Bir çalıştırma başarıyla tamamlandığında bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın sonlandırılan life_cycle_state ve SUCCESS result_state ile bitmesi durumunda başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez.

ComputeLibrary

Name Yol Tür Description
Cran
cran ComputeRCranLibrary
kavanoz
jar string

Yüklenecek JAR kitaplığının URI'sini. Desteklenen URI'ler çalışma alanı yolları, Unity Kataloğu Birimleri yolları ve ADLS URL'leridir. Örneğin: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } veya { "jar": "abfss://my-bucket/library.jar" }. ADLS kullanılıyorsa, lütfen kümenin kitaplıkta okuma erişimi olduğundan emin olun. ADLS URI'sine erişmek için kümeyi bir Microsoft Entra ID hizmet sorumlusuyla başlatmanız gerekebilir.

Maven
maven ComputeMavenLibrary
pypi
pypi ComputePythonPyPiLibrary
gereksinimleri
requirements string

Yüklenecek requirements.txt dosyasının URI'sini seçin. Yalnızca Çalışma Alanı yolları ve Unity Kataloğu Birimleri yolları desteklenir. Örneğin: { "requirements": "/Workspace/path/to/requirements.txt" } veya { "requirements" : "/Volumes/path/to/requirements.txt" }

whl
whl string

Yüklenecek tekerlek kitaplığının URI'sini. Desteklenen URI'ler çalışma alanı yolları, Unity Kataloğu Birimleri yolları ve ADLS URL'leridir. Örneğin: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } veya { "whl": "abfss://my-bucket/library.whl" }. ADLS kullanılıyorsa, lütfen kümenin kitaplıkta okuma erişimi olduğundan emin olun. ADLS URI'sine erişmek için kümeyi bir Microsoft Entra ID hizmet sorumlusuyla başlatmanız gerekebilir.

İşlerForEachTask

Name Yol Tür Description
Eşzamanlılık
concurrency integer

görevin isteğe bağlı olarak izin verilen en fazla eşzamanlı çalıştırma sayısı. Görevin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın.

Girişler
inputs string

Görevin yinelenir dizisi. Bu bir JSON dizesi veya dizi parametresi başvurusu olabilir.

görev
task Object

ComputeRCranLibrary

Name Yol Tür Description
paket
package string

Yüklenecek CRAN paketinin adı.

Repo
repo string

Paketin bulunabileceği depo. Belirtilmezse, varsayılan CRAN deposu kullanılır.

ComputeMavenLibrary

Name Yol Tür Description
Koordinat -ları
coordinates string

Gradle stili maven koordinatları. Örneğin: "org.jsoup:jsoup:1.7.2".

Dışlamalar
exclusions array of string

Dışlanması gereken bağımlılıkların listesi. Örneğin: ["slf4j:slf4j", "*:hadoop-client"]. Maven bağımlılık dışlamaları: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

Repo
repo string

Maven paketinin yükleneceği Maven deposu. Atlanırsa, hem Maven Merkezi Deposu hem de Spark Paketleri aranır.

ComputePythonPyPiLibrary

Name Yol Tür Description
paket
package string

Yüklenecek pypi paketinin adı. İsteğe bağlı tam sürüm belirtimi de desteklenir. Örnekler: "simplejson" ve "simplejson==3.8.0".

Repo
repo string

Paketin bulunabileceği depo. Belirtilmezse, varsayılan pip dizini kullanılır.

JobsNotebookTask

Name Yol Tür Description
base_parameters
base_parameters object

Bu işin her çalıştırması için kullanılacak temel parametreler. Çalıştırma, belirtilen parametrelerle :method:jobs/run Now çağrısıyla başlatılırsa, iki parametre eşlemesi birleştirilir. base_parameters ve şimdi çalıştır'da aynı anahtar belirtilirse, şimdi çalıştır'dan alınan değer kullanılır. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın. Not defteri işin base_parameters veya şimdi çalıştır geçersiz kılma parametrelerinde belirtilmeyen bir parametre alırsa, not defterindeki varsayılan değer kullanılır. dbutils.widgets.get kullanarak bu parametreleri not defterinde alın. Bu alanın JSON gösterimi 1 MB'ı aşamaz.

notebook_path
notebook_path string

Azure Databricks çalışma alanında veya uzak depoda çalıştırılacak not defterinin yolu. Azure Databricks çalışma alanında depolanan not defterleri için yol mutlak olmalı ve eğik çizgiyle başlamalıdır. Uzak bir depoda depolanan not defterleri için yolun göreli olması gerekir. Bu alan gereklidir.

kaynak
source JobsSource
warehouse_id
warehouse_id string

not defterini bir SQL ambarı üzerinde çalıştırmak için isteğe bağlı warehouse_id. Klasik SQL ambarları DESTEKLENMEZ, lütfen sunucusuz veya profesyonel SQL ambarları kullanın. SQL ambarlarının yalnızca SQL hücrelerini desteklediğini unutmayın; not defteri SQL olmayan hücreler içeriyorsa çalıştırma başarısız olur.

İşlerTaskNotificationSettings

Name Yol Tür Description
alert_on_last_attempt
alert_on_last_attempt boolean

True ise, yeniden denenen çalıştırmalar için on_start'de belirtilen alıcılara bildirim göndermeyin ve çalıştırmanın son yeniden denemesine kadar on_failure'de belirtilen alıcılara bildirim göndermeyin.

no_alert_for_canceled_runs
no_alert_for_canceled_runs boolean

True ise, çalıştırma iptal edilirse on_failure'de belirtilen alıcılara bildirim göndermeyin.

no_alert_for_skipped_runs
no_alert_for_skipped_runs boolean

True ise, çalıştırma atlanırsa on_failure'de belirtilen alıcılara bildirim göndermeyin.

İşlerPipelineTask

Name Yol Tür Description
full_refresh
full_refresh boolean

True ise, delta live tablosunda tam yenileme tetikler.

pipeline_id
pipeline_id string

Yürütülecek işlem hattı görevinin tam adı.

İşlerPythonWheelTask

Name Yol Tür Description
entry_point
entry_point string

Kullanılacak adlandırılmış giriş noktası, paketin meta verilerinde yoksa işlevi doğrudan $packageName.$entryPoint() kullanarak paketten yürütür

named_parameters
named_parameters object

Komut satırı parametreleri Python tekerlek görevine ["--name=task", "--data=dbfs:/path/to/data.json"] biçiminde geçirilir. Parametreler null değilse boş bırakın.

package_name
package_name string

Yürütülecek paketin adı

parameters
parameters array of string

Komut satırı parametreleri Python tekerlek görevine geçirildi. named_parameters null değilse boş bırakın.

İşlerRunIf

İşlerRunJobTask

Name Yol Tür Description
job_id
job_id integer

Tetikleme işinin kimliği.

job_parameters
job_parameters object

İşi tetiklemede kullanılan iş düzeyi parametreleri.

pipeline_params
pipeline_params JobsPipelineParams

İşlerSparkJarTask

Name Yol Tür Description
main_class_name
main_class_name string

Yürütülecek ana yöntemi içeren sınıfın tam adı. Bu sınıf, kitaplık olarak sağlanan bir JAR içinde yer almalıdır. Bir Spark bağlamı elde etmek için kodun SparkContext.getOrCreate kullanması gerekir; aksi takdirde, işin çalıştırmaları başarısız olur.

parameters
parameters array of string

Ana yönteme geçirilen parametreler. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın.

İşlerSparkPythonTask

Name Yol Tür Description
parameters
parameters array of string

Komut satırı parametreleri Python dosyasına geçirildi. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın.

python_file
python_file string

Yürütülecek Python dosyası. Bulut dosyası URI'leri (dbfs:/, s3:/, adls:/, gcs:/) ve çalışma alanı yolları desteklenir. Azure Databricks çalışma alanında depolanan python dosyaları için yol mutlak olmalı ve /ile başlamalıdır. Uzak depoda depolanan dosyalar için yol göreli olmalıdır. Bu alan gereklidir.

kaynak
source JobsSource

İşlerSparkSubmitTask

Name Yol Tür Description
parameters
parameters array of string

Spark'a geçirilen komut satırı parametreleri gönderme. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın.

İşlerWebhookNotifications

Name Yol Tür Description
on_duration_warning_threshold_exceeded
on_duration_warning_threshold_exceeded array of JobsWebhook

Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında çağrılacak isteğe bağlı sistem bildirimi kimlikleri listesi. on_duration_warning_threshold_exceeded özelliği için en fazla 3 hedef belirtilebilir.

on_failure
on_failure array of JobsWebhook

Çalıştırma başarısız olduğunda çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_failure özelliği için en fazla 3 hedef belirtilebilir.

on_start
on_start array of JobsWebhook

Çalıştırma başladığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_start özelliği için en fazla 3 hedef belirtilebilir.

on_streaming_backlog_exceeded
on_streaming_backlog_exceeded array of JobsWebhook

Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. on_streaming_backlog_exceeded özelliği için en fazla 3 hedef belirtilebilir.

on_success
on_success array of JobsWebhook

Çalıştırma başarıyla tamamlandığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_success özelliği için en fazla 3 hedef belirtilebilir.

İşlerWebhook

Name Yol Tür Description
kimlik
id string

JobsTriggerSettings

Name Yol Tür Description
file_arrival
file_arrival JobsFileArrivalTriggerConfiguration
pause_status
pause_status JobsPauseStatus
Periyodik
periodic JobsPeriodicTriggerConfiguration

JobsFileArrivalTriggerConfiguration

Name Yol Tür Description
min_time_between_triggers_seconds
min_time_between_triggers_seconds integer

Ayarlanırsa, tetikleyici yalnızca tetikleyicinin son tetiklendiğinden bu yana belirtilen süre geçtikten sonra bir çalıştırma başlatır. İzin verilen en düşük değer 60 saniyedir

url
url string

Dosya gelenler için izlenecek URL. Yol, dış konumun köküne veya alt yoluna işaret etmelidir.

wait_after_last_change_seconds
wait_after_last_change_seconds integer

Ayarlanırsa, tetikleyici yalnızca belirtilen süre boyunca hiçbir dosya etkinliği gerçekleşmedikten sonra bir çalıştırma başlatır. Bu, bir çalıştırmayı tetiklemeden önce bir toplu gelen dosyaların gelmesini beklemeyi mümkün kılar. İzin verilen en düşük değer 60 saniyedir.

JobsPeriodicTriggerConfiguration

Name Yol Tür Description
interval
interval integer

Tetikleyicinin çalıştırılması gereken aralık.

birim
unit JobsPeriodicTriggerConfigurationTimeUnit

JobsPeriodicTriggerConfigurationTimeUnit

İşlerTriggerStateProto

Name Yol Tür Description
file_arrival
file_arrival JobsFileArrivalTriggerState

JobsFileArrivalTriggerState

Name Yol Tür Description
using_file_events
using_file_events boolean

Tetikleyicinin dosya gelenleri algılamak için dosya olaylarından yararlanıp yararlanmadığını gösterir.

İşler Çalıştır

Name Yol Tür Description
attempt_number
attempt_number integer

Tetiklenen bir iş çalıştırması için bu çalıştırma denemesinin sıra numarası. Çalıştırmanın ilk denemesinde 0 attempt_number vardır. İlk çalıştırma girişimi başarısız olursa ve işin yeniden deneme ilkesi (max_retries > 0) varsa, sonraki çalıştırmalar özgün deneme kimliğinin original_attempt_run_id ve artan bir attempt_number ile oluşturulur. Çalıştırmalar yalnızca başarılı olana kadar yeniden denenür ve en fazla attempt_number iş için max_retries değeriyle aynıdır.

cleanup_duration
cleanup_duration integer

Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için cleanup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

cluster_instance
cluster_instance JobsClusterInstance
cluster_spec
cluster_spec JobsClusterSpec
creator_user_name
creator_user_name string

Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir.

açıklama
description string

Çalıştırmanın açıklaması

effective_performance_target
effective_performance_target JobsPerformanceTarget
bitiş_zamanı
end_time integer

Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır.

execution_duration
execution_duration integer

Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için execution_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

git_source
git_source JobsGitSource
daha_fazla
has_more boolean

Çalıştırmanın gösterilmeyen daha fazla dizi özelliğine (görevler, job_clusters) sahip olup olmadığını gösterir. Bunlara :method:jobs/getrun uç noktası üzerinden erişilebilir. Yalnızca expand_tasks=true ile API 2.2 :method:jobs/listruns istekleri için geçerlidir.

job_clusters
job_clusters array of JobsJobCluster

Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir. 100'den fazla iş kümesi varsa,:method:jobs/getrun kullanarak bunlar arasında sayfalandırabilirsiniz.

job_id
job_id integer

Bu çalıştırmayı içeren işin kurallı tanımlayıcısı.

job_parameters
job_parameters array of JobsJobParameter

Çalıştırmada kullanılan iş düzeyi parametreleri

job_run_id
job_run_id integer

Bu çalıştırmanın ait olduğu iş çalıştırmasının kimliği. Eski ve tek görevli iş çalıştırmaları için, alan iş çalıştırma kimliğiyle doldurulur. Görev çalıştırmaları için, alan görev çalıştırmasının ait olduğu iş çalıştırmasının kimliğiyle doldurulur.

next_page_token
next_page_token string

Dizi özelliklerinin sonraki sayfasını listelemek için kullanılabilecek bir belirteç.

original_attempt_run_id
original_attempt_run_id integer

Bu çalıştırma önceki bir çalıştırma denemesinin yeniden denemesiyse, bu alan özgün denemenin run_id içerir; aksi takdirde, run_id aynıdır.

overriding_parameters
overriding_parameters JobsRunParameters
queue_duration
queue_duration integer

Çalıştırmanın kuyrukta harcadığı milisaniye cinsinden süre.

repair_history
repair_history array of JobsRepairHistoryItem

Çalıştırmanın onarım geçmişi.

run_duration
run_duration integer

milisaniye cinsinden işin çalıştırılmasını ve tüm onarımlarının bitimini aldı.

run_id
run_id integer

Çalıştırmanın kurallı tanımlayıcısı. Bu kimlik, tüm işlerin tüm çalıştırmaları arasında benzersizdir.

run_name
run_name string

Çalıştırma için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır.

run_page_url
run_page_url string

Çalıştırmanın ayrıntı sayfasının URL'si.

çalışma_türü
run_type JobsRunType
program
schedule JobsCronSchedule
setup_duration
setup_duration integer

Kümeyi ayarlamak için geçen milisaniye cinsinden süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için setup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

başlangıç zamanı
start_time integer

Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır.

statü
status JobsRunStatus
tasks
tasks array of JobsRunTask

Çalıştırma tarafından gerçekleştirilen görevlerin listesi. Her görevin, çalıştırma yinelemelerini almak için JobsGetOutput'u çağırmak için kullanabileceğiniz kendi run_id vardır. 100'den fazla görev varsa, :method:jobs/getrun kullanarak bunları sayfalandırabilirsiniz. Daha fazla sonuç olup olmadığını belirlemek için nesne kökündeki next_page_token alanını kullanın.

trigger
trigger JobsTriggerType
trigger_info
trigger_info JobsTriggerInfo

JobsClusterInstance

Name Yol Tür Description
cluster_id
cluster_id string

Çalıştırma tarafından kullanılan kümenin kurallı tanımlayıcısı. Bu alan, mevcut kümelerdeki çalıştırmalar için her zaman kullanılabilir. Yeni kümelerdeki çalıştırmalar için, küme oluşturulduktan sonra kullanılabilir duruma gelir. Bu değer , /#setting/sparkui/$cluster_id/driver-logs adresine göz atarak günlükleri görüntülemek için kullanılabilir. Çalıştırma tamamlandıktan sonra günlükler kullanılabilir olmaya devam eder. Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez.

spark_context_id
spark_context_id string

Çalıştırma tarafından kullanılan Spark bağlamı için kurallı tanımlayıcı. Çalıştırma yürütülmeye başladıktan sonra bu alan doldurulur. Bu değer, /#setting/sparkui/$cluster_id/$spark_context_id adresine göz atarak Spark kullanıcı arabirimini görüntülemek için kullanılabilir. Spark kullanıcı arabirimi, çalıştırma tamamlandıktan sonra kullanılabilir olmaya devam eder. Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez.

JobsClusterSpec

Name Yol Tür Description
existing_cluster_id
existing_cluster_id string

existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz

job_cluster_key
job_cluster_key string

job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür.

libraries
libraries array of ComputeLibrary

Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir.

new_cluster
new_cluster ComputeClusterSpec

İşlerJobParameter

Name Yol Tür Description
default
default string

parametresinin isteğe bağlı varsayılan değeri

name
name string

Parametrenin adı

value
value string

Çalıştırmada kullanılan değer

İşlerRunParameters

Name Yol Tür Description
pipeline_params
pipeline_params JobsPipelineParams

İşlerRepairHistoryItem

Name Yol Tür Description
effective_performance_target
effective_performance_target JobsPerformanceTarget
bitiş_zamanı
end_time integer

(Onarıldı) çalıştırmasının bitiş saati.

kimlik
id integer

Onarımın kimliği. Yalnızca repair_history bir onarımı temsil eden öğeler için döndürülür.

başlangıç zamanı
start_time integer

(Onarıldı) çalıştırmasının başlangıç saati.

statü
status JobsRunStatus
task_run_ids
task_run_ids array of integer

Görevin çalıştırma kimlikleri, bu onarım geçmişi öğesinin bir parçası olarak çalıştırılan çalışır.

type
type JobsRepairHistoryItemType

İşlerRunStatus

Name Yol Tür Description
queue_details
queue_details JobsQueueDetails
state
state JobsRunLifecycleStateV2State
termination_details
termination_details JobsTerminationDetails

JobsQueueDetails

Name Yol Tür Description
kod
code JobsQueueDetailsCodeCode
message
message string

Kuyruğa alma ayrıntılarını içeren açıklayıcı bir ileti. Bu alan yapılandırılmamış ve tam biçimi değiştirilebilir.

JobsQueueDetailsCodeCode

İşlerRunLifecycleStateV2State

JobsTerminationDetails

Name Yol Tür Description
kod
code JobsTerminationCodeCode
message
message string

Sonlandırma ayrıntılarını içeren açıklayıcı bir ileti. Bu alan yapılandırılmamış ve biçim değişebilir.

type
type JobsTerminationTypeType

JobsTerminationCodeCode

JobsTerminationTypeType

İşlerRepairHistoryItemType

İşlerRunType

İşlerRunTask

Name Yol Tür Description
attempt_number
attempt_number integer

Tetiklenen bir iş çalıştırması için bu çalıştırma denemesinin sıra numarası. Çalıştırmanın ilk denemesinde 0 attempt_number vardır. İlk çalıştırma girişimi başarısız olursa ve işin yeniden deneme ilkesi (max_retries > 0) varsa, sonraki çalıştırmalar özgün deneme kimliğinin original_attempt_run_id ve artan bir attempt_number ile oluşturulur. Çalıştırmalar yalnızca başarılı olana kadar yeniden denenür ve en fazla attempt_number iş için max_retries değeriyle aynıdır.

clean_rooms_notebook_task
clean_rooms_notebook_task Object
cleanup_duration
cleanup_duration integer

Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için cleanup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

cluster_instance
cluster_instance JobsClusterInstance
condition_task
condition_task JobsRunConditionTask
dashboard_task
dashboard_task Object
dbt_task
dbt_task Object
depends_on
depends_on array of JobsTaskDependency

Görevin bağımlılık grafiğini belirten isteğe bağlı bir nesne dizisi. Bu görevi yürütmeden önce bu alanda belirtilen tüm görevlerin başarıyla tamamlanması gerekir. Anahtar task_key ve değer bağımlı göreve atanan addır.

açıklama
description string

Bu görev için isteğe bağlı bir açıklama.

effective_performance_target
effective_performance_target JobsPerformanceTarget
email_notifications
email_notifications JobsJobEmailNotifications
bitiş_zamanı
end_time integer

Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır.

environment_key
environment_key string

bir işteki ortam belirtimlerine başvuran anahtar. Bu alan, sunucusuz işlem kullanılırken Python betiği, Python tekerleği ve dbt görevleri için gereklidir.

execution_duration
execution_duration integer

Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için execution_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

existing_cluster_id
existing_cluster_id string

existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz

for_each_task
for_each_task Object
git_source
git_source JobsGitSource
job_cluster_key
job_cluster_key string

job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür.

libraries
libraries array of Object

Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir.

new_cluster
new_cluster Object
notebook_task
notebook_task JobsNotebookTask
notification_settings
notification_settings Object
pipeline_task
pipeline_task Object
power_bi_task
power_bi_task Object
python_wheel_task
python_wheel_task Object
queue_duration
queue_duration integer

Çalıştırmanın kuyrukta harcadığı milisaniye cinsinden süre.

resolved_values
resolved_values JobsResolvedValues
run_duration
run_duration integer

milisaniye cinsinden işin çalıştırılmasını ve tüm onarımlarının bitimini aldı.

run_id
run_id integer

Görev çalıştırmasının kimliği.

run_if
run_if JobsRunIf
run_job_task
run_job_task JobsRunJobTask
run_page_url
run_page_url string
setup_duration
setup_duration integer

Kümeyi ayarlamak için geçen milisaniye cinsinden süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için setup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir.

spark_jar_task
spark_jar_task Object
spark_python_task
spark_python_task Object
spark_submit_task
spark_submit_task Object
sql_task
sql_task Object
başlangıç zamanı
start_time integer

Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır.

statü
status JobsRunStatus
task_key
task_key string

Görev için benzersiz bir ad. Bu alan, bu göreve diğer görevlerden başvurmak için kullanılır. Bu alan gereklidir ve üst işi içinde benzersiz olmalıdır. Güncelleştir veya Sıfırla'da, bu alan güncelleştirilecek veya sıfırlanacak görevlere başvurmak için kullanılır.

timeout_seconds
timeout_seconds integer

Bu iş görevinin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir.

webhook_notifications
webhook_notifications Object

İşlerRunConditionTask

Name Yol Tür Description
sol
left string

Koşul görevinin sol işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir.

Op
op JobsConditionTaskOp
sonuç
outcome string

Koşul ifadesi değerlendirme sonucu. Görev başarıyla tamamlandıysa doldurulur. "true" veya "false" olabilir

Sağ
right string

Koşul görevinin sağ işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir.

JobsTriggerType

İşlerTriggerInfo

Name Yol Tür Description
run_id
run_id integer

İşi Çalıştır görev çalıştırmasının çalıştırma kimliği

İşlerRunOutput

Name Yol Tür Description
clean_rooms_notebook_output
clean_rooms_notebook_output Object
dashboard_output
dashboard_output Object
dbt_output
dbt_output Object
hata
error string

Görevin neden başarısız olduğunu veya çıkışın neden kullanılamadığını belirten bir hata iletisi. İleti yapılandırılmamış ve tam biçimi değiştirilebilir.

error_trace
error_trace string

Çalıştırma yürütülürken bir hata oluştuysa, bu alan kullanılabilir yığın izlemelerini içerir.

info
info string
logs
logs string

spark_jar_task, spark_python_task python_wheel_task gibi standart akışlara (stdout/stderr) yazan görevlerin çıktısı. notebook_task, pipeline_task veya spark_submit_task için desteklenmez. Azure Databricks bu API'yi bu günlüklerin son 5 MB'ını döndürecek şekilde kısıtlar.

logs_truncated
logs_truncated boolean

Günlüklerin kesilip kesilmediği.

metadata
metadata Object
notebook_output
notebook_output JobsNotebookOutput
run_job_output
run_job_output JobsRunJobOutput
sql_output
sql_output Object

JobsNotebookOutput

Name Yol Tür Description
sonuç
result string

dbutils.notebook.exit() adresine geçirilen değer. Azure Databricks, bu API'yi değerin ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç için işiniz sonuçları bir bulut depolama hizmetinde depolayabilir. dbutils.notebook.exit() hiçbir zaman çağrılmadıysa bu alan yoktur.

Kesilmiş
truncated boolean

Sonucun kesilip kesilmediği.

İşlerRunJobOutput

Name Yol Tür Description
run_id
run_id integer

Tetiklenen iş çalıştırmasının çalıştırma kimliği

jobsResolvedValues

Name Yol Tür Description
condition_task
condition_task JobsResolvedConditionTaskValues
dbt_task
dbt_task JobsResolvedDbtTaskValues
notebook_task
notebook_task JobsResolvedNotebookTaskValues
python_wheel_task
python_wheel_task JobsResolvedPythonWheelTaskValues
run_job_task
run_job_task JobsResolvedRunJobTaskValues
simulation_task
simulation_task JobsResolvedParamPairValues
spark_jar_task
spark_jar_task JobsResolvedStringParamsValues
spark_python_task
spark_python_task JobsResolvedStringParamsValues
spark_submit_task
spark_submit_task JobsResolvedStringParamsValues
sql_task
sql_task JobsResolvedParamPairValues

JobsResolvedConditionTaskValues

Name Yol Tür Description
sol
left string
Sağ
right string

JobsResolvedDbtTaskValues

Name Yol Tür Description
commands
commands array of string

İşlerResolvedNotebookTaskValues

Name Yol Tür Description
base_parameters
base_parameters object

JobsResolvedPythonWheelTaskValues

Name Yol Tür Description
named_parameters
named_parameters object
parameters
parameters array of string

İşlerResolvedRunJobTaskValues

Name Yol Tür Description
job_parameters
job_parameters object
parameters
parameters object

İşlerResolvedParamPairValues

Name Yol Tür Description
parameters
parameters object

İşlerResolvedStringParamsValues

Name Yol Tür Description
parameters
parameters array of string