Azure Databricks
Azure Databricks ölçeklenebilir veri yönetimi, idare ve analiz için birleşik bir platform sunar ve kolaylaştırılmış iş akışlarını farklı veri türlerini verimli bir şekilde işleme özelliğiyle birleştirir
Bu bağlayıcı aşağıdaki ürün ve bölgelerde kullanılabilir:
| Hizmet | Class | Bölgeler |
|---|---|---|
| Copilot Studio | Premium | Aşağıdakiler dışında tüm Power Automate bölgeleri : - ABD Kamu (GCC) - US Government (GCC High) - 21Vianet tarafından işletilen Çin Bulutu - ABD Savunma Bakanlığı (DoD) |
| Power Apps | Premium | Aşağıdakiler dışında tüm Power Apps bölgeleri : - ABD Kamu (GCC) - US Government (GCC High) - 21Vianet tarafından işletilen Çin Bulutu - ABD Savunma Bakanlığı (DoD) |
| Power Automate | Premium | Aşağıdakiler dışında tüm Power Automate bölgeleri : - ABD Kamu (GCC) - US Government (GCC High) - 21Vianet tarafından işletilen Çin Bulutu - ABD Savunma Bakanlığı (DoD) |
| İletişim | |
|---|---|
| İsim | Databricks Desteği |
| URL | https://help.databricks.com |
| E-posta | eng-partner-eco-help@databricks.com |
| Bağlayıcı Meta Verileri | |
|---|---|
| Publisher | Databricks Inc. |
| Web sitesi | https://www.databricks.com/ |
| Gizlilik ilkesi | https://www.databricks.com/legal/privacynotice |
| Kategoriler | Data |
Microsoft Power Platform'dan Azure Databricks'e bağlanma
Bu sayfada Azure Databricks'i veri bağlantısı olarak ekleyerek Microsoft Power Platform'dan Azure Databricks'e nasıl bağlandığınız açıklanmaktadır. Bağlandığınızda, aşağıdaki platformlardan Azure Databricks verilerinizi kullanabilirsiniz:
- Power Apps: Azure Databricks idare denetimlerinizi korurken Azure Databricks'ten okuyabilen ve Azure Databricks'e yazabilen uygulamalar oluşturun.
- Power Automate: Özel SQL veya mevcut bir İşi yürütmeyi sağlayan akışlar oluşturun ve eylemler ekleyin ve sonuçları geri alın.
- Copilot Studio: Azure Databricks verilerinizi bilgi kaynağı olarak kullanarak özel aracılar oluşturun.
Başlamadan önce
Power Platform'dan Azure Databricks'e bağlanmadan önce aşağıdaki gereksinimleri karşılamanız gerekir:
- Microsoft Entra ID (eski adıyla Azure Active Directory) hesabınız var.
- Premium Power Apps lisansınız var.
- Azure Databricks hesabınız var.
- Azure Databricks'te bir SQL ambarı erişiminiz vardır.
İsteğe bağlı: Azure Sanal Ağlarıyla bağlanma
Azure Databricks çalışma alanınız Sanal Ağlar kullanıyorsa bağlanmanın iki yolu vardır:
Power Platform'la sanal ağınızdaki kaynakları genel İnternet üzerinden göstermeden tümleştirin. Azure Databricks çalışma alanınızın özel uç noktasına bağlanmak için, Azure Databricks'e özel bağlantıyı yapılandırdıktan sonra aşağıdakileri yapın:
Power Platform sanal ağınız (Birincil veya İkincil) Azure Databricks sanal ağınızdan farklıysa, sanal ağı Azure Databricks'e bağlamak için sanal ağ eşlemesini kullanın.
Sanal ağlar hakkında daha fazla bilgi için bkz. Sanal Ağ desteğine genel bakış.
Ortak uç nokta içeren bir ön uç özel bağlantısının Çalışma Alanı IP Erişim Listesi tarafından korunduğu karma dağıtım ile erişimi etkinleştirin. Erişimi etkinleştirmek için aşağıdakileri yapın:
- Çalışma alanı düzeyinde genel erişimi etkinleştirin. Diğer ayrıntılar için bkz. Çalışma alanları için IP erişim listelerini yapılandırma.
- Çalışma Alanı IP erişim listenizeAzureConnectors IP aralığını veya ortamınızın bölgesine göre belirli Bir Power Platform IP aralığını ekleyin.
İsteğe bağlı: Microsoft Entra Hizmet Sorumlusu Oluşturma
Önemli
Azure Databricks ve Power Platform farklı kiracılardaysa, kimlik doğrulaması için Hizmet Sorumlularını kullanmanız gerekir.
Bağlanmadan önce, Azure Databricks hesabınıza veya çalışma alanınıza bir Microsoft Entra Hizmet Sorumlusu oluşturmak, ayarlamak ve atamak için aşağıdaki adımları tamamlayın:
- Microsoft Entra Id'ye yeni bir hizmet sorumlusu kaydedin.
- Hesabınıza hizmet sorumluları ekleyin.
- Çalışma alanına hizmet sorumlusu atayın.
1. Adım: Power Platform'a Azure Databricks bağlantısı ekleme
Not: Copilot Studio kullanıyorsanız Power Apps veya Power Automate'te Databricks bağlantısı oluşturmanızı öneririz. Ardından Copilot Studio'da kullanılabilir.
Azure Databricks bağlantısı eklemek için aşağıdakileri yapın:
Power Apps veya Power Automate'te kenar çubuğunda Bağlantılar'a tıklayın.
Sol üst köşedeki + Yeni bağlantı'ya tıklayın.
Sağ üstteki arama çubuğunu kullanarak "Azure Databricks" araması yapın.
Azure Databricks kutucuğunu seçin.
Açılan menüden Kimlik doğrulama türünüzü seçin.
Kimlik doğrulama yönteminizi seçin ve kimlik doğrulama bilgilerinizi girin.
Power Platform dağıtımınız ve Azure Databricks hesabınız aynı Microsoft Entra kiracısındaysa OAuth bağlantısını kullanabilirsiniz. Aşağıdaki bilgileri girin:
- Sunucu Ana Bilgisayar Adı için Azure Databricks SQL ambarı ana bilgisayar adını girin.
- HTTP Yolu için SQL ambarı HTTP yolunu girin.
- Oluştur'utıklayın.
- Microsoft Entra Kimliğiniz ile oturum açın.
Hizmet sorumlusu bağlantısı herhangi bir senaryoda kullanılabilir. Bağlanmadan önce bir Microsoft Entra hizmet sorumlusu oluşturun. Aşağıdaki bilgileri girin:
- İstemci Kimliği için hizmet sorumlusu kimliğini girin.
- Client Secret için hizmet temsilcisi sırrını girin.
- Kiracı için hizmet sorumlusu kiracısını girin.
- Konak adı alanına Azure Databricks SQL ambarı ana bilgisayar adını girin.
- HTTP Yolu için SQL ambarı HTTP yolunu girin.
- (İsteğe bağlı) Bağlantı oluşturulduktan sonra hizmet sorumlusu bağlantısını yeniden adlandırabilir veya ekip üyelerinizle paylaşabilirsiniz.
Azure Databricks SQL ambarı bağlantı ayrıntılarınızı bulmak için bkz. Azure Databricks işlem kaynağı için bağlantı ayrıntılarını alma.
Oluştur'utıklayın.
2. Adım: Azure Databricks bağlantısını kullanma
Power Apps veya Power Automate'te bir Azure Databricks bağlantısı oluşturduktan sonra Azure Databricks verilerinizi kullanarak Power tuval uygulamaları, Power Automate akışları ve Copilot Studio aracıları oluşturabilirsiniz.
Power canvas uygulamaları oluşturmak için Azure Databricks verilerinizi kullanma
Önemli
Tuval uygulamalarını yalnızca uygulamadaki Azure Databricks'e doğrudan bağlanıyorsanız kullanabilirsiniz. Sanal tabloları kullanamazsınız.
Azure Databricks verilerinizi uygulamanıza eklemek için aşağıdakileri yapın:
- En soldaki gezinti çubuğunda Oluştur'a tıklayın.
- Boş bir tuvalle başla'ya tıklayın ve yeni bir tuval uygulaması oluşturmak için istediğiniz tuval boyutunu seçin.
- Uygulamanızdan Veri>Bağlayıcıları> EkleAzure Databricks'e tıklayın. Oluşturduğunuz Azure Databricks bağlantısını seçin.
- Veri kümesi seçin kenar çubuğundan bir katalog seçin.
- Veri kümesi seçin kenar çubuğundan tuval uygulamanızı bağlamak istediğiniz tüm tabloları seçin.
- Bağlan'a tıklayın.
Power Apps'teki veri işlemleri:
Bağlayıcı oluşturma, güncelleştirme ve silme işlemlerini destekler, ancak yalnızca birincil anahtarı tanımlanmış tablolar için geçerlidir. Oluşturma işlemlerini gerçekleştirirken her zaman birincil anahtarı belirtmeniz gerekir.
Not: Azure Databricks , oluşturulan kimlik sütunlarını destekler. Bu durumda, birincil anahtar değerleri satır oluşturma sırasında sunucuda otomatik olarak oluşturulur ve el ile belirtilemez.
Power Automate akışları oluşturmak için Azure Databricks verilerinizi kullanma
Deyim Yürütme API'si ve İşler API'si Power Automate'te kullanıma sunulur ve SQL deyimleri yazmanıza ve mevcut İşleri yürütmenize olanak tanır. Eylem olarak Azure Databricks kullanarak power automate akışı oluşturmak için aşağıdakileri yapın:
- En soldaki gezinti çubuğunda Oluştur'a tıklayın.
- Bir akış oluşturun ve herhangi bir tetikleyici türü ekleyin.
- Yeni akışınızda, kullanılabilir eylemleri görmek için tıklayın + ve "Databricks" araması yapın.
SQL yazmak için aşağıdaki eylemlerden birini seçin:
SQL Deyimi Yürütme: SQL deyimi yazın ve çalıştırın. Aşağıdakileri girin:
- Gövde/warehouse_id için, SQL ifadesinin yürütüleceği ambarın kimliğini girin.
- Gövde/statement_id için yürütülecek SQL deyiminin kimliğini girin.
- Gelişmiş parametreler hakkında daha fazla bilgi için buraya bakın.
Durumu denetleyin ve sonuçları alın: SQL deyiminin durumunu denetleyin ve sonuçları toplayın. Aşağıdakileri girin:
- Sorgu Kimliği için, SQL sorgusu yürütüldüğünde döndürülen kimliği girin.
- Parametresi hakkında daha fazla bilgi için buraya bakın.
Bir deyiminin yürütülmesini iptal etme: SQL deyiminin yürütülmesini sonlandırın. Aşağıdakileri girin:
- Deyim Kimliği için sonlandıracak SQL deyiminin kimliğini girin.
- Parametresi hakkında daha fazla bilgi için buraya bakın.
Öbek dizinine göre sonuç alma: Büyük sonuç kümeleri için uygun olan öbek dizinine göre sonuçları alın. Aşağıdakileri girin:
- Deyim Kimliği için, sonuçlarını almak istediğiniz SQL deyiminin kimliğini girin.
- Öbek dizini için hedef öbek dizinini girin.
- Parametreler hakkında daha fazla bilgi için buraya bakın.
Mevcut bir Databricks İşi ile etkileşime geçmek için aşağıdaki eylemlerden birini seçin:
- İşleri Listele: İşlerin listesini alır. Daha fazla bilgi için buraya bakın.
- Yeni bir iş çalıştırmasını tetikleme: Bir işi çalıştırır ve tetiklenen çalıştırmanın run_id döndürür. Daha fazla bilgi için buraya bakın.
- Tek bir İş çalıştırması alma: Çalıştırma durumu (çalışan, BAŞARI, BAŞARI, BAŞARISIZ), başlangıç ve bitiş saati, yürütme süreleri, küme bilgileri vb. dahil olmak üzere bir çalıştırmayla ilgili meta verileri döndürür. Daha fazla bilgi için buraya bakın.
- İş çalıştırmayı iptal etme: bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Daha fazla bilgi için buraya bakın.
- Tek bir iş çalıştırmasının çıkışını alma: Tek bir görev çalıştırmasının çıktısını ve meta verilerini alır. Daha fazla bilgi için buraya bakın.
Copilot Studio'da bilgi kaynağı olarak Azure Databricks'i kullanma
Azure Databricks verilerinizi bir Copilot Studio aracısına bilgi kaynağı olarak eklemek için aşağıdakileri yapın:
- Kenar çubuğunda Aracı'ya tıklayın.
- Var olan bir aracıyı seçin veya + Yeni aracı'ya tıklayarak yeni bir aracı oluşturun.
- Bir ileti girip Oluştur'a tıklayarak aracıyı açıklayın.
- Ya da aracı bilgilerini el ile belirtmek için Atla'ya tıklayın.
- Bilgi sekmesinde + Bilgi'ye tıklayın.
- Gelişmiş'i tıklatın.
- Bilgi kaynağı olarak Azure Databricks'i seçin.
- Verilerinizin içinde yer alan katalog adını girin.
- Bağlan'a tıklayın.
- Aracınızın bilgi kaynağı olarak kullanmasını istediğiniz tabloları seçin ve Ekle'ye tıklayın.
Azure Databricks verilerinizle Dataverse sanal tabloları oluşturma
Azure Databricks bağlayıcısı ile Dataverse sanal tabloları da oluşturabilirsiniz. Sanal varlıklar olarak da bilinen sanal tablolar, dış sistemlerden gelen verileri Microsoft Dataverse ile tümleştirir. Sanal tablo, fiziksel tabloyu Dataverse veritabanında depolamadan Dataverse'de bir tablo tanımlar. Sanal tablolar hakkında daha fazla bilgi edinmek için bkz. Sanal tabloları (varlıklar) kullanmaya başlama.
Not
Sanal tablolar Dataverse depolama kapasitesini kullanmasa da, Databricks daha iyi performans için doğrudan bağlantıları kullanmanızı önerir.
Sistem Özelleştiricisi veya Sistem Yöneticisi rolüne sahip olmanız gerekir. Daha fazla bilgi için bkz. Power Platform için güvenlik rolleri.
Dataverse sanal tablosu oluşturmak için şu adımları izleyin:
Power Apps'te kenar çubuğunda Tablolar'a tıklayın.
Menü çubuğunda + Yeni Tablo'ya tıklayın ve Sanal tablo oluştur'u seçin.
Mevcut bir Azure Databricks bağlantısını seçin veya Azure Databricks'e yeni bir bağlantı oluşturun. Yeni bağlantı eklemek için bkz . 1. Adım: Power Platform'a Azure Databricks bağlantısı ekleme.
Databricks, sanal tablo oluşturmak için hizmet sorumlusu bağlantısı kullanılmasını önerir.
Nextöğesine tıklayın.
Dataverse sanal tablosu olarak temsil etmek için tabloları seçin.
- Dataverse sanal tabloları için birincil anahtar gerekir. Bu nedenle, görünümler sanal tablolar olamaz, ancak maddileştirilmiş görünümler olabilir.
Nextöğesine tıklayın.
Gerekirse, tablonun ayrıntılarını güncelleştirerek sanal tabloyu yapılandırın.
Nextöğesine tıklayın.
Veri kaynağının ayrıntılarını onaylayın ve Son'a tıklayın.
Power Apps, Power Automate ve Copilot Studio'da Dataverse sanal tablosunu kullanın.
Dataverse sanal tablolarının bilinen sınırlamalarının listesi için bkz. Bilinen sınırlamalar ve sorun giderme.
Toplu güncelleştirmeler gerçekleştirme
Power Apps girişlerine yanıt olarak toplu oluşturma, güncelleştirme veya silme işlemleri gerçekleştirmeniz gerekiyorsa Databricks bir Power Automate akışı uygulamanızı önerir. Bunu yapmak için aşağıdakileri yapın:
Power Apps'te Azure Databricks bağlantınızı kullanarak bir tuval uygulaması oluşturun.
Azure Databricks bağlantısını kullanarak bir Power Automate akışı oluşturun ve tetikleyici olarak Power Apps'i kullanın.
Power Automate tetikleyicisinde, Power Apps'ten Power Automate'e geçirmek istediğiniz giriş alanlarını ekleyin.
Tüm değişikliklerinizi toplamak için Power Apps'te bir koleksiyon nesnesi oluşturun.
Power Automate akışını canvas uygulamanıza ekleyin.
Tuval uygulamanızdan Power Automate akışını çağırın ve bir
ForAllkomut kullanarak koleksiyon üzerinde yineleme yapın.ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
Eşzamanlı yazma işlemleri
Satır düzeyi eşzamanlılık, satır düzeyindeki değişiklikleri algılayarak ve eşzamanlı yazma işlemleri aynı veri dosyasındaki farklı satırları güncelleştirdiğinde veya sildiğinde oluşan çakışmaları otomatik olarak çözerek eşzamanlı yazma işlemleri arasındaki çakışmaları azaltır.
Satır düzeyi eşzamanlılık, Databricks Runtime 14.2 veya üzeri sürümlerine dahil edilir. Satır düzeyi eşzamanlılık, aşağıdaki tablo türleri için varsayılan olarak desteklenir:
- Silme vektörlerinin etkin olduğu ve bölümleme içermeyen tablolar
- Silme vektörleri devre dışı bırakılmadıkça sıvı kümelemelerine sahip tablolar
Silme vektörlerini etkinleştirmek için aşağıdaki SQL komutunu çalıştırın:
ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
Azure Databricks'teki eşzamanlı yazma çakışmaları hakkında daha fazla bilgi için bkz . Azure Databricks'te yalıtım düzeyleri ve yazma çakışmaları.
Veri ilkesine Azure Databricks ekleme
Azure Databricks'i bir İş verileri ilkesine ekleyerek Azure Databricks diğer gruplardaki bağlayıcılarla veri paylaşamaz. Bu, verilerinizi korur ve erişimi olmaması gereken kişilerle paylaşılmasını engeller. Daha fazla bilgi için bkz. Veri ilkelerini yönetme.
Azure Databricks bağlayıcısını power platform veri ilkesine eklemek için:
- Herhangi bir Power Platform uygulamasında sağ üstteki ayarlar dişlisine tıklayın ve Yönetim Merkezi'ni seçin.
- Kenar çubuğundaİlkeler Veri İlkeleri'ne> tıklayın.
- Yeni yönetim merkezini kullanıyorsanız Güvenlik>Verileri ve Gizlilik>Veri İlkesi'ne tıklayın.
- + Yeni İlke'ye tıklayın veya var olan bir ilkeyi seçin.
- Yeni bir ilke oluşturuyorsanız, bir ad girin.
- İlkenize eklenecek ortamı seçin ve yukarıdaki + İlkeye ekle'ye tıklayın.
- Nextöğesine tıklayın.
- Azure Databricks bağlayıcısını arayın ve seçin.
- İş'e Taşı ve İleri tıklayın.
- İlkenizi gözden geçirin ve İlke oluştur'a tıklayın.
Sınırlamalar
- Power Platform bağlayıcısı kamu bulutlarını desteklemez.
Power App sınırlamaları
Aşağıdaki PowerFx formülleri yalnızca yerel olarak alınan verileri kullanarak değerleri hesaplar:
| Kategori | Formula |
|---|---|
| Tablo işlevi | - GroupBy -Farklı |
| Aggregation | - CountRows - StdevP - StdevS |
Bağlantı oluşturma
Bağlayıcı aşağıdaki kimlik doğrulama türlerini destekler:
| OAuth Bağlantısı | OAuth Bağlantısı | Tüm bölgeler | Paylaşılamaz |
| Hizmet Sorumlusu Bağlantısı | Hizmet Sorumlusu Bağlantısı | Tüm bölgeler | Paylaşılabilir |
| Varsayılan [KULLANIM DIŞI] | Bu seçenek yalnızca açık kimlik doğrulama türü olmayan eski bağlantılar içindir ve yalnızca geriye dönük uyumluluk için sağlanır. | Tüm bölgeler | Paylaşılamaz |
OAuth Bağlantısı
Kimlik Doğrulama Kimliği: oauth2-auth
Geçerli: Tüm bölgeler
OAuth Bağlantısı
Bu, paylaşılabilir bir bağlantı değildir. Power app başka bir kullanıcıyla paylaşılıyorsa, başka bir kullanıcıdan açıkça yeni bağlantı oluşturması istenir.
| İsim | Türü | Description | Gerekli |
|---|---|---|---|
| Sunucu Ana Bilgisayar Adı (Örnek: adb-3980263885549757139.2.azuredatabricks.net) | String | Databricks çalışma alanının sunucu adı | Doğru |
| HTTP Yolu (Örnek: /sql/1.0/warehouses/a9c4e781bd29f315) | String | Databricks SQL Ambarı'nın HTTP Yolu | Doğru |
Hizmet Sorumlusu Bağlantısı
Kimlik Doğrulama Kimliği: oAuthClientCredentials
Geçerli: Tüm bölgeler
Hizmet Sorumlusu Bağlantısı
Bu, paylaşılabilir bir bağlantıdır. Power app başka bir kullanıcıyla paylaşılıyorsa, bağlantı da paylaşılır. Daha fazla bilgi için bkz . Tuval uygulamaları için bağlayıcılara genel bakış - Power Apps | Microsoft Docs
| İsim | Türü | Description | Gerekli |
|---|---|---|---|
| Müşteri Kimliği | String | Doğru | |
| İstemci Sırrı | securestring | Doğru | |
| Tenant | String | Doğru | |
| Sunucu Ana Bilgisayar Adı (Örnek: adb-3980263885549757139.2.azuredatabricks.net) | String | Databricks çalışma alanının sunucu adı | Doğru |
| HTTP Yolu (Örnek: /sql/1.0/warehouses/a9c4e781bd29f315) | String | Databricks SQL Ambarı'nın HTTP Yolu | Doğru |
Varsayılan [KULLANIM DIŞI]
Geçerli: Tüm bölgeler
Bu seçenek yalnızca açık kimlik doğrulama türü olmayan eski bağlantılar içindir ve yalnızca geriye dönük uyumluluk için sağlanır.
Bu, paylaşılabilir bir bağlantı değildir. Power app başka bir kullanıcıyla paylaşılıyorsa, başka bir kullanıcıdan açıkça yeni bağlantı oluşturması istenir.
Azaltma Sınırları
| Name | Çağrılar | Yenileme Dönemi |
|---|---|---|
| Bağlantı başına API çağrıları | 100 | 60 saniye |
Eylemler
| Azure Databricks Genie |
Verilerinizden içgörüler elde etmek için Genie alanlarını sorgulayın. |
| Deyim yürütmeyi iptal etme |
Yürütme deyiminin iptal edilmesine yönelik istekler. Arayanların terminal durumunu görebilmesi için durumu yoklaması gerekir. |
| Durumu denetleme ve sonuçları alma |
Deyimin durumunu, bildirimini ve sonuçlarını alma |
| İşleri Listele |
İşlerin listesini alır. |
| SQL deyimi yürütme |
Bir SQL deyimi yürütür ve isteğe bağlı olarak belirli bir süre için sonuçlarını bekler. |
| Tek bir iş çalıştırması alma |
Çalıştırmanın meta verilerini alır. Sonuçlardaki büyük diziler 100 öğeyi aştıklarında sayfalanır. Tek bir çalıştırma isteği, bu çalıştırmanın tüm özelliklerini ve dizi özelliklerinin ilk 100 öğesini (görevler, job_clusters, job_parameters ve repair_history) döndürür. Daha fazla sonuç olup olmadığını denetlemek ve değerini sonraki isteklerde page_token olarak geçirmek için next_page_token alanını kullanın. Dizi özelliklerinin 100'den fazla öğesi varsa, sonraki isteklerde ek sonuçlar döndürülür. Ek sonuç içermeyen diziler sonraki sayfalarda boş olacaktır. |
| Tek bir çalıştırmanın çıkışını alma |
Tek bir görev çalıştırmasının çıktısını ve meta verilerini alın. Bir not defteri görevi dbutils.notebook.exit() çağrısı aracılığıyla bir değer döndürdüğünde, bu değeri almak için bu uç noktayı kullanabilirsiniz. Azure Databricks, bu API'yi çıkışın ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz. Bu uç nokta , run_id parametresinin geçerli olduğunu doğrular ve run_id parametresi geçersizse 400 HTTP durum kodunu döndürür. Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir. |
| Yeni bir iş çalıştırması tetikleme |
Bir iş çalıştırın ve tetiklenen çalıştırmanın run_id döndürür. |
| Çalıştırmayı iptal etme |
bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Çalıştırma zaman uyumsuz olarak iptal edilir, bu nedenle bu istek tamamlandığında hala çalışıyor olabilir. |
| Öbek dizinine göre sonuç alma |
Deyimi yürütme BAŞARILI olduktan sonra, bu istek dizine göre herhangi bir öbek getirmek için kullanılabilir. |
Azure Databricks Genie
Verilerinizden içgörüler elde etmek için Genie alanlarını sorgulayın.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Genie Space ID
|
genie_space_id | True | string |
Genie Space ID |
Deyim yürütmeyi iptal etme
Yürütme deyiminin iptal edilmesine yönelik istekler. Arayanların terminal durumunu görebilmesi için durumu yoklaması gerekir.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Deyim Kimliği
|
statement_id | True | string |
Deyim Kimliği |
Durumu denetleme ve sonuçları alma
Deyimin durumunu, bildirimini ve sonuçlarını alma
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Deyim Kimliği
|
statement_id | True | string |
Deyim Kimliği |
Döndürülenler
Deyim yürütme yanıtı
- Body
- SqlStatementResponse
İşleri Listele
İşlerin listesini alır.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Sınır
|
limit | integer |
Döndürülecek iş sayısı. Bu değer 0'dan büyük ve 100'e eşit veya daha küçük olmalıdır. Varsayılan değer 20'dir. |
|
|
Görevleri Genişlet
|
expand_tasks | boolean |
Yanıta görev ve küme ayrıntılarının eklenip eklenmeyeceği. Yalnızca ilk 100 öğe gösterilecektir. Tüm görevler ve kümeler arasında sayfalandırmak için :method:jobs/get komutunu kullanın. |
|
|
İş Adı
|
name | string |
Tam (büyük/küçük harfe duyarsız) iş adına göre listede bir filtre. |
|
|
Sayfa Belirteci
|
page_token | string |
İşlerin sonraki veya önceki sayfasını sırasıyla listelemek için önceki istekten döndürülen next_page_token veya prev_page_token kullanın. |
Döndürülenler
- Body
- JobsListJobsResponse
SQL deyimi yürütme
Bir SQL deyimi yürütür ve isteğe bağlı olarak belirli bir süre için sonuçlarını bekler.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
warehouse_id
|
warehouse_id | True | string |
Hedef ambar kimliği |
|
açıklama
|
statement | True | string |
Yürütülecek SQL deyimi. deyimi isteğe bağlı olarak parametrelendirilebilir, bkz. parametreler |
|
name
|
name | True | string |
Parametre işaretçisi adı |
|
type
|
type | string |
Parametre veri türü |
|
|
value
|
value | string |
Parametre değeri |
|
|
catalog
|
catalog | string |
Yürütme için varsayılan katalog |
|
|
şema
|
schema | string |
Yürütme için varsayılan şema |
|
|
eğilim
|
disposition | string |
Sonuç getirme modu |
|
|
format
|
format | string |
Sonuç kümesi biçimi |
|
|
on_wait_timeout
|
on_wait_timeout | string |
Zaman aşımında eylem |
|
|
wait_timeout
|
wait_timeout | string |
Sonuç bekleme zaman aşımı |
|
|
byte_limit
|
byte_limit | integer |
Sonuç bayt sınırı |
|
|
row_limit
|
row_limit | integer |
Sonuç satırı sınırı |
Döndürülenler
Deyim yürütme yanıtı
- Body
- SqlStatementResponse
Tek bir iş çalıştırması alma
Çalıştırmanın meta verilerini alır. Sonuçlardaki büyük diziler 100 öğeyi aştıklarında sayfalanır. Tek bir çalıştırma isteği, bu çalıştırmanın tüm özelliklerini ve dizi özelliklerinin ilk 100 öğesini (görevler, job_clusters, job_parameters ve repair_history) döndürür. Daha fazla sonuç olup olmadığını denetlemek ve değerini sonraki isteklerde page_token olarak geçirmek için next_page_token alanını kullanın. Dizi özelliklerinin 100'den fazla öğesi varsa, sonraki isteklerde ek sonuçlar döndürülür. Ek sonuç içermeyen diziler sonraki sayfalarda boş olacaktır.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Çalıştırma Kimliği
|
run_id | True | integer |
Meta verilerin alınabileceği çalıştırmanın kurallı tanımlayıcısı. Bu alan gereklidir. |
|
Ekleme Geçmişi
|
include_history | boolean |
Yanıta onarım geçmişinin eklenip eklenmeyeceği. |
|
|
Çözümlenen Değerleri Ekle
|
include_resolved_values | boolean |
Çözümlenen parametre değerlerinin yanıta eklenip eklenmeyeceği. |
|
|
Sayfa Belirteci
|
page_token | string |
Çalıştırmanın dizi özelliklerinin sonraki sayfasını istemek için önceki GetRun yanıtından döndürülen next_page_token kullanın. |
Döndürülenler
- Body
- JobsRun
Tek bir çalıştırmanın çıkışını alma
Tek bir görev çalıştırmasının çıktısını ve meta verilerini alın. Bir not defteri görevi dbutils.notebook.exit() çağrısı aracılığıyla bir değer döndürdüğünde, bu değeri almak için bu uç noktayı kullanabilirsiniz. Azure Databricks, bu API'yi çıkışın ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz. Bu uç nokta , run_id parametresinin geçerli olduğunu doğrular ve run_id parametresi geçersizse 400 HTTP durum kodunu döndürür. Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Çalıştırma Kimliği
|
run_id | True | integer |
Çalıştırmanın kurallı tanımlayıcısı. |
Döndürülenler
- Body
- JobsRunOutput
Yeni bir iş çalıştırması tetikleme
Bir iş çalıştırın ve tetiklenen çalıştırmanın run_id döndürür.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
idempotency_token
|
idempotency_token | string |
İş çalıştırma isteklerinin eşzamanlılığını garanti etmek için isteğe bağlı bir belirteç. Sağlanan belirteçle bir çalıştırma zaten varsa, istek yeni bir çalıştırma oluşturmaz ancak bunun yerine var olan çalıştırmanın kimliğini döndürür. Sağlanan belirteçle bir çalıştırma silinirse bir hata döndürülür. Bir kez etkililik belirtecini belirtirseniz, hata durumunda istek başarılı olana kadar yeniden deneyebilirsiniz. Azure Databricks, tam olarak bir çalıştırmanın bu bir kez etkililik belirteci ile başlatıldığını garanti eder. Bu belirtecin en fazla 64 karakteri olmalıdır. Daha fazla bilgi için bkz. İşler için eşzamanlılık sağlama. |
|
|
job_id
|
job_id | True | integer |
Yürütülecek işin kimliği |
|
job_parameters
|
job_parameters | object |
Çalıştırmada kullanılan iş düzeyi parametreleri. örneğin "param": "overriding_val" |
|
|
sadece
|
only | array of string |
İşin içinde çalıştırılacak görev anahtarlarının listesi. Bu alan sağlanmazsa, işteki tüm görevler çalıştırılır. |
|
|
performance_target
|
performance_target | string | ||
|
full_refresh
|
full_refresh | boolean |
True ise, delta live tablosunda tam yenileme tetikler. |
|
|
enabled
|
enabled | True | boolean |
Doğruysa, iş için kuyruğa alma özelliğini etkinleştirin. Bu alanın doldurulması zorunludur. |
Döndürülenler
- Body
- JobsRunNowResponse
Çalıştırmayı iptal etme
bir iş çalıştırmayı veya görev çalıştırmayı iptal eder. Çalıştırma zaman uyumsuz olarak iptal edilir, bu nedenle bu istek tamamlandığında hala çalışıyor olabilir.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
run_id
|
run_id | True | integer |
Bu alan gereklidir. |
Öbek dizinine göre sonuç alma
Deyimi yürütme BAŞARILI olduktan sonra, bu istek dizine göre herhangi bir öbek getirmek için kullanılabilir.
Parametreler
| Name | Anahtar | Gerekli | Tür | Description |
|---|---|---|---|---|
|
Deyim Kimliği
|
statement_id | True | string |
Deyim Kimliği |
|
Öbek dizini
|
chunk_index | True | string |
Öbek dizini |
Döndürülenler
- Body
- SqlResultData
Tanımlar
Nesne
SqlBaseChunkInfo
Sonuç kümesi öbekleri için meta veriler
| Name | Yol | Tür | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Sonuç öbeklerindeki bayt sayısı |
|
chunk_index
|
chunk_index | integer |
Sonuç kümesi öbekleri dizisindeki konum |
|
row_count
|
row_count | integer |
Sonuç öbeklerindeki satır sayısı |
|
row_offset
|
row_offset | integer |
Sonuç kümesinde başlangıç satırı uzaklığı |
SqlColumnInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
name
|
name | string |
Sütun adı |
|
konum
|
position | integer |
Sütun konumu (0 tabanlı) |
|
type_interval_type
|
type_interval_type | string |
Aralık türü biçimi |
|
type_name
|
type_name | SqlColumnInfoTypeName |
Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez. |
|
type_precision
|
type_precision | integer |
ONDALıK türü için basamak sayısı |
|
type_scale
|
type_scale | integer |
ONDALıK türü için ondalık basamak sayısı |
|
type_text
|
type_text | string |
Tam SQL türü belirtimi |
SqlColumnInfoTypeName
Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez.
Temel veri türünün adı. Bu, STRUCT, MAP veya ARRAY gibi karmaşık türlerin ayrıntılarını içermez.
SqlStatementResponse
Deyim yürütme yanıtı
| Name | Yol | Tür | Description |
|---|---|---|---|
|
manifesto
|
manifest | SqlResultManifest |
Sonuç kümesi şeması ve meta verileri |
|
sonuç
|
result | SqlResultData | |
|
statement_id
|
statement_id | string |
Deyim Kimliği |
|
statü
|
status | SqlStatementStatus |
Deyim yürütme durumu |
SqlResultManifest
Sonuç kümesi şeması ve meta verileri
| Name | Yol | Tür | Description |
|---|---|---|---|
|
öbekler
|
chunks | array of SqlBaseChunkInfo |
Sonuç öbek meta verileri |
|
format
|
format | string | |
|
şema
|
schema | SqlResultSchema |
Sonuç kümesi sütun tanımları |
|
total_byte_count
|
total_byte_count | integer |
Sonuç kümesindeki toplam bayt sayısı |
|
total_chunk_count
|
total_chunk_count | integer |
Toplam öbek sayısı |
|
total_row_count
|
total_row_count | integer |
Toplam satır sayısı |
|
Kesilmiş
|
truncated | boolean |
Sonuç kesme durumu |
SqlStatementStatus
Deyim yürütme durumu
| Name | Yol | Tür | Description |
|---|---|---|---|
|
hata
|
error | SqlServiceError | |
|
state
|
state | SqlStatementState |
Deyim yürütme durumu |
SqlStatementState
SqlServiceError
| Name | Yol | Tür | Description |
|---|---|---|---|
|
error_code
|
error_code | string | |
|
message
|
message | string |
Hata mesajı |
SqlResultSchema
Sonuç kümesi sütun tanımları
| Name | Yol | Tür | Description |
|---|---|---|---|
|
column_count
|
column_count | integer | |
|
columns
|
columns | array of SqlColumnInfo |
SqlResultData
| Name | Yol | Tür | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Sonuç öbekteki bayt sayısı |
|
chunk_index
|
chunk_index | integer |
Öbek konumu |
|
data_array
|
data_array | SqlJsonArray |
Dize değerlerine sahip dizi dizisi |
|
external_links
|
external_links | array of SqlExternalLink | |
|
next_chunk_index
|
next_chunk_index | integer |
Sonraki öbek dizini |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
Sonraki öbek bağlantısı |
|
row_count
|
row_count | integer |
Öbekteki satırlar |
|
row_offset
|
row_offset | integer |
Başlangıç satırı uzaklığı |
SqlJsonArray
Dize değerlerine sahip dizi dizisi
| Name | Yol | Tür | Description |
|---|---|---|---|
|
Eşya
|
array of |
SqlExternalLink
| Name | Yol | Tür | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
Öbekteki bayt sayısı |
|
chunk_index
|
chunk_index | integer |
Öbek konumu |
|
Sona erme
|
expiration | date-time |
Bağlantı süre sonu süresi |
|
external_link
|
external_link | string | |
|
http_headers
|
http_headers | object |
Gerekli HTTP üst bilgileri |
|
next_chunk_index
|
next_chunk_index | integer |
Sonraki öbek dizini |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
Sonraki öbek bağlantısı |
|
row_count
|
row_count | integer |
Öbekteki satırlar |
|
row_offset
|
row_offset | integer |
Başlangıç satırı uzaklığı |
İşlerRunNowResponse
| Name | Yol | Tür | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
Yeni tetiklenen çalıştırmanın genel benzersiz kimliği. |
İşlerPerformanceTarget
İşlerPipelineParams
| Name | Yol | Tür | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
True ise, delta live tablosunda tam yenileme tetikler. |
JobsQueueSettings
| Name | Yol | Tür | Description |
|---|---|---|---|
|
enabled
|
enabled | boolean |
Doğruysa, iş için kuyruğa alma özelliğini etkinleştirin. Bu alanın doldurulması zorunludur. |
JobsListJobsResponse
| Name | Yol | Tür | Description |
|---|---|---|---|
|
jobs
|
jobs | array of JobsBaseJob |
İş listesi. Yalnızca listelenmek üzere işler varsa yanıta dahil edilir. |
|
next_page_token
|
next_page_token | string |
İşlerin sonraki sayfasını listelemek için kullanılabilecek bir belirteç (varsa). |
|
prev_page_token
|
prev_page_token | string |
Önceki iş sayfasını listelemek için kullanılabilecek bir belirteç (varsa). |
JobsBaseJob
| Name | Yol | Tür | Description |
|---|---|---|---|
|
created_time
|
created_time | integer |
Bu işin dönem milisaniye cinsinden oluşturulduğu saat (1/1/1970 UTC'den bu yana milisaniye). |
|
creator_user_name
|
creator_user_name | string |
Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir. |
|
effective_budget_policy_id
|
effective_budget_policy_id | uuid |
Maliyet atfı amacıyla bu iş tarafından kullanılan bütçe ilkesinin kimliği. Bu ayardan geçilebilir (öncelik sırasına göre): 1. Hesap veya çalışma alanı konsolu 2 aracılığıyla bütçe yöneticileri. budget_policy_id 3 kullanan iş ayrıntıları sayfasındaki ve İşler API'sindeki işler kullanıcı arabirimi. İş oluşturma veya değiştirme işleminde run_as kimliğinin erişilebilir bütçe ilkeleri temel alınarak varsayılan olarak çıkarılır. |
|
daha_fazla
|
has_more | boolean |
İşin gösterilmeyen daha fazla dizi özelliğine (görevler, job_clusters) sahip olup olmadığını gösterir. Bunlara :method:jobs/get uç noktası üzerinden erişilebilir. Yalnızca expand_tasks=true olan API 2.2 :method:jobs/list istekleri için geçerlidir. |
|
job_id
|
job_id | integer |
Bu işin kurallı tanımlayıcısı. |
|
settings
|
settings | JobsJobSettings | |
|
trigger_state
|
trigger_state | JobsTriggerStateProto |
jobsjobsettings
| Name | Yol | Tür | Description |
|---|---|---|---|
|
budget_policy_id
|
budget_policy_id | uuid |
Bu iş için kullanılacak kullanıcı tarafından belirtilen bütçe ilkesinin kimliği. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz. effective_budget_policy_id. |
|
devamlı
|
continuous | JobsContinuous | |
|
Dağıtım
|
deployment | JobsJobDeployment | |
|
açıklama
|
description | string |
İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir. |
|
edit_mode
|
edit_mode | JobsJobEditMode | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
environments
|
environments | array of JobsJobEnvironment |
Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. |
|
git_source
|
git_source | JobsGitSource | |
|
Sağlık
|
health | JobsJobsHealthRules | |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir. |
|
max_concurrent_runs
|
max_concurrent_runs | integer |
Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. Bu, örneğin işinizi sık sık tetikleyip ardışık çalıştırmaların birbiriyle çakışmasına izin vermek veya giriş parametrelerine göre farklı birden çok çalıştırma tetiklemeniz durumunda yararlı olur. Bu ayar yalnızca yeni çalıştırmaları etkiler. Örneğin, işin eşzamanlılığının 4 olduğunu ve 4 eşzamanlı etkin çalıştırma olduğunu varsayalım. Ardından eşzamanlılık 3 olarak ayarlıysa etkin çalıştırmaların hiçbiri sonlandırılamaz. Ancak, bundan sonra, 3'ten az etkin çalıştırma olmadığı sürece yeni çalıştırmalar atlanır. Bu değer 1000'i aşamaz. Bu değerin 0 olarak ayarlanması tüm yeni çalıştırmaların atlanmasına neden olur. |
|
name
|
name | string |
İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır. |
|
notification_settings
|
notification_settings | JobsJobNotificationSettings | |
|
parameters
|
parameters | array of JobsJobParameterDefinition |
İş düzeyi parametre tanımları |
|
performance_target
|
performance_target | JobsPerformanceTarget | |
|
queue
|
queue | JobsQueueSettings | |
|
run_as
|
run_as | JobsJobRunAs | |
|
program
|
schedule | JobsCronSchedule | |
|
tags
|
tags | object |
İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir. |
|
tasks
|
tasks | array of JobsTask |
Bu işin gerçekleştireceği görev tanımlarının listesi. Yazma uç noktalarındaki en fazla 1000 öğeyi destekler (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Okuma uç noktaları yalnızca 100 görev döndürür. 100'den fazla görev varsa, :method:jobs/get komutunu kullanarak bunları sayfalandırabilirsiniz. Daha fazla sonuç olup olmadığını belirlemek için nesne kökündeki next_page_token alanını kullanın. |
|
timeout_seconds
|
timeout_seconds | integer |
Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir. |
|
trigger
|
trigger | JobsTriggerSettings | |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
İşlerContinuous
| Name | Yol | Tür | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus |
İşlerPauseStatus
İşlerJobDeployment
| Name | Yol | Tür | Description |
|---|---|---|---|
|
tür
|
kind | JobsJobDeploymentKind | |
|
metadata_file_path
|
metadata_file_path | string |
Dağıtım meta verilerini içeren dosyanın yolu. |
İşlerJobDeploymentKind
İşlerJobEditMode
JobsJobEmailNotifications
| Name | Yol | Tür | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında bildirilecek e-posta adreslerinin listesi. İşin sistem durumu alanında RUN_DURATION_SECONDS ölçümü için hiçbir kural belirtilmezse bildirimler gönderilmez. |
|
on_failure
|
on_failure | array of string |
Bir çalıştırma başarısız olduğunda bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın bir INTERNAL_ERROR life_cycle_state veya BAŞARISIZ veya TIMED_OUT result_state ile sona ermesi durumunda başarısız bir şekilde tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez. |
|
on_start
|
on_start | array of string |
Çalıştırma başladığında bildirilecek e-posta adreslerinin listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. |
|
on_success
|
on_success | array of string |
Bir çalıştırma başarıyla tamamlandığında bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın sonlandırılan life_cycle_state ve SUCCESS result_state ile bitmesi durumunda başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
jobsjobEnvironment
| Name | Yol | Tür | Description |
|---|---|---|---|
|
environment_key
|
environment_key | string |
Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır. |
|
Spec
|
spec | ComputeEnvironment |
ComputeEnvironment
| Name | Yol | Tür | Description |
|---|---|---|---|
|
bağımlılıklar
|
dependencies | array of string |
Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık, başına https://pip.pypa.io/en/stable/reference/requirements-file-format/geçerli bir pip gereksinimleri dosya satırıdır. İzin verilen bağımlılıklar gereksinim tanımlayıcısı, arşiv URL'si, yerel proje yolu (Azure Databricks'teki WSFS veya UC Birimleri gibi) veya bir VCS proje URL'si içerir. |
|
environment_version
|
environment_version | string |
Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve python paketleri kümesiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir. Bkz. https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions. |
İşlerGitSource
| Name | Yol | Tür | Description |
|---|---|---|---|
|
git_branch
|
git_branch | string |
Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan git_tag veya git_commit ile birlikte belirtilemez. |
|
git_commit
|
git_commit | string |
Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan git_branch veya git_tag ile birlikte belirtilemez. |
|
git_provider
|
git_provider | JobsGitProvider | |
|
git_snapshot
|
git_snapshot | JobsGitSnapshot | |
|
git_tag
|
git_tag | string |
Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan git_branch veya git_commit ile birlikte belirtilemez. |
|
git_url
|
git_url | string |
Bu iş tarafından kopyalanacak deponun URL'si. |
İşlerGitProvider
İşlerGitSnapshot
| Name | Yol | Tür | Description |
|---|---|---|---|
|
used_commit
|
used_commit | string |
Çalıştırmayı yürütmek için kullanılan işleme. git_branch belirtilirse, bu, çalıştırma sırasında dalın BAŞI'na işaret eder; git_tag belirtilirse bu, etiketin işaret olduğu işlemeye işaret eder. |
İşlerİşlerHealthRules
| Name | Yol | Tür | Description |
|---|---|---|---|
|
kurallar
|
rules | array of JobsJobsHealthRule |
İşlerİşlerHealthRule
| Name | Yol | Tür | Description |
|---|---|---|---|
|
metric
|
metric | JobsJobsHealthMetric | |
|
Op
|
op | JobsJobsHealthOperator | |
|
value
|
value | integer |
Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir. |
İşlerİşlerHealthMetric
JobsJobsHealthOperator
İşlerjobCluster
| Name | Yol | Tür | Description |
|---|---|---|---|
|
job_cluster_key
|
job_cluster_key | string |
İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır. JobTaskSettings, görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
ComputeClusterSpec
| Name | Yol | Tür | Description |
|---|---|---|---|
|
apply_policy_default_values
|
apply_policy_default_values | boolean |
true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır. |
|
autoscale
|
autoscale | ComputeAutoScale | |
|
autotermination_minutes
|
autotermination_minutes | integer |
Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir. |
|
azure_attributes
|
azure_attributes | ComputeAzureAttributes | |
|
cluster_log_conf
|
cluster_log_conf | ComputeClusterLogConf | |
|
küme_adı
|
cluster_name | string |
Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur. İş kümeleri için, küme adı iş ve iş çalıştırma kimliklerine göre otomatik olarak ayarlanır. |
|
custom_tags
|
custom_tags | object |
Küme kaynakları için ek etiketler. Azure Databricks, default_tags ek olarak tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bu etiketlerle etiketleyecektir. Notlar: - Şu anda Azure Databricks en fazla 45 özel etikete izin verir - Kümeler yalnızca kaynakların etiketleri küme etiketlerinin bir alt kümesiyse bulut kaynaklarını yeniden kullanabilir |
|
data_security_mode
|
data_security_mode | ComputeDataSecurityMode | |
|
docker_image
|
docker_image | ComputeDockerImage | |
|
driver_instance_pool_id
|
driver_instance_pool_id | string |
Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz grubu (instance_pool_id) kimlikli örnek havuzunu kullanır. |
|
driver_node_type_id
|
driver_node_type_id | string |
Spark sürücüsünün düğüm türü. Bu alanın isteğe bağlı olduğunu unutmayın; ayarlanmamışsa, sürücü düğümü türü yukarıda tanımlanan node_type_id ile aynı değer olarak ayarlanır. virtual_cluster_size ayarlandıysa, node_type_id ile birlikte bu alan ayarlanmamalıdır. Driver_node_type_id, node_type_id ve virtual_cluster_size belirtilirse, driver_node_type_id ve node_type_id öncelik kazanır. |
|
enable_elastic_disk
|
enable_elastic_disk | boolean |
Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın. |
|
enable_local_disk_encryption
|
enable_local_disk_encryption | boolean |
Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği |
|
init_scripts
|
init_scripts | array of ComputeInitScriptInfo |
Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. cluster_log_conf belirtilirse, init betik günlükleri destination</cluster-ID>/<init_scripts adresine gönderilir>. |
|
instance_pool_id
|
instance_pool_id | string |
Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği. |
|
is_single_node
|
is_single_node | boolean |
Bu alan yalnızca kind = CLASSIC_PREVIEW olduğunda kullanılabilir. True olarak ayarlandığında, Azure Databricks custom_tags, spark_conf ve num_workers ilgili tek düğümü otomatik olarak ayarlar |
|
tür
|
kind | ComputeKind | |
|
node_type_id
|
node_type_id | string |
Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi :method:clusters/listNodeTypes API çağrısı kullanılarak alınabilir. |
|
num_workers
|
num_workers | integer |
Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır. Not: Bir kümenin özelliklerini okurken, bu alan gerçek geçerli çalışan sayısı yerine istenen çalışan sayısını yansıtır. Örneğin, bir küme 5 ila 10 çalışandan yeniden boyutlandırılırsa, bu alan hemen 10 çalışanın hedef boyutunu yansıtacak şekilde güncelleştirilir, ancak spark_info listelenen çalışanlar yeni düğümler sağlandıkça kademeli olarak 5'ten 10'a çıkar. |
|
policy_id
|
policy_id | string |
Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği. |
|
runtime_engine
|
runtime_engine | ComputeRuntimeEngine | |
|
single_user_name
|
single_user_name | string |
data_security_mode SINGLE_USER tek kullanıcı adı |
|
spark_conf
|
spark_conf | object |
İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca sırasıyla spark.driver.extraJavaOptions ve spark.executor.extraJavaOptions aracılığıyla sürücüye ve yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir. |
|
spark_env_vars
|
spark_env_vars | object |
İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne. Sürücünün ve çalışanların başlatılması sırasında formun anahtar-değer çiftinin (X,Y) olduğu gibi dışarı aktarılacağını (yani X='Y'yi dışarı aktarın) unutmayın. Ek bir SPARK_DAEMON_JAVA_OPTS kümesi belirtmek için, bunları aşağıdaki örnekte gösterildiği gibi $SPARK_DAEMON_JAVA_OPTS'ye eklemenizi öneririz. Bu, databricks tarafından yönetilen tüm ortam değişkenlerinin de eklenmesini sağlar. Örnek Spark ortam değişkenleri: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} veya {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
|
spark_version
|
spark_version | string |
Kümenin Spark sürümü, örneğin 3.3.x-scala2.11. Kullanılabilir Spark sürümlerinin listesi :method:clusters/sparkVersions API çağrısı kullanılarak alınabilir. |
|
ssh_public_keys
|
ssh_public_keys | array of string |
Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, 2200 numaralı bağlantı noktasında ubuntu kullanıcı adıyla oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir. |
|
use_ml_runtime
|
use_ml_runtime | boolean |
Bu alan yalnızca kind = CLASSIC_PREVIEW olduğunda kullanılabilir. effective_spark_version spark_version (DBR sürümü), bu alan use_ml_runtime ve node_type_id gpu düğümü olup olmadığıyla belirlenir. |
|
workload_type
|
workload_type | ComputeWorkloadType |
ComputeAutoScale
| Name | Yol | Tür | Description |
|---|---|---|---|
|
max_workers
|
max_workers | integer |
Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle min_workers büyük olması gerektiğini unutmayın. |
|
min_workers
|
min_workers | integer |
Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır. |
ComputeAzureAttributes
| Name | Yol | Tür | Description |
|---|---|---|---|
|
availability
|
availability | ComputeAzureAvailability | |
|
first_on_demand
|
first_on_demand | integer |
Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer 0'dan büyük olmalıdır. Bu değer geçerli küme boyutundan büyük veya buna eşitse, tüm düğümler isteğe bağlı örneklere yerleştirilir. Bu değer geçerli küme boyutundan küçükse, first_on_demand düğümler isteğe bağlı örneklere, kalan düğüm ise kullanılabilirlik örneklerine yerleştirilir. Bu değerin küme boyutunu etkilemediğini ve şu anda bir kümenin ömrü boyunca kapatılamayacağını unutmayın. |
|
log_analytics_info
|
log_analytics_info | ComputeLogAnalyticsInfo | |
|
spot_bid_max_price
|
spot_bid_max_price | double |
Azure spot örnekleri için kullanılacak maksimum teklif fiyatı. Teklif için En yüksek fiyat, örneğin isteğe bağlı fiyatından yüksek olamaz. Belirtilmezse, varsayılan değer -1'dir. Bu değer, örneğin fiyat temelinde ve yalnızca kullanılabilirlik temelinde çıkarılamayacağını belirtir. Ayrıca, değer 0 veya -1 olmalıdır > . |
İşlemAzureAvailability
ComputeLogAnalyticsInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
log_analytics_primary_key
|
log_analytics_primary_key | string | |
|
log_analytics_workspace_id
|
log_analytics_workspace_id | string |
ComputeClusterLogConf
| Name | Yol | Tür | Description |
|---|---|---|---|
|
dbfs
|
dbfs | ComputeDbfsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo |
ComputeDbfsStorageInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
dbfs hedefi, örneğin dbfs:/my/path |
ComputeVolumesStorageInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
UC Birimleri hedefi, örneğin /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh veya dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh |
ComputeDataSecurityMode
ComputeDockerImage
| Name | Yol | Tür | Description |
|---|---|---|---|
|
basic_auth
|
basic_auth | ComputeDockerBasicAuth | |
|
url
|
url | string |
Docker görüntüsünün URL'si. |
ComputeDockerBasicAuth
| Name | Yol | Tür | Description |
|---|---|---|---|
|
şifre
|
password | string |
Kullanıcının parolası |
|
kullanıcı adı
|
username | string |
Kullanıcının adı |
ComputeInitScriptInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
abfss
|
abfss | ComputeAdlsgen2Info | |
|
file
|
file | ComputeLocalFileInfo | |
|
Gcs
|
gcs | ComputeGcsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo | |
|
workspace
|
workspace | ComputeWorkspaceStorageInfo |
ComputeAdlsgen2Info
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
abfss hedefi, örneğin abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>. |
ComputeLocalFileInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
yerel dosya hedefi, örneğin dosya:/my/local/file.sh |
ComputeGcsStorageInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
GCS hedefi/URI'sı, örneğin gs://my-bucket/some-prefix |
ComputeWorkspaceStorageInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination
|
destination | string |
wsfs hedefi, örneğin çalışma alanı:/cluster-init-scripts/setup-datadog.sh |
ComputeKind
ComputeRuntimeEngine
ComputeWorkloadType
| Name | Yol | Tür | Description |
|---|---|---|---|
|
clients
|
clients | ComputeClientsTypes |
ComputeClientsTypes
| Name | Yol | Tür | Description |
|---|---|---|---|
|
jobs
|
jobs | boolean |
İşler ayarlandığında, küme işler için kullanılabilir |
|
Dizüstü
|
notebooks | boolean |
Not defterleri ayarlandığında, bu küme not defterleri için kullanılabilir |
JobsJobNotificationSettings
| Name | Yol | Tür | Description |
|---|---|---|---|
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
True ise, çalıştırma iptal edilirse on_failure'de belirtilen alıcılara bildirim göndermeyin. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
True ise, çalıştırma atlanırsa on_failure'de belirtilen alıcılara bildirim göndermeyin. |
İşlerJobParameterDefinition
| Name | Yol | Tür | Description |
|---|---|---|---|
|
default
|
default | string |
Parametrenin varsayılan değeri. |
|
name
|
name | string |
Tanımlanan parametrenin adı. Yalnızca _, -ve alfasayısal karakterler içerebilir. |
jobsjobrunas
| Name | Yol | Tür | Description |
|---|---|---|---|
|
service_principal_name
|
service_principal_name | string |
Etkin hizmet sorumlusunun uygulama kimliği. Bu alanın ayarlanması için servicePrincipal/user rolü gerekir. |
|
user_name
|
user_name | string |
Etkin çalışma alanı kullanıcısının e-posta adresi. Yönetici olmayan kullanıcılar bu alanı yalnızca kendi e-postalarına ayarlayabilir. |
İşlerCronSchedule
| Name | Yol | Tür | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus | |
|
quartz_cron_expression
|
quartz_cron_expression | string |
Bir işin zamanlamasını açıklayan Quartz söz dizimini kullanan cron ifadesi. Ayrıntılar için bkz . Cron Tetikleyicisi . Bu alan gereklidir. |
|
timezone_id
|
timezone_id | string |
Java saat dilimi kimliği. Bir işin zamanlaması bu saat dilimine göre çözümlenir. Ayrıntılar için bkz. Java TimeZone . Bu alan gereklidir. |
jobstask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
condition_task
|
condition_task | JobsConditionTask | |
|
dashboard_task
|
dashboard_task | JobsDashboardTask | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
Görevin bağımlılık grafiğini belirten isteğe bağlı bir nesne dizisi. Bu görevi yürütmeden önce bu alanda belirtilen tüm görevlerin tamamlanması gerekir. Görev yalnızca run_if koşulu true olduğunda çalışır. Anahtar task_key ve değer bağımlı göreve atanan addır. |
|
açıklama
|
description | string |
Bu görev için isteğe bağlı bir açıklama. |
|
disable_auto_optimization
|
disable_auto_optimization | boolean |
Sunucusuz olarak otomatik iyileştirmeyi devre dışı bırakma seçeneği |
|
email_notifications
|
email_notifications | JobsTaskEmailNotifications | |
|
environment_key
|
environment_key | string |
bir işteki ortam belirtimlerine başvuran anahtar. Bu alan, sunucusuz işlem kullanılırken Python betiği, Python tekerleği ve dbt görevleri için gereklidir. |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz |
|
for_each_task
|
for_each_task | JobsForEachTask | |
|
Sağlık
|
health | JobsJobsHealthRules | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür. |
|
libraries
|
libraries | array of ComputeLibrary |
Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir. |
|
max_retries
|
max_retries | integer |
Başarısız bir çalıştırmayı yeniden denemenin isteğe bağlı en fazla sayısı. BAŞARıSıZ result_state veya INTERNAL_ERROR life_cycle_state ile tamamlanan bir çalıştırmanın başarısız olduğu kabul edilir. -1 değeri süresiz olarak yeniden deneme anlamına gelir ve 0 değeri hiçbir zaman yeniden deneme anlamına gelir. |
|
min_retry_interval_millis
|
min_retry_interval_millis | integer |
Başarısız çalıştırmanın başlangıcı ile sonraki yeniden deneme çalıştırması arasında milisaniye cinsinden isteğe bağlı en düşük aralık. Varsayılan davranış başarısız çalıştırmaların hemen yeniden denenmiş olmasıdır. |
|
new_cluster
|
new_cluster | ComputeClusterSpec | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | JobsTaskNotificationSettings | |
|
pipeline_task
|
pipeline_task | JobsPipelineTask | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | JobsPythonWheelTask | |
|
retry_on_timeout
|
retry_on_timeout | boolean |
Bir işin zaman aşımına uğradıklarında yeniden denenip denenmeyeceğini belirtmek için isteğe bağlı bir ilke. Varsayılan davranış, zaman aşımında yeniden denememektir. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
spark_jar_task
|
spark_jar_task | JobsSparkJarTask | |
|
spark_python_task
|
spark_python_task | JobsSparkPythonTask | |
|
spark_submit_task
|
spark_submit_task | JobsSparkSubmitTask | |
|
sql_task
|
sql_task | Object | |
|
task_key
|
task_key | string |
Görev için benzersiz bir ad. Bu alan, bu göreve diğer görevlerden başvurmak için kullanılır. Bu alan gereklidir ve üst işi içinde benzersiz olmalıdır. Güncelleştir veya Sıfırla'da, bu alan güncelleştirilecek veya sıfırlanacak görevlere başvurmak için kullanılır. |
|
timeout_seconds
|
timeout_seconds | integer |
Bu iş görevinin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir. |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsConditionTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
sol
|
left | string |
Koşul görevinin sol işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir. |
|
Op
|
op | JobsConditionTaskOp | |
|
Sağ
|
right | string |
Koşul görevinin sağ işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir. |
JobsConditionTaskOp
İşlerDashboardTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
dashboard_id
|
dashboard_id | string |
Yenilenecek panonun tanımlayıcısı. |
|
subscription
|
subscription | JobsSubscription | |
|
warehouse_id
|
warehouse_id | string |
İsteğe bağlı: Zamanlamaya ilişkin panonun yürütülecek ambar kimliği. Belirtilmezse, panonun varsayılan ambarı kullanılır. |
İşlerAbonelik
| Name | Yol | Tür | Description |
|---|---|---|---|
|
custom_subject
|
custom_subject | string |
İsteğe bağlı: Kullanıcıların abonelere gönderilen e-postada özel bir konu satırı belirtmesine izin verir. |
|
Duraklatıldı
|
paused | boolean |
Doğru olduğunda abonelik e-posta göndermez. |
|
Abone
|
subscribers | array of JobsSubscriptionSubscriber |
Panonun anlık görüntüsünü gönderecek abonelerin listesi. |
JobsSubscriptionSubscriber
| Name | Yol | Tür | Description |
|---|---|---|---|
|
destination_id
|
destination_id | string |
destination_id alanı mevcut olduğunda panonun anlık görüntüsü hedefe gönderilir. |
|
user_name
|
user_name | string |
panonun anlık görüntüsü, user_name alanı mevcut olduğunda kullanıcının e-postasına gönderilir. |
İşlerKaynak
İşlerTaskDependency
| Name | Yol | Tür | Description |
|---|---|---|---|
|
sonuç
|
outcome | string |
Yalnızca koşul görev bağımlılıklarında belirtilebilir. Bu görevin çalışması için karşılanması gereken bağımlı görevin sonucu. |
|
task_key
|
task_key | string |
Bu görevin bağlı olduğu görevin adı. |
İşlerTaskEmailNotifications
| Name | Yol | Tür | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında bildirilecek e-posta adreslerinin listesi. İşin sistem durumu alanında RUN_DURATION_SECONDS ölçümü için hiçbir kural belirtilmezse bildirimler gönderilmez. |
|
on_failure
|
on_failure | array of string |
Bir çalıştırma başarısız olduğunda bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın bir INTERNAL_ERROR life_cycle_state veya BAŞARISIZ veya TIMED_OUT result_state ile sona ermesi durumunda başarısız bir şekilde tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez. |
|
on_start
|
on_start | array of string |
Çalıştırma başladığında bildirilecek e-posta adreslerinin listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. |
|
on_success
|
on_success | array of string |
Bir çalıştırma başarıyla tamamlandığında bildirilecek e-posta adreslerinin listesi. Bir çalıştırmanın sonlandırılan life_cycle_state ve SUCCESS result_state ile bitmesi durumunda başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
ComputeLibrary
| Name | Yol | Tür | Description |
|---|---|---|---|
|
Cran
|
cran | ComputeRCranLibrary | |
|
kavanoz
|
jar | string |
Yüklenecek JAR kitaplığının URI'sini. Desteklenen URI'ler çalışma alanı yolları, Unity Kataloğu Birimleri yolları ve ADLS URL'leridir. Örneğin: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } veya { "jar": "abfss://my-bucket/library.jar" }. ADLS kullanılıyorsa, lütfen kümenin kitaplıkta okuma erişimi olduğundan emin olun. ADLS URI'sine erişmek için kümeyi bir Microsoft Entra ID hizmet sorumlusuyla başlatmanız gerekebilir. |
|
Maven
|
maven | ComputeMavenLibrary | |
|
pypi
|
pypi | ComputePythonPyPiLibrary | |
|
gereksinimleri
|
requirements | string |
Yüklenecek requirements.txt dosyasının URI'sini seçin. Yalnızca Çalışma Alanı yolları ve Unity Kataloğu Birimleri yolları desteklenir. Örneğin: { "requirements": "/Workspace/path/to/requirements.txt" } veya { "requirements" : "/Volumes/path/to/requirements.txt" } |
|
whl
|
whl | string |
Yüklenecek tekerlek kitaplığının URI'sini. Desteklenen URI'ler çalışma alanı yolları, Unity Kataloğu Birimleri yolları ve ADLS URL'leridir. Örneğin: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } veya { "whl": "abfss://my-bucket/library.whl" }. ADLS kullanılıyorsa, lütfen kümenin kitaplıkta okuma erişimi olduğundan emin olun. ADLS URI'sine erişmek için kümeyi bir Microsoft Entra ID hizmet sorumlusuyla başlatmanız gerekebilir. |
İşlerForEachTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
Eşzamanlılık
|
concurrency | integer |
görevin isteğe bağlı olarak izin verilen en fazla eşzamanlı çalıştırma sayısı. Görevin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. |
|
Girişler
|
inputs | string |
Görevin yinelenir dizisi. Bu bir JSON dizesi veya dizi parametresi başvurusu olabilir. |
|
görev
|
task | Object |
ComputeRCranLibrary
| Name | Yol | Tür | Description |
|---|---|---|---|
|
paket
|
package | string |
Yüklenecek CRAN paketinin adı. |
|
Repo
|
repo | string |
Paketin bulunabileceği depo. Belirtilmezse, varsayılan CRAN deposu kullanılır. |
ComputeMavenLibrary
| Name | Yol | Tür | Description |
|---|---|---|---|
|
Koordinat -ları
|
coordinates | string |
Gradle stili maven koordinatları. Örneğin: "org.jsoup:jsoup:1.7.2". |
|
Dışlamalar
|
exclusions | array of string |
Dışlanması gereken bağımlılıkların listesi. Örneğin: ["slf4j:slf4j", "*:hadoop-client"]. Maven bağımlılık dışlamaları: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html. |
|
Repo
|
repo | string |
Maven paketinin yükleneceği Maven deposu. Atlanırsa, hem Maven Merkezi Deposu hem de Spark Paketleri aranır. |
ComputePythonPyPiLibrary
| Name | Yol | Tür | Description |
|---|---|---|---|
|
paket
|
package | string |
Yüklenecek pypi paketinin adı. İsteğe bağlı tam sürüm belirtimi de desteklenir. Örnekler: "simplejson" ve "simplejson==3.8.0". |
|
Repo
|
repo | string |
Paketin bulunabileceği depo. Belirtilmezse, varsayılan pip dizini kullanılır. |
JobsNotebookTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
Bu işin her çalıştırması için kullanılacak temel parametreler. Çalıştırma, belirtilen parametrelerle :method:jobs/run Now çağrısıyla başlatılırsa, iki parametre eşlemesi birleştirilir. base_parameters ve şimdi çalıştır'da aynı anahtar belirtilirse, şimdi çalıştır'dan alınan değer kullanılır. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın. Not defteri işin base_parameters veya şimdi çalıştır geçersiz kılma parametrelerinde belirtilmeyen bir parametre alırsa, not defterindeki varsayılan değer kullanılır. dbutils.widgets.get kullanarak bu parametreleri not defterinde alın. Bu alanın JSON gösterimi 1 MB'ı aşamaz. |
|
notebook_path
|
notebook_path | string |
Azure Databricks çalışma alanında veya uzak depoda çalıştırılacak not defterinin yolu. Azure Databricks çalışma alanında depolanan not defterleri için yol mutlak olmalı ve eğik çizgiyle başlamalıdır. Uzak bir depoda depolanan not defterleri için yolun göreli olması gerekir. Bu alan gereklidir. |
|
kaynak
|
source | JobsSource | |
|
warehouse_id
|
warehouse_id | string |
not defterini bir SQL ambarı üzerinde çalıştırmak için isteğe bağlı warehouse_id. Klasik SQL ambarları DESTEKLENMEZ, lütfen sunucusuz veya profesyonel SQL ambarları kullanın. SQL ambarlarının yalnızca SQL hücrelerini desteklediğini unutmayın; not defteri SQL olmayan hücreler içeriyorsa çalıştırma başarısız olur. |
İşlerTaskNotificationSettings
| Name | Yol | Tür | Description |
|---|---|---|---|
|
alert_on_last_attempt
|
alert_on_last_attempt | boolean |
True ise, yeniden denenen çalıştırmalar için on_start'de belirtilen alıcılara bildirim göndermeyin ve çalıştırmanın son yeniden denemesine kadar on_failure'de belirtilen alıcılara bildirim göndermeyin. |
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
True ise, çalıştırma iptal edilirse on_failure'de belirtilen alıcılara bildirim göndermeyin. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
True ise, çalıştırma atlanırsa on_failure'de belirtilen alıcılara bildirim göndermeyin. |
İşlerPipelineTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
True ise, delta live tablosunda tam yenileme tetikler. |
|
pipeline_id
|
pipeline_id | string |
Yürütülecek işlem hattı görevinin tam adı. |
İşlerPythonWheelTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
entry_point
|
entry_point | string |
Kullanılacak adlandırılmış giriş noktası, paketin meta verilerinde yoksa işlevi doğrudan $packageName.$entryPoint() kullanarak paketten yürütür |
|
named_parameters
|
named_parameters | object |
Komut satırı parametreleri Python tekerlek görevine ["--name=task", "--data=dbfs:/path/to/data.json"] biçiminde geçirilir. Parametreler null değilse boş bırakın. |
|
package_name
|
package_name | string |
Yürütülecek paketin adı |
|
parameters
|
parameters | array of string |
Komut satırı parametreleri Python tekerlek görevine geçirildi. named_parameters null değilse boş bırakın. |
İşlerRunIf
İşlerRunJobTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
job_id
|
job_id | integer |
Tetikleme işinin kimliği. |
|
job_parameters
|
job_parameters | object |
İşi tetiklemede kullanılan iş düzeyi parametreleri. |
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
İşlerSparkJarTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
main_class_name
|
main_class_name | string |
Yürütülecek ana yöntemi içeren sınıfın tam adı. Bu sınıf, kitaplık olarak sağlanan bir JAR içinde yer almalıdır. Bir Spark bağlamı elde etmek için kodun SparkContext.getOrCreate kullanması gerekir; aksi takdirde, işin çalıştırmaları başarısız olur. |
|
parameters
|
parameters | array of string |
Ana yönteme geçirilen parametreler. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın. |
İşlerSparkPythonTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Komut satırı parametreleri Python dosyasına geçirildi. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın. |
|
python_file
|
python_file | string |
Yürütülecek Python dosyası. Bulut dosyası URI'leri (dbfs:/, s3:/, adls:/, gcs:/) ve çalışma alanı yolları desteklenir. Azure Databricks çalışma alanında depolanan python dosyaları için yol mutlak olmalı ve /ile başlamalıdır. Uzak depoda depolanan dosyalar için yol göreli olmalıdır. Bu alan gereklidir. |
|
kaynak
|
source | JobsSource |
İşlerSparkSubmitTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Spark'a geçirilen komut satırı parametreleri gönderme. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Görev parametresi değişkenlerini kullanın. |
İşlerWebhookNotifications
| Name | Yol | Tür | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of JobsWebhook |
Bir çalıştırmanın süresi sistem durumu alanındaki RUN_DURATION_SECONDS ölçümü için belirtilen eşiği aştığında çağrılacak isteğe bağlı sistem bildirimi kimlikleri listesi. on_duration_warning_threshold_exceeded özelliği için en fazla 3 hedef belirtilebilir. |
|
on_failure
|
on_failure | array of JobsWebhook |
Çalıştırma başarısız olduğunda çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_failure özelliği için en fazla 3 hedef belirtilebilir. |
|
on_start
|
on_start | array of JobsWebhook |
Çalıştırma başladığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_start özelliği için en fazla 3 hedef belirtilebilir. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of JobsWebhook |
Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. Akış kapsamı eşikleri sistem durumu alanında şu ölçümler kullanılarak ayarlanabilir: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS veya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. on_streaming_backlog_exceeded özelliği için en fazla 3 hedef belirtilebilir. |
|
on_success
|
on_success | array of JobsWebhook |
Çalıştırma başarıyla tamamlandığında çağrılacak isteğe bağlı sistem bildirim kimlikleri listesi. on_success özelliği için en fazla 3 hedef belirtilebilir. |
İşlerWebhook
| Name | Yol | Tür | Description |
|---|---|---|---|
|
kimlik
|
id | string |
JobsTriggerSettings
| Name | Yol | Tür | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerConfiguration | |
|
pause_status
|
pause_status | JobsPauseStatus | |
|
Periyodik
|
periodic | JobsPeriodicTriggerConfiguration |
JobsFileArrivalTriggerConfiguration
| Name | Yol | Tür | Description |
|---|---|---|---|
|
min_time_between_triggers_seconds
|
min_time_between_triggers_seconds | integer |
Ayarlanırsa, tetikleyici yalnızca tetikleyicinin son tetiklendiğinden bu yana belirtilen süre geçtikten sonra bir çalıştırma başlatır. İzin verilen en düşük değer 60 saniyedir |
|
url
|
url | string |
Dosya gelenler için izlenecek URL. Yol, dış konumun köküne veya alt yoluna işaret etmelidir. |
|
wait_after_last_change_seconds
|
wait_after_last_change_seconds | integer |
Ayarlanırsa, tetikleyici yalnızca belirtilen süre boyunca hiçbir dosya etkinliği gerçekleşmedikten sonra bir çalıştırma başlatır. Bu, bir çalıştırmayı tetiklemeden önce bir toplu gelen dosyaların gelmesini beklemeyi mümkün kılar. İzin verilen en düşük değer 60 saniyedir. |
JobsPeriodicTriggerConfiguration
| Name | Yol | Tür | Description |
|---|---|---|---|
|
interval
|
interval | integer |
Tetikleyicinin çalıştırılması gereken aralık. |
|
birim
|
unit | JobsPeriodicTriggerConfigurationTimeUnit |
JobsPeriodicTriggerConfigurationTimeUnit
İşlerTriggerStateProto
| Name | Yol | Tür | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerState |
JobsFileArrivalTriggerState
| Name | Yol | Tür | Description |
|---|---|---|---|
|
using_file_events
|
using_file_events | boolean |
Tetikleyicinin dosya gelenleri algılamak için dosya olaylarından yararlanıp yararlanmadığını gösterir. |
İşler Çalıştır
| Name | Yol | Tür | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
Tetiklenen bir iş çalıştırması için bu çalıştırma denemesinin sıra numarası. Çalıştırmanın ilk denemesinde 0 attempt_number vardır. İlk çalıştırma girişimi başarısız olursa ve işin yeniden deneme ilkesi (max_retries > 0) varsa, sonraki çalıştırmalar özgün deneme kimliğinin original_attempt_run_id ve artan bir attempt_number ile oluşturulur. Çalıştırmalar yalnızca başarılı olana kadar yeniden denenür ve en fazla attempt_number iş için max_retries değeriyle aynıdır. |
|
cleanup_duration
|
cleanup_duration | integer |
Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için cleanup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
cluster_spec
|
cluster_spec | JobsClusterSpec | |
|
creator_user_name
|
creator_user_name | string |
Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir. |
|
açıklama
|
description | string |
Çalıştırmanın açıklaması |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
bitiş_zamanı
|
end_time | integer |
Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır. |
|
execution_duration
|
execution_duration | integer |
Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için execution_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
git_source
|
git_source | JobsGitSource | |
|
daha_fazla
|
has_more | boolean |
Çalıştırmanın gösterilmeyen daha fazla dizi özelliğine (görevler, job_clusters) sahip olup olmadığını gösterir. Bunlara :method:jobs/getrun uç noktası üzerinden erişilebilir. Yalnızca expand_tasks=true ile API 2.2 :method:jobs/listruns istekleri için geçerlidir. |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir. 100'den fazla iş kümesi varsa,:method:jobs/getrun kullanarak bunlar arasında sayfalandırabilirsiniz. |
|
job_id
|
job_id | integer |
Bu çalıştırmayı içeren işin kurallı tanımlayıcısı. |
|
job_parameters
|
job_parameters | array of JobsJobParameter |
Çalıştırmada kullanılan iş düzeyi parametreleri |
|
job_run_id
|
job_run_id | integer |
Bu çalıştırmanın ait olduğu iş çalıştırmasının kimliği. Eski ve tek görevli iş çalıştırmaları için, alan iş çalıştırma kimliğiyle doldurulur. Görev çalıştırmaları için, alan görev çalıştırmasının ait olduğu iş çalıştırmasının kimliğiyle doldurulur. |
|
next_page_token
|
next_page_token | string |
Dizi özelliklerinin sonraki sayfasını listelemek için kullanılabilecek bir belirteç. |
|
original_attempt_run_id
|
original_attempt_run_id | integer |
Bu çalıştırma önceki bir çalıştırma denemesinin yeniden denemesiyse, bu alan özgün denemenin run_id içerir; aksi takdirde, run_id aynıdır. |
|
overriding_parameters
|
overriding_parameters | JobsRunParameters | |
|
queue_duration
|
queue_duration | integer |
Çalıştırmanın kuyrukta harcadığı milisaniye cinsinden süre. |
|
repair_history
|
repair_history | array of JobsRepairHistoryItem |
Çalıştırmanın onarım geçmişi. |
|
run_duration
|
run_duration | integer |
milisaniye cinsinden işin çalıştırılmasını ve tüm onarımlarının bitimini aldı. |
|
run_id
|
run_id | integer |
Çalıştırmanın kurallı tanımlayıcısı. Bu kimlik, tüm işlerin tüm çalıştırmaları arasında benzersizdir. |
|
run_name
|
run_name | string |
Çalıştırma için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır. |
|
run_page_url
|
run_page_url | string |
Çalıştırmanın ayrıntı sayfasının URL'si. |
|
çalışma_türü
|
run_type | JobsRunType | |
|
program
|
schedule | JobsCronSchedule | |
|
setup_duration
|
setup_duration | integer |
Kümeyi ayarlamak için geçen milisaniye cinsinden süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için setup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
başlangıç zamanı
|
start_time | integer |
Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır. |
|
statü
|
status | JobsRunStatus | |
|
tasks
|
tasks | array of JobsRunTask |
Çalıştırma tarafından gerçekleştirilen görevlerin listesi. Her görevin, çalıştırma yinelemelerini almak için JobsGetOutput'u çağırmak için kullanabileceğiniz kendi run_id vardır. 100'den fazla görev varsa, :method:jobs/getrun kullanarak bunları sayfalandırabilirsiniz. Daha fazla sonuç olup olmadığını belirlemek için nesne kökündeki next_page_token alanını kullanın. |
|
trigger
|
trigger | JobsTriggerType | |
|
trigger_info
|
trigger_info | JobsTriggerInfo |
JobsClusterInstance
| Name | Yol | Tür | Description |
|---|---|---|---|
|
cluster_id
|
cluster_id | string |
Çalıştırma tarafından kullanılan kümenin kurallı tanımlayıcısı. Bu alan, mevcut kümelerdeki çalıştırmalar için her zaman kullanılabilir. Yeni kümelerdeki çalıştırmalar için, küme oluşturulduktan sonra kullanılabilir duruma gelir. Bu değer , /#setting/sparkui/$cluster_id/driver-logs adresine göz atarak günlükleri görüntülemek için kullanılabilir. Çalıştırma tamamlandıktan sonra günlükler kullanılabilir olmaya devam eder. Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez. |
|
spark_context_id
|
spark_context_id | string |
Çalıştırma tarafından kullanılan Spark bağlamı için kurallı tanımlayıcı. Çalıştırma yürütülmeye başladıktan sonra bu alan doldurulur. Bu değer, /#setting/sparkui/$cluster_id/$spark_context_id adresine göz atarak Spark kullanıcı arabirimini görüntülemek için kullanılabilir. Spark kullanıcı arabirimi, çalıştırma tamamlandıktan sonra kullanılabilir olmaya devam eder. Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez. |
JobsClusterSpec
| Name | Yol | Tür | Description |
|---|---|---|---|
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür. |
|
libraries
|
libraries | array of ComputeLibrary |
Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
İşlerJobParameter
| Name | Yol | Tür | Description |
|---|---|---|---|
|
default
|
default | string |
parametresinin isteğe bağlı varsayılan değeri |
|
name
|
name | string |
Parametrenin adı |
|
value
|
value | string |
Çalıştırmada kullanılan değer |
İşlerRunParameters
| Name | Yol | Tür | Description |
|---|---|---|---|
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
İşlerRepairHistoryItem
| Name | Yol | Tür | Description |
|---|---|---|---|
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
bitiş_zamanı
|
end_time | integer |
(Onarıldı) çalıştırmasının bitiş saati. |
|
kimlik
|
id | integer |
Onarımın kimliği. Yalnızca repair_history bir onarımı temsil eden öğeler için döndürülür. |
|
başlangıç zamanı
|
start_time | integer |
(Onarıldı) çalıştırmasının başlangıç saati. |
|
statü
|
status | JobsRunStatus | |
|
task_run_ids
|
task_run_ids | array of integer |
Görevin çalıştırma kimlikleri, bu onarım geçmişi öğesinin bir parçası olarak çalıştırılan çalışır. |
|
type
|
type | JobsRepairHistoryItemType |
İşlerRunStatus
| Name | Yol | Tür | Description |
|---|---|---|---|
|
queue_details
|
queue_details | JobsQueueDetails | |
|
state
|
state | JobsRunLifecycleStateV2State | |
|
termination_details
|
termination_details | JobsTerminationDetails |
JobsQueueDetails
| Name | Yol | Tür | Description |
|---|---|---|---|
|
kod
|
code | JobsQueueDetailsCodeCode | |
|
message
|
message | string |
Kuyruğa alma ayrıntılarını içeren açıklayıcı bir ileti. Bu alan yapılandırılmamış ve tam biçimi değiştirilebilir. |
JobsQueueDetailsCodeCode
İşlerRunLifecycleStateV2State
JobsTerminationDetails
| Name | Yol | Tür | Description |
|---|---|---|---|
|
kod
|
code | JobsTerminationCodeCode | |
|
message
|
message | string |
Sonlandırma ayrıntılarını içeren açıklayıcı bir ileti. Bu alan yapılandırılmamış ve biçim değişebilir. |
|
type
|
type | JobsTerminationTypeType |
JobsTerminationCodeCode
JobsTerminationTypeType
İşlerRepairHistoryItemType
İşlerRunType
İşlerRunTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
Tetiklenen bir iş çalıştırması için bu çalıştırma denemesinin sıra numarası. Çalıştırmanın ilk denemesinde 0 attempt_number vardır. İlk çalıştırma girişimi başarısız olursa ve işin yeniden deneme ilkesi (max_retries > 0) varsa, sonraki çalıştırmalar özgün deneme kimliğinin original_attempt_run_id ve artan bir attempt_number ile oluşturulur. Çalıştırmalar yalnızca başarılı olana kadar yeniden denenür ve en fazla attempt_number iş için max_retries değeriyle aynıdır. |
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
cleanup_duration
|
cleanup_duration | integer |
Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için cleanup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
condition_task
|
condition_task | JobsRunConditionTask | |
|
dashboard_task
|
dashboard_task | Object | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
Görevin bağımlılık grafiğini belirten isteğe bağlı bir nesne dizisi. Bu görevi yürütmeden önce bu alanda belirtilen tüm görevlerin başarıyla tamamlanması gerekir. Anahtar task_key ve değer bağımlı göreve atanan addır. |
|
açıklama
|
description | string |
Bu görev için isteğe bağlı bir açıklama. |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
bitiş_zamanı
|
end_time | integer |
Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır. |
|
environment_key
|
environment_key | string |
bir işteki ortam belirtimlerine başvuran anahtar. Bu alan, sunucusuz işlem kullanılırken Python betiği, Python tekerleği ve dbt görevleri için gereklidir. |
|
execution_duration
|
execution_duration | integer |
Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için execution_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id, tüm kümeler için kullanılan mevcut bir kümenin kimliği çalışır. Mevcut bir kümede işleri veya görevleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde işleri ve görevleri çalıştırmanızı öneririz |
|
for_each_task
|
for_each_task | Object | |
|
git_source
|
git_source | JobsGitSource | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key, bu görev job.settings.job_clusters'de belirtilen kümeyi yeniden kullanarak yürütülür. |
|
libraries
|
libraries | array of Object |
Kümeye yüklenecek isteğe bağlı kitaplık listesi. Varsayılan değer boş bir listedir. |
|
new_cluster
|
new_cluster | Object | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | Object | |
|
pipeline_task
|
pipeline_task | Object | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | Object | |
|
queue_duration
|
queue_duration | integer |
Çalıştırmanın kuyrukta harcadığı milisaniye cinsinden süre. |
|
resolved_values
|
resolved_values | JobsResolvedValues | |
|
run_duration
|
run_duration | integer |
milisaniye cinsinden işin çalıştırılmasını ve tüm onarımlarının bitimini aldı. |
|
run_id
|
run_id | integer |
Görev çalıştırmasının kimliği. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
run_page_url
|
run_page_url | string | |
|
setup_duration
|
setup_duration | integer |
Kümeyi ayarlamak için geçen milisaniye cinsinden süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. Görev çalıştırmasının süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. çok görevli iş çalıştırmaları için setup_duration alanı 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi, run_duration alanının değeridir. |
|
spark_jar_task
|
spark_jar_task | Object | |
|
spark_python_task
|
spark_python_task | Object | |
|
spark_submit_task
|
spark_submit_task | Object | |
|
sql_task
|
sql_task | Object | |
|
başlangıç zamanı
|
start_time | integer |
Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır. |
|
statü
|
status | JobsRunStatus | |
|
task_key
|
task_key | string |
Görev için benzersiz bir ad. Bu alan, bu göreve diğer görevlerden başvurmak için kullanılır. Bu alan gereklidir ve üst işi içinde benzersiz olmalıdır. Güncelleştir veya Sıfırla'da, bu alan güncelleştirilecek veya sıfırlanacak görevlere başvurmak için kullanılır. |
|
timeout_seconds
|
timeout_seconds | integer |
Bu iş görevinin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. 0 değeri zaman aşımı olmadığı anlamına gelir. |
|
webhook_notifications
|
webhook_notifications | Object |
İşlerRunConditionTask
| Name | Yol | Tür | Description |
|---|---|---|---|
|
sol
|
left | string |
Koşul görevinin sol işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir. |
|
Op
|
op | JobsConditionTaskOp | |
|
sonuç
|
outcome | string |
Koşul ifadesi değerlendirme sonucu. Görev başarıyla tamamlandıysa doldurulur. "true" veya "false" olabilir |
|
Sağ
|
right | string |
Koşul görevinin sağ işleneni. Dize değeri, iş durumu veya parametre başvurusu olabilir. |
JobsTriggerType
İşlerTriggerInfo
| Name | Yol | Tür | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
İşi Çalıştır görev çalıştırmasının çalıştırma kimliği |
İşlerRunOutput
| Name | Yol | Tür | Description |
|---|---|---|---|
|
clean_rooms_notebook_output
|
clean_rooms_notebook_output | Object | |
|
dashboard_output
|
dashboard_output | Object | |
|
dbt_output
|
dbt_output | Object | |
|
hata
|
error | string |
Görevin neden başarısız olduğunu veya çıkışın neden kullanılamadığını belirten bir hata iletisi. İleti yapılandırılmamış ve tam biçimi değiştirilebilir. |
|
error_trace
|
error_trace | string |
Çalıştırma yürütülürken bir hata oluştuysa, bu alan kullanılabilir yığın izlemelerini içerir. |
|
info
|
info | string | |
|
logs
|
logs | string |
spark_jar_task, spark_python_task python_wheel_task gibi standart akışlara (stdout/stderr) yazan görevlerin çıktısı. notebook_task, pipeline_task veya spark_submit_task için desteklenmez. Azure Databricks bu API'yi bu günlüklerin son 5 MB'ını döndürecek şekilde kısıtlar. |
|
logs_truncated
|
logs_truncated | boolean |
Günlüklerin kesilip kesilmediği. |
|
metadata
|
metadata | Object | |
|
notebook_output
|
notebook_output | JobsNotebookOutput | |
|
run_job_output
|
run_job_output | JobsRunJobOutput | |
|
sql_output
|
sql_output | Object |
JobsNotebookOutput
| Name | Yol | Tür | Description |
|---|---|---|---|
|
sonuç
|
result | string |
dbutils.notebook.exit() adresine geçirilen değer. Azure Databricks, bu API'yi değerin ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç için işiniz sonuçları bir bulut depolama hizmetinde depolayabilir. dbutils.notebook.exit() hiçbir zaman çağrılmadıysa bu alan yoktur. |
|
Kesilmiş
|
truncated | boolean |
Sonucun kesilip kesilmediği. |
İşlerRunJobOutput
| Name | Yol | Tür | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
Tetiklenen iş çalıştırmasının çalıştırma kimliği |
jobsResolvedValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
condition_task
|
condition_task | JobsResolvedConditionTaskValues | |
|
dbt_task
|
dbt_task | JobsResolvedDbtTaskValues | |
|
notebook_task
|
notebook_task | JobsResolvedNotebookTaskValues | |
|
python_wheel_task
|
python_wheel_task | JobsResolvedPythonWheelTaskValues | |
|
run_job_task
|
run_job_task | JobsResolvedRunJobTaskValues | |
|
simulation_task
|
simulation_task | JobsResolvedParamPairValues | |
|
spark_jar_task
|
spark_jar_task | JobsResolvedStringParamsValues | |
|
spark_python_task
|
spark_python_task | JobsResolvedStringParamsValues | |
|
spark_submit_task
|
spark_submit_task | JobsResolvedStringParamsValues | |
|
sql_task
|
sql_task | JobsResolvedParamPairValues |
JobsResolvedConditionTaskValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
sol
|
left | string | |
|
Sağ
|
right | string |
JobsResolvedDbtTaskValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
commands
|
commands | array of string |
İşlerResolvedNotebookTaskValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
JobsResolvedPythonWheelTaskValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
named_parameters
|
named_parameters | object | |
|
parameters
|
parameters | array of string |
İşlerResolvedRunJobTaskValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
job_parameters
|
job_parameters | object | |
|
parameters
|
parameters | object |
İşlerResolvedParamPairValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
parameters
|
parameters | object |
İşlerResolvedStringParamsValues
| Name | Yol | Tür | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |