Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Note
Bu bilgiler Databricks CLI 0.205 ve üzeri sürümleri için geçerlidir. Databricks CLI Genel Önizleme aşamasındadır.
Databricks CLI kullanımı, Kullanım Verileri sağlamaları da dahil olmak üzere Databricks Lisansı ve Databricks Gizlilik Bildirimi'ne tabidir.
pipelines
Databricks CLI içindeki komut grubu iki işlev kümesi içerir. İlk küme, işlem hattı projesini ve iş akışını yönetmenizi sağlar. İkinci küme Databricks'teki işlem hattı nesneleriyle ilgili ayrıntıları oluşturmanızı, düzenlemenizi, silmenizi, başlatmanızı ve görüntülemenizi sağlar.
İşlem hatları hakkında bilgi için bkz. Lakeflow Spark Bildirimli İşlem Hatları.
İşlem hattı projelerini yönetme
Aşağıdaki komutlar projelerdeki işlem hatlarını yönetmenize olanak sağlar. İşlem hatları projesi, bir veya daha fazla işlem hattı nesnesi içerebilen pakettir.
databricks işlem hatları dağıtımı
Projede tanımlanan tüm dosyaları hedef çalışma alanına yükleyerek ve çalışma alanında tanımlanan işlem hatlarını oluşturarak veya güncelleştirerek işlem hatlarını dağıtın.
Önemli
Bu komutu çalıştırmak için Databricks Varlık Paketleri databricks.yml dosyasının proje dizininin kökünde olması gerekir. İşlem hattı projesi oluşturan, ardından işlem hattını dağıtan ve çalıştıran bir öğretici için bkz. Databricks Varlık Paketleri ile Lakeflow Spark Bildirimli İşlem Hatları Geliştirme.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
Dağıtım için gerekli olabilecek etkileşimli onayları atlayın
--fail-on-active-runs
Dağıtımda çalışan işlem hatları varsa başarısız olur
--force-lock
Dağıtım kilidinin alımını zorla. Bu seçenek, eşzamanlı dağıtımların birbiriyle etkileşim kurmasını engelleyen mekanizmayı devre dışı bırakır. Yalnızca önceki dağıtımın kilitlenmesi veya kesintiye uğraması ve eski bir kilit dosyası bırakması durumunda kullanılmalıdır.
databricks işlem hatlarını yok et
İşlem hattı projelerini yok etme.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
"Pipeline'ları silerken etkileşimli onayları atlama"
--force-lock
Dağıtım kilidinin alımını zorla. Bu seçenek, eşzamanlı dağıtımların birbiriyle etkileşim kurmasını engelleyen mekanizmayı devre dışı bırakır. Yalnızca önceki dağıtımın kilitlenmesi veya kesintiye uğraması ve eski bir kilit dosyası bırakması durumunda kullanılmalıdır.
databricks işlem hatları kuru çalıştırma
KEY tarafından tanımlanan işlem hattı grafiğinin doğruluğunu denetler. Hiçbir veri kümesini oluşturmaz veya yayımlamaz.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
YAML dosyasında tanımlandığı gibi, işlem hattının kuru çalıştırılacak benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
Options
--no-wait
Çalışmanın tamamlanmasını beklemeyin
--restart
Zaten çalışıyorsa çalıştırmayı yeniden başlatın
databricks işlem hatları oluşturma
Mevcut bir Spark işlem hattı için yapılandırma oluşturun.
Bu komut, belirtilen dizinde bir spark-pipeline.yml veya *.spark-pipeline.yml dosyasını arar ve projenin işlem hattını tanımlayan klasöründe yeni *.pipeline.yml bir yapılandırma dosyası resources oluşturur. Birden çok spark-pipeline.yml dosya varsa, belirli *.spark-pipeline.yml bir dosyanın tam yolunu belirtin.
databricks pipelines generate [flags]
Note
Databricks çalışma alanında mevcut bir işlem hattı için yapılandırma oluşturmak için bkz. databricks paket oluşturma işlem hattı ve Databricks CLI kullanarak mevcut bir iş veya işlem hattı için yapılandırma oluşturma.
Options
--existing-pipeline-dir
src içindeki mevcut olan işlem hattı dizininin yolu (ör. src/my_pipeline).
--force
Varolan işlem hattı yapılandırma dosyasının üzerine yaz.
Örnekler
Aşağıdaki örnek geçerli dizine bakar ve okur src/my_pipeline/spark-pipeline.ymlve ardından işlem hattını tanımlayan bir yapılandırma dosyası resources/my_pipeline.pipeline.yml oluşturur:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
databricks işlem hatları geçmişi
KEY ile tanımlanan bir boru hattı için geçmiş çalıştırmaları alma.
databricks pipelines history [flags] [KEY]
Arguments
KEY
İşlem hattının, YAML dosyasında tanımlanan benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
Options
--end-time string
Güncelleştirmeleri bu saatten önce filtreleyin (biçim: 2025-01-15T10:30:00Z)
--start-time string
Bu süreden sonra güncelleştirmeleri filtrele (biçim: 2025-01-15T10:30:00Z)
databricks pipelines init
Yeni bir pipeline projesi başlatın.
Databricks CLI kullanarak işlem hattı projesi oluşturma, dağıtma ve çalıştırma konusunda yol gösteren bir öğretici için bkz. Databricks Varlık Paketleri ile Lakeflow Spark Bildirimli İşlem Hatları Geliştirme.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
Şablon başlatma için gereken giriş parametrelerinin anahtar değer çiftlerini içeren JSON dosyası
--output-dir string
Başlatılan şablonun yazıldığı dizin
Databricks işlem hatları günlükleri
KEY tarafından tanımlanan işlem hattı için olayları alın. Varsayılan olarak, bu komut işlem hattının en son güncelleştirmesinin olaylarını gösterir.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
İşlem hattının, YAML dosyasında tanımlanan benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
Options
--end-time string
Bu bitiş saatinden önceki olaylar için filtre uygulama (biçim: 2025-01-15T10:30:00Z)
--event-type strings
Olayları olay türleri listesine göre filtreleme
--level strings
Olayları kayıt seviyeleri listesine göre filtreleme (INFO, WARN, ERROR, METRICS)
-n, --number int
Döndürülecek olay sayısı
--start-time string
Bu başlangıç saatinden sonraki olaylar için filtre uygulama (biçim: 2025-01-15T10:30:00Z)
--update-id string
Olayları güncelleştirme kimliğine göre filtreleyin. Sağlanmadıysa, en son güncelleştirme kimliğini kullanır
Örnekler
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
Databricks işlem hatları açık
Tarayıcıda KEY tarafından tanımlanan bir işlem hattı açın.
databricks pipelines open [flags] [KEY]
Arguments
KEY
YAML dosyasında tanımlandığı gibi açılacak işlem hattının benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
Options
--force-pull
Yerel önbelleği atlayın ve uzak çalışma alanından durumu yükleyin
databricks işlem hatları çalışıyor
KEY tarafından tanımlanan işlem hattını çalıştırın. Aksi belirtilmedikçe işlem hattındaki tüm tabloları yeniler.
Önemli
Bu komutu çalıştırmak için Databricks Varlık Paketleri databricks.yml dosyasının proje dizininin kökünde olması ve işlem hattının zaten dağıtılmış olması gerekir. İşlem hattı projesi oluşturan, ardından işlem hattını dağıtan ve çalıştıran bir öğretici için bkz. Databricks Varlık Paketleri ile Lakeflow Spark Bildirimli İşlem Hatları Geliştirme.
databricks pipelines run [flags] [KEY]
Arguments
KEY
YAML dosyasında tanımlandığı gibi çalıştırılacak işlem hattının benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
Options
--full-refresh strings
Sıfırlanacak ve yeniden hesaplanacak tabloların listesi
--full-refresh-all
Tam grafik sıfırlama ve yeniden derleme gerçekleştirme
--no-wait
Çalışmanın tamamlanmasını beklemeyin
--refresh strings
Çalıştırılacak tabloların listesi
--restart
Zaten çalışıyorsa çalıştırmayı yeniden başlatın
databricks işlem hatları durduruluyor
Çalışıyorsa, KEY veya PIPELINE_ID ile tanımlanan işlem hattını durdurun. Eğer işlem hattı için etkin bir güncelleme yoksa, bu istek etkisiz bir işlem olur.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
YAML dosyasında tanımlandığı gibi durdurulacak işlem hattının benzersiz adı. Projede yalnızca bir işlem hattı varsa, KEY opsiyoneldir ve işlem hattı otomatik olarak seçilir.
PIPELINE_ID
Durdurulacak işlem hattının UUID değeri.
Options
--no-wait
IDLE durumuna ulaşmak için beklemeyin
--timeout duration
IDLE durumuna ulaşmak için en fazla süre (varsayılan 20m0s)
İşlem hattı nesnelerini yönetme
Aşağıdaki komutlar Databricks'teki işlem hattı nesnelerini yönetmenize olanak sağlar. İşlem hattı nesnesi, proje içindeki tek bir işlem hattıdır.
databricks işlem hatları oluşturma
İstenen yapılandırmayı temel alan yeni bir veri işleme işlem hattı oluşturun. Başarılı olursa, bu komut yeni işlem hattının kimliğini döndürür.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
satır içi JSON dizesi veya @path istek gövdesine sahip JSON dosyasına.
databricks işlem hatlarını sil
İşlem hattını silme.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Silinecek olan işlem hattı.
Options
databricks işlem hatlarını al
İşlem hattı alın.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Elde edilecek veri akışı
Options
databricks işlem hatları güncelleme al
Etkin bir işlem hattından güncelleme al.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
İşlem hattının ID'si.
UPDATE_ID
Güncelleştirmenin kimliği.
Options
databricks veri hatları listesi-boru hattı olayları
İşlem hattı için olayları alma.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Olayların alınacağı işlem hattı.
Options
--filter string
SQL benzeri bir söz dizimi kullanılarak ifade edilen sonuçların bir alt kümesini seçme ölçütleri.
--max-results int
Tek bir sayfada döndürülecek en fazla girdi sayısı.
--page-token string
Önceki çağrı tarafından döndürülen sayfa belirteci.
databricks işlem hatları listesi-yapılandırmalar
Delta Live Tables sisteminde tanımlanan işlem hatlarını listeleyin.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
Belirtilen ölçütlere göre sonuçların bir alt kümesini seçin.
--max-results int
Tek bir sayfada döndürülecek en fazla girdi sayısı.
--page-token string
Önceki çağrı tarafından döndürülen sayfa belirteci.
databricks işlem hatları listesi-güncelleştirmeleri
Etkin bir işlem hattının güncellemelerini listele.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Güncelleştirmelerin döndürüleceği işlem hattı.
Options
--max-results int
Tek bir sayfada döndürülecek en fazla girdi sayısı.
--page-token string
Önceki çağrı tarafından döndürülen sayfa belirteci.
--until-update-id string
Varsa, bu update_id kadar güncelleştirmeleri döndürür.
databricks işlem hatlarını başlatma-güncelleştirme
İşlem hattı için yeni bir güncelleştirme başlatın. İşlem hattı için zaten etkin bir güncelleştirme varsa istek başarısız olur ve etkin güncelleştirme çalışmaya devam eder.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Güncelleştirmeyi başlatmak için işlem hattı.
Options
--cause StartUpdateCause
Desteklenen değerler: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Doğruysa, bu güncelleştirme çalışmadan önce tüm tabloları sıfırlar.
--json JSON
satır içi JSON dizesi veya @path istek gövdesine sahip JSON dosyasına.
--validate-only
Eğer doğruysa, bu güncelleştirme yalnızca işlem hattı kaynak kodunun doğruluğunu doğrular ancak veri kümelerini oluşturmaz veya yayımlamaz.
databricks işlem hatları güncelleştirmesi
Sağlanan yapılandırmayla bir işlem hattını güncelleştirin.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Bu işlem hattı için benzersiz tanımlayıcı.
Options
--allow-duplicate-names
False ise, adın değişmesi ve başka bir işlem hattının adıyla çakışması durumunda dağıtım başarısız olur.
--budget-policy-id string
Bu boru hattının bütçe politikası.
--catalog string
Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog.
--channel string
Hangi sürümün kullanılacağını belirten Lakeflow Spark Bildirime Dayalı İşlem Hatları yayın kanalı.
--continuous
Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu.
--development
İşlem hattının geliştirme modunda olup olmadığı.
--edition string
Boru hattı ürün versiyonu.
--expected-last-modified int
Eğer varsa, işlem hattı ayarlarının son düzenlemeden önceki son değiştirilme zamanı.
--id string
Bu işlem hattı için benzersiz tanımlayıcı.
--json JSON
satır içi JSON dizesi veya @path istek gövdesine sahip JSON dosyasına.
--name string
Bu işlem hattı için kullanıcı dostu tanıtıcı.
--photon
Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği.
--pipeline-id string
Bu işlem hattı için benzersiz tanımlayıcı.
--schema string
Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı).
--serverless
Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği.
--storage string
Denetim noktalarını ve tabloları depolamak için DBFS kök dizini.
--target string
Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı).
databricks işlem hatları get-permission-levels
İşlem hattı izin düzeylerini al.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
İzinleri almak veya yönetmek için kullanılan boru hattı.
Options
databricks işlem hatları izinleri al
İşlem hattının izinlerini al. İşlem hatları, izinleri kök nesnelerinden devralabilir.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
İzinleri almak veya yönetmek için kullanılan boru hattı.
Options
databricks pipelineler yetkileri-ayarla
İşlem hattı izinlerini ayarlayın.
Bir nesne üzerindeki izinleri ayarlar ve varsa var olan izinleri değiştirir. Belirtilmezse tüm doğrudan izinleri siler. Nesneler izinleri kök nesnelerinden devralabilir.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
İzinleri almak veya yönetmek için kullanılan boru hattı.
Options
--json JSON
satır içi JSON dizesi veya @path istek gövdesine sahip JSON dosyasına.
databricks işlem hatları güncelleştirme izinleri
Pipeline üzerindeki izinleri güncelleştirin. İşlem hatları, izinleri kök nesnelerinden devralabilir.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
İzinleri almak veya yönetmek için kullanılan boru hattı.
Options
--json JSON
satır içi JSON dizesi veya @path istek gövdesine sahip JSON dosyasına.
Genel bayraklar
--debug
Hata ayıklama günlüğünün etkinleştirilip etkinleştirilmeyileceği.
-h veya --help
Databricks CLI veya ilgili komut grubu ya da ilgili komut için yardım görüntüleyin.
--log-file dizgi
Yazılım günlüklerini yazmak için kullanılacak dosyayı temsil eden bir metin. Bu bayrak belirtilmezse varsayılan değer, çıkış günlüklerini stderr'a yazmaktır.
--log-format biçim
Günlük biçimi türü, text veya json. Varsayılan değer şudur: text.
--log-level dizgi
Günlük format düzeyini temsil eden bir karakter dizisi. Belirtilmezse günlük format seviyesi devre dışı bırakılır.
-o, --output tür
Komut çıktı türü text veya json. Varsayılan değer şudur: text.
-p, --profile dizgi
Komutu çalıştırmak için kullanılacak dosyadaki ~/.databrickscfg profilin adı. Bu bayrak belirtilmezse ve varsa, DEFAULT adlı profil kullanılır.
--progress-format biçim
İlerleme günlüklerini görüntüleme biçimi: default, append, inplaceveya json
-t, --target dizgi
Varsa, kullanılacak paket hedefi