clusters komut grubu

Note

Bu bilgiler Databricks CLI 0.205 ve üzeri sürümleri için geçerlidir. Databricks CLI Genel Önizleme aşamasındadır.

Databricks CLI kullanımı, Kullanım Verileri sağlamaları da dahil olmak üzere Databricks Lisansı ve Databricks Gizlilik Bildirimi'ne tabidir.

clusters Databricks CLI içindeki komut grubu kümeleri oluşturmanıza, başlatmanıza, düzenlemenize, listelemenize, sonlandırmanıza ve silmenize olanak tanır.

Databricks kümesi, üretim ETL işlem hatları, akış analizi, geçici analiz ve makine öğrenmesi gibi veri mühendisliği, veri bilimi ve veri analizi iş yüklerini çalıştırdığınız bir dizi hesaplama kaynağı ve yapılandırmadır. Bkz. Klasik işlem genel bakış.

Important

Databricks, sonlandırılan kümeler için küme yapılandırma bilgilerini 30 gün boyunca saklar. Bir yönetici, 30 günden uzun süre sonlandırıldıktan sonra bile tüm amaçlı küme yapılandırmasını korumak için kümeyi küme listesine sabitleyebilir.

Databricks kümelerinin sahipliğini değiştir

Kümenin sahibini değiştirin. Bu işlemi gerçekleştirmek için yönetici olmanız ve kümenin sonlandırılması gerekir. Hizmet ana uygulama kimliği, owner_username bağımsız değişkeni olarak sağlanabilir.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Arguments

CLUSTER_ID

    Küme kimliği.

OWNER_USERNAME

    RPC'den sonra cluster_id'nin yeni sahibi.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

databricks kümeleri oluşturma

Yeni bir küme oluşturun. Bu komut, gerekirse bulut sağlayıcısından yeni örnekler alır. Bu komut zaman uyumsuzdur; döndürülen cluster_id küme durumunu yoklamada kullanılabilir. Bu komut çalıştırıldığında küme BEKLEMEDE durumundadır. Küme, ÇALıŞTıRILIYOR durumuna girdikten sonra kullanılabilir. Databricks, bulut sağlayıcısı sınırlamaları (hesap sınırları, spot fiyat vb.) veya geçici ağ sorunları nedeniyle istenen düğümlerden bazılarını alamayabilir.

Databricks istenen isteğe bağlı düğümlerden en az 85% alırsa küme oluşturma işlemi başarılı olur. Aksi takdirde küme bilgilendirici bir hata iletisiyle sonlanır.

Databricks, kümenin JSON tanımını sıfırdan yazmak yerine oluşturma işlem kullanıcı arabirimini doldurmanızı ve ardından oluşturulan JSON tanımını kullanıcı arabiriminden kopyalamanızı önerir.

databricks clusters create SPARK_VERSION [flags]

Arguments

SPARK_VERSION

    Kümenin Spark sürümü, örneğin, 13.3.x-scala2.12. Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.

Options

--apply-policy-default-values

    true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır.

--autotermination-minutes int

    Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır.

--cluster-name string

    Kullanıcı tarafından istenen küme adı.

--data-security-mode DataSecurityMode

    Veri güvenliği modu, kümeden verilere erişirken hangi veri idare modelinin kullanılacağına karar verir. Desteklenen değerler: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION

--driver-instance-pool-id string

    Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği.

--driver-node-type-id string

    Spark sürücüsünün düğüm türü.

--enable-elastic-disk

    Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır.

--enable-local-disk-encryption

    Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği.

--instance-pool-id string

    Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.

--is-single-node

    Bu alan yalnızca tür = CLASSIC_PREVIEWolduğunda kullanılabilir.

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--kind Kind

    Bu hesaplama belgesi ile belirtilen hesaplama türü. Desteklenen değerler: CLASSIC_PREVIEW

--no-wait

    ÇALIŞIYOR HALINE ulaşmak için beklemeyin

--node-type-id string

    Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar.

--num-workers int

    Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı.

--policy-id string

    Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.

--runtime-engine RuntimeEngine

    Kümenin çalışma zamanı motorunu (standart veya Foton) belirler. Desteklenen değerler: NULL, PHOTON, STANDARD

--single-user-name string

    data_security_mode SINGLE_USER ise, tek bir kullanıcı adı.

--timeout duration

    ÇALıŞMA durumuna ulaşmak için en fazla süre (varsayılan 20m0s)

--use-ml-runtime

    Bu alan yalnızca tür = CLASSIC_PREVIEWolduğunda kullanılabilir.

Genel bayraklar

databricks kümelerini silme

Kümeyi belirtilen kimlikle sonlandırın. Küme eşzamanlı olmayan bir şekilde kaldırılır. Sonlandırma tamamlandıktan sonra küme TERMINATED durumundadır. Küme zaten TERMINATING veya TERMINATED bir durumundaysa, hiçbir şey olmaz.

databricks clusters delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Sonlandırılacak küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--no-wait

     TERMINATED durumuna ulaşmayı beklemeyin

--timeout duration

     TERMINATED durumuna ulaşmak için maksimum süre (varsayılan 20 m0s)

Genel bayraklar

databricks kümelerini düzenleme

Bir kümenin yapılandırmasını sağlanan özniteliklerle ve boyutla eşleşecek şekilde güncelleştirin. Bir küme, ÇALIŞIYOR veya SONLANDIRILDI durumundaysa güncellenebilir.

Bir küme, ÇALıŞıR durumdayken güncelleştirilirse, yeni özniteliklerin etkili olabilmesi için küme yeniden başlatılır.

Küme SONLANDıRıLDı durumundayken güncelleştirilirse, sonlandırıldı olarak kalır. Kümeler/başlangıç API'sini kullanarak bir sonraki başlatışında, yeni öznitelikler geçerli olur. Başka bir durumdaki bir kümeyi güncelleştirme girişimi INVALID_STATE hata koduyla reddedilir.

Databricks İşleri hizmeti tarafından oluşturulan kümeler düzenlenemez.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Arguments

CLUSTER_ID

    Kümenin kimliği

SPARK_VERSION

    Kümenin Spark sürümü, örneğin, 13.3.x-scala2.12. Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.

Options

--apply-policy-default-values

    atlanmış alanlar için ilkedeki sabit ve varsayılan değerleri kullanın.

--autotermination-minutes int

    Küme belirttiğiniz dakika boyunca etkin olmadığında otomatik olarak sonlandırılır.

--cluster-name string

    Kullanıcı tarafından istenen küme adı.

--data-security-mode DataSecurityMode

    Veri güvenliği modu, kümeden verilere erişirken hangi veri idare modelinin kullanılacağına karar verir. Desteklenen değerler: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION

--driver-instance-pool-id string

    Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği.

--driver-node-type-id string

    Spark sürücüsünün düğüm türü.

--enable-elastic-disk

    Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır.

--enable-local-disk-encryption

    Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği.

--instance-pool-id string

    Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.

--is-single-node

    Bu alan yalnızca tür = CLASSIC_PREVIEWolduğunda kullanılabilir.

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--kind Kind

    Bu hesaplama belgesi ile belirtilen hesaplama türü. Desteklenen değerler: CLASSIC_PREVIEW

--no-wait

    ÇALIŞIYOR durumuna ulaşmak için beklemeyin

--node-type-id string

    Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar.

--num-workers int

    Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı.

--policy-id string

    Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.

--runtime-engine RuntimeEngine

    Kümenin çalışma zamanı motorunu (standart veya Foton) belirler. Desteklenen değerler: NULL, PHOTON, STANDARD

--single-user-name string

    data_security_mode SINGLE_USER durumunda tek bir kullanıcı adı.

--timeout duration

    ÇALıŞMA durumuna ulaşmak için en fazla süre (varsayılan 20m0s)

--use-ml-runtime

    Bu alan yalnızca tür = CLASSIC_PREVIEWolduğunda kullanılabilir.

Genel bayraklar

databricks kümeleri olayları

Kümenin etkinliğiyle ilgili olayları listeleyin. Bu API sayfalandırılmıştır. Okunacak daha fazla olay varsa, yanıt bir sonraki olay sayfasını istemek için gereken tüm parametreleri içerir.

databricks clusters events CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Hakkında olay alınacak kümenin kimliği.

Options

--end-time int

    Epoch milisaniyeleri cinsinden bitiş saati.

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--limit int

    Kullanım dışı: Bunun yerine, page_token ile birlikte page_size kullanın.

--offset int

    Kullanım dışı: Bunun yerine, page_token ile birlikte page_size kullanın.

--order GetEventsOrder

    Olayları listeleme sırası. Desteklenen değerler: ASC, DESC

--page-size int

    Bir olay sayfasına eklenecek en fazla olay sayısı.

--page-token string

    Önceki istekten geri döndürülen next_page_token veya prev_page_token'u kullanarak etkinliklerin sonraki veya önceki sayfasını sırasıyla listeleyin.

--start-time int

    Epoğa milisaniye cinsinden başlangıç zamanı.

Genel bayraklar

databricks kümelerini al

Tanımlayıcısı verilen kümenin bilgilerini alır. Kümeler çalışırken veya sonlandırıldıktan en fazla 60 gün sonra açıklanabilir.

databricks clusters get CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Hakkında bilgi alınacak küme.

Options

Genel bayraklar

databricks kümeleri listesi

Tüm sabitlenmiş ve etkin kümeler ve son 30 gün içinde sonlandırılan tüm kümeler hakkındaki bilgileri listeleyin. Bu dönemden önce sonlandırılan kümeler dahil değildir.

databricks clusters list [flags]

Arguments

None

Options

--cluster-sources []string

    Kümeleri kaynağa göre filtreleme

--cluster-states []string

    Kümelere durumlara göre filtre uygulama

--is-pinned

    Sabitlenmiş duruma göre kümeleri filtreleyin

--page-size int

    Sunucu tarafından döndürülecek en fazla sonuç sayısını belirtmek için bu alanı kullanın.

--page-token string

    Kümelerin bir sonraki veya önceki sayfasını listelemek için önceki istekte döndürülen next_page_token veya prev_page_token değerlerini kullanın.

--policy-id string

    İlke kimliğine göre kümeleri filtreleme

Genel bayraklar

databricks kümeleri list-node-types

Desteklenen Spark düğümü türlerini listeleyin. Bu düğüm türleri bir kümeyi başlatmak için kullanılabilir.

databricks clusters list-node-types [flags]

Arguments

None

Options

Genel bayraklar

databricks kümeleri liste bölgeleri

kümelerinin oluşturulabileceği kullanılabilirlik alanlarını listeleyin (örneğin, us-west-2a). Bu bölgeler küme başlatmak için kullanılabilir.

databricks clusters list-zones [flags]

Arguments

None

Options

Genel bayraklar

Databricks kümelerini kalıcı olarak sil

Kümeyi kalıcı olarak silin. Bu küme sonlandırılır ve kaynaklar zaman uyumsuz olarak kaldırılır.

Ayrıca, kullanıcılar artık kalıcı olarak silinen kümeleri küme listesinde görmez ve API kullanıcıları artık kalıcı olarak silinen kümelerde herhangi bir eylem gerçekleştiremez.

databricks clusters permanent-delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Silinecek küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

databricks kümeleri sabitleme

Kümenin her zaman ListClusters API'si tarafından döndürülmesini sağlamak için kümeyi sabitleyin. Zaten sabitlenmiş bir kümeyi sabitlemenin hiçbir etkisi olmaz. Bu API yalnızca çalışma alanı yöneticileri tarafından çağrılabilir.

databricks clusters pin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Küme kimliği.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

databricks kümelerini yeniden boyutlandırma

İstenen sayıda çalışana sahip olmak için kümeyi yeniden boyutlandırın. Küme ÇALıŞıR durumda olmadığı sürece bu işlem başarısız olur.

databricks clusters resize CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Yeniden boyutlandırılacak küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--no-wait

    ÇALIŞIYOR HALINE ulaşmak için beklemeyin

--num-workers int

    Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı.

--timeout duration

    ÇALıŞMA durumuna ulaşmak için gereken en uzun süre (varsayılan 20m0s)

Genel bayraklar

databricks kümeleri yeniden başlat

Belirtilen kimlikle bir kümeyi yeniden başlatın. Küme şu anda ÇALıŞıYOR durumda değilse hiçbir şey olmaz.

databricks clusters restart CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Başlatılacak küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--no-wait

    ÇALIŞIYOR HALINE ulaşmak için beklemeyin

--restart-user string

    Kümeyi yeniden başlatan kullanıcı.

--timeout duration

    ÇALıŞMA durumuna ulaşmak için gereken en uzun süre (varsayılan 20m0s)

Genel bayraklar

Databricks kümeleri Spark sürümleri

Kullanılabilir Spark sürümlerini listeleyin. Bu sürümler bir kümeyi başlatmak için kullanılabilir.

databricks clusters spark-versions [flags]

Arguments

None

Options

Genel bayraklar

databricks kümeleri başlat

Belirtilen ID ile durdurulan bir küme başlatın. Şu durumlar dışında createCluster'a benzer şekilde çalışır: - Önceki küme kimliği ve öznitelikleri korunur. - Küme, belirtilen son küme boyutuyla başlar. - Önceki küme bir otomatik ölçeklendirme kümesiyse, geçerli küme en az düğüm sayısıyla başlar. - Küme şu anda SONLANDıRıLDı durumunda değilse hiçbir şey olmaz. - Bir işi çalıştırmak için başlatılan kümeler başlatılamaz.

databricks clusters start CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Başlatılacak küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--no-wait

    ÇALIŞIYOR HALINE ulaşmak için beklemeyin

--timeout duration

    ÇALıŞMA durumuna ulaşmak için gereken en uzun süre (varsayılan 20m0s)

Genel bayraklar

databricks kümeleri sabitlemeyi kaldırma

Kümenin zamanla ListClusters API'sinden kaldırılmasına olanak tanımak için kümeyi sabitlemeyi kaldırın. Sabitlenmemiş bir kümeyi sabitlemenin hiçbir etkisi olmaz. Bu API yalnızca çalışma alanı yöneticileri tarafından çağrılabilir.

databricks clusters unpin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Küme kimliği.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

databricks kümeleri güncelleme

Kümenin yapılandırmasını, kısmi öznitelik kümesi ve boyutuyla eşleşecek şekilde güncelleştirin. İstek gövdesindeki update_mask alanı kullanılarak güncelleştirilecek alanları belirtin. Bir küme, ÇALIŞIYOR veya SONLANDIRILDI durumundaysa güncellenebilir. Bir küme, ÇALıŞıR durumdayken güncelleştirilirse, yeni özniteliklerin etkili olabilmesi için küme yeniden başlatılır. Bir küme SONLANDıRıLDı durumundayken güncelleştirilirse, sonlandırıldı olarak kalır. Güncellenmiş öznitelikler, kümeleri başlat API'si kullanılarak kümenin bir sonraki başlatılışında geçerlilik kazanır. Başka bir durumdaki bir kümeyi güncelleştirme girişimleri INVALID_STATE hata koduyla reddedilir. Databricks İşleri hizmeti tarafından oluşturulan kümeler güncelleştirilemez.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Arguments

CLUSTER_ID

    Kümenin ID'si.

UPDATE_MASK

    Hangi küme özniteliklerinin ve boyut alanlarının güncelleştirileceğini belirtmek için kullanılır. Daha fazla bilgi için bkz. https://google.aip.dev/161. Alan maskesi, birden çok alanı virgülle ayrılmış (boşluksuz) tek bir dize olmalıdır. Alan yolu, alt alanlarda gezinmek için nokta (.) kullanarak kaynak nesnesine göre relatif olarak belirlenir (örneğin, author.given_name). Yalnızca koleksiyon alanının tamamı belirtilebileceği için, sıra veya eşleme alanlarındaki öğelerin belirtimine izin verilmez. Alan adları kaynak alanı adlarla tam olarak eşleşmelidir. alan maskesi _ tam değişimi belirtir. Gelecekte API değişirse istenmeyen sonuçlara neden olabileceğinden, güncelleştirilmekte olan alanları her zaman açıkça listelemek ve joker karakter kullanmaktan _ kaçınmanızı öneririz.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

--no-wait

    ÇALIŞIYOR HALINE ulaşmak için beklemeyin

--timeout duration

    ÇALıŞMA durumuna ulaşmak için gereken en uzun süre (varsayılan 20m0s)

Genel bayraklar

databricks kümeleri izin seviyelerini al

Küme izin seviyelerini al.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    İzinlerin alındığı veya yönetildiği küme.

Options

Genel bayraklar

databricks kümeleri izinleri al

Küme izinlerini alma. Kümeler izinleri kök nesnelerinden devralabilir.

databricks clusters get-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    İzinlerin alındığı veya yönetildiği küme.

Options

Genel bayraklar

databricks kümeleri izinleri ayarla

Varsa, mevcut izinleri değiştirerek küme izinlerini ayarlayın. Belirtilmezse tüm doğrudan izinleri siler. Nesneler izinleri kök nesnelerinden devralabilir.

databricks clusters set-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    İzinlerin alındığı veya yönetildiği küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

databricks kümeleri güncelleştirme izinleri

Bir kümedeki izinleri güncelleştirin. Kümeler izinleri kök nesnelerinden devralabilir.

databricks clusters update-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    İzinlerin alındığı veya yönetildiği küme.

Options

--json JSON

    İstek gövdesine sahip satır içi JSON dizesi veya @path JSON dosyasına

Genel bayraklar

Genel bayraklar

--debug

  Hata ayıklama günlüğünün etkinleştirilip etkinleştirilmeyileceği.

-h veya --help

    Databricks CLI veya ilgili komut grubu ya da ilgili komut için yardım görüntüleyin.

--log-file dizgi

    Çıkış günlüklerinin yazılması için dosyayı temsil eden bir dize. Bu bayrak belirtilmezse varsayılan değer, çıkış günlüklerini stderr'a yazmaktır.

--log-format biçim

    Günlük biçimi türü veya textjson. Varsayılan değer şudur: text.

--log-level dizgi

    Günlük format düzeyini temsil eden bir karakter dizisi. Belirtilmezse günlük format seviyesi devre dışı bırakılır.

-o, --output tür

    Komut çıktı türü text veya json. Varsayılan değer şudur: text.

-p, --profile dizgi

    Komutu çalıştırmak için kullanılacak dosyadaki ~/.databrickscfg profilin adı. Bu bayrak belirtilmezse, varsa adlı DEFAULT profil kullanılır.

--progress-format biçim

    İlerleme günlüklerini görüntüleme biçimi: default, append, inplaceveya json

-t, --target dizgi

    Varsa, kullanılacak paket hedefi