İşler için işlem yapılandırma

Bu makale, Databricks İşleri için işlem yapılandırmaya yönelik öneriler ve kaynaklar içerir.

Önemli

İşler için sunucusuz işlem sınırlamaları şunlardır:

• Sürekli zamanlama için destek yok.
• Yapılandırılmış Akış'ta varsayılan veya zamana bağlı aralık tetikleyicileri için destek yoktur.

Daha fazla sınırlama için bkz . Sunucusuz işlem sınırlamaları.

Her işin bir veya daha fazla görevi olabilir. Her görev için işlem kaynaklarını tanımlarsınız. Aynı iş için tanımlanan birden çok görev aynı işlem kaynağını kullanabilir.

Her görev için önerilen işlem nedir?

Aşağıdaki tabloda, her görev türü için önerilen ve desteklenen işlem türleri gösterilir.

Not

İşler için sunucusuz işlem sınırlamaları vardır ve tüm iş yüklerini desteklemez. Bkz. Sunucusuz işlem sınırlamaları.

Görev	Önerilen işlem	Desteklenen işlem
Notebooks	Sunucusuz işler	Sunucusuz işler, klasik işler, klasik çok amaçlı
Python betiği	Sunucusuz işler	Sunucusuz işler, klasik işler, klasik çok amaçlı
Python tekerleği	Sunucusuz işler	Sunucusuz işler, klasik işler, klasik çok amaçlı
SQL	Sunucusuz SQL ambarı	Sunucusuz SQL ambarı, profesyonel SQL ambarı
Delta Live Tables işlem hattı	Sunucusuz işlem hattı	Sunucusuz işlem hattı, klasik işlem hattı
dbt	Sunucusuz SQL ambarı	Sunucusuz SQL ambarı, profesyonel SQL ambarı
dbt CLI komutları	Sunucusuz işler	Sunucusuz işler, klasik işler, klasik çok amaçlı
JAR	Klasik işler	Klasik işler, klasik çok amaçlı
Spark Gönderme	Klasik işler	Klasik işler

İşler için fiyatlandırma, görevleri çalıştırmak için kullanılan işlemle bağlantılıdır. Daha fazla ayrıntı için bkz . Databricks fiyatlandırması.

İşler için işlem Nasıl yaparım? yapılandırılır?

Klasik işler işlemi doğrudan Databricks İşleri kullanıcı arabiriminden yapılandırılır ve bu yapılandırmalar iş tanımının bir parçasıdır. Diğer tüm kullanılabilir işlem türleri yapılandırmalarını diğer çalışma alanı varlıklarıyla birlikte depolar. Aşağıdaki tabloda daha fazla ayrıntı vardır:

İşlem türü	Ayrıntılar
Klasik işler işlem	Klasik işler için işlem yapılandırmak için aynı kullanıcı arabirimini ve tüm amaçlı işlem için kullanılabilen ayarları kullanırsınız. Bkz . İşlem yapılandırma başvurusu.
İşler için sunucusuz işlem	İşler için sunucusuz işlem, onu destekleyen tüm görevler için varsayılan değerdir. Databricks sunucusuz işlem için işlem ayarlarını yönetir. bkz . İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma. nn Bu seçeneğin görünür olması için çalışma alanı yöneticisinin sunucusuz işlem etkinleştirmesi gerekir. Bkz . Sunucusuz işlem etkinleştirme.
SQL ambarları	Sunucusuz ve profesyonel SQL ambarları, çalışma alanı yöneticileri veya sınırsız küme oluşturma ayrıcalıklarına sahip kullanıcılar tarafından yapılandırılır. Görevleri mevcut SQL ambarlarında çalışacak şekilde yapılandırabilirsiniz. Bkz . SQL ambara bağlanma.
Delta Live Tables işlem hattı işlem hattı	İşlem hattı yapılandırması sırasında Delta Live Tables işlem hatları için işlem ayarlarını yapılandırabilirsiniz. Bkz . İşlem ayarlarınızı yapılandırma. nn Azure Databricks sunucusuz Delta Live Tables işlem hatları için işlem kaynaklarını yönetir. Bkz . Sunucusuz işlemle Delta Live Tablolarını kullanarak tam olarak yönetilen işlem hatları oluşturma.
Çok amaçlı işlem	İsteğe bağlı olarak klasik çok amaçlı işlem kullanarak görevleri yapılandırabilirsiniz. Databricks, üretim işleri için bu yapılandırmayı önermez. Bkz . İşlem yapılandırma başvurusu ve İşler için tüm amaçlı işlem kullanılmalı mı?.

İşlemleri görevler arasında paylaşma

Görevleri, birden çok görevi düzenleyen işlerle kaynak kullanımını iyileştirmek için aynı işleri işlem kaynaklarını kullanacak şekilde yapılandırın. İşlemlerin görevler arasında paylaşılması, başlatma süreleriyle ilişkili gecikme süresini azaltabilir.

İşin parçası olan tüm görevleri veya belirli iş yükleri için en iyi duruma getirilmiş birden çok iş kaynağını çalıştırmak için tek bir iş işlem kaynağı kullanabilirsiniz. bir işin parçası olarak yapılandırılan herhangi bir iş işlemi, işteki diğer tüm görevler için kullanılabilir.

Aşağıdaki tabloda, tek bir görev için yapılandırılan iş işlemi ile görevler arasında paylaşılan iş işlemi arasındaki farklar vurgulanmıştır:

	Tek görev	Görevler arasında paylaşılan
Başlangıç	Görev çalıştırması başladığında.	İşlem kaynağını kullanmak üzere yapılandırılan ilk görev çalıştırması başladığında.
Terminate	Görev çalıştırıldıktan sonra.	İşlem kaynağını kullanmak üzere yapılandırılan son görev çalıştırıldıktan sonra.
Boşta işlem	Uygulanamaz.	İşlem, işlem kaynağını kullanmayan görevler çalıştırılırken açık ve boşta kalır.

Paylaşılan iş kümesinin kapsamı tek bir iş çalıştırması kapsamındadır ve aynı işin diğer işleri veya çalıştırmaları tarafından kullanılamaz.

Kitaplıklar paylaşılan bir iş kümesi yapılandırmasında bildirilemez. Görev ayarlarına bağımlı kitaplıklar eklemeniz gerekir.

İşleri gözden geçirme, yapılandırma ve değiştirme işlemi

İş ayrıntıları panelindeki İşlem bölümünde, geçerli işteki görevler için yapılandırılmış tüm işlem listelenir.

İşlem belirtiminin üzerine geldiğinizde görev grafiğinde işlem kaynağı kullanmak üzere yapılandırılan görevler vurgulanır.

İşlem kaynağıyla ilişkili tüm görevlerin işlemini değiştirmek için Değiştir düğmesini kullanın.

Klasik işler işlem kaynaklarının Yapılandır seçeneği vardır. Diğer işlem kaynakları, işlem yapılandırma ayrıntılarını görüntüleme ve değiştirme seçenekleri sağlar.

Klasik işleri yapılandırmaya yönelik öneriler işlem

Bu bölüm, bazı iş akışlarından yararlanabilecek özellikler ve yapılandırmalar hakkında genel önerilere odaklanmaktadır. İşlem kaynaklarının boyutunu ve türlerini yapılandırmak için belirli öneriler iş yüküne göre değişir.

Databricks, Foton Hızlandırma'nın etkinleştirilmesini, en son Databricks Runtime sürümlerinin kullanılmasını ve Unity Kataloğu için yapılandırılmış işlem kullanılmasını önerir.

İşler için sunucusuz işlem tüm altyapıyı yöneterek aşağıdaki noktaları ortadan kaldırır. bkz . İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma.

Not

Yapılandırılmış Akış iş akışlarının belirli önerileri vardır. Bkz . Yapılandırılmış Akış için üretimle ilgili dikkat edilmesi gerekenler.

Paylaşılan erişim modunu kullanma

Databricks, işler için paylaşılan erişim modunun kullanılmasını önerir. Bkz. Erişim modları.

Not

Paylaşılan erişim modu bazı iş yüklerini ve özellikleri desteklemez. Databricks, bu iş yükleri için tek kullanıcı erişim modu önerir. Unity Kataloğu için bkz. İşlem erişim modu sınırlamaları.

Küme ilkelerini kullanma

Databricks, çalışma alanı yöneticilerinin işler için küme ilkeleri tanımlamasını ve işleri yapılandıran tüm kullanıcılar için bu ilkeleri zorunlu kılmasını önerir.

Küme ilkeleri, çalışma alanı yöneticilerinin maliyet denetimlerini ayarlamasına ve kullanıcıların yapılandırma seçeneklerini sınırlamasına olanak tanır. Küme ilkelerini yapılandırma hakkında ayrıntılı bilgi için bkz . İşlem ilkeleri oluşturma ve yönetme.

Azure Databricks, işler için yapılandırılmış varsayılan bir ilke sağlar. Yöneticiler bu ilkeyi diğer çalışma alanı kullanıcılarının kullanımına açabilir. Bkz. İş İşlemi.

Otomatik ölçeklendirmeyi kullanma

Uzun süre çalışan görevlerin iş çalıştırmaları sırasında çalışan düğümlerini dinamik olarak ekleyebilmesi ve kaldırabilmesi için otomatik ölçeklendirmeyi yapılandırın. Bkz. Otomatik ölçeklendirmeyi etkinleştirme.

Küme başlangıç sürelerini azaltmak için havuz kullanma

İşlem havuzları, bulut sağlayıcınızdan işlem kaynaklarını ayırmanıza olanak sağlar. Havuzlar, yeni iş kümesi başlangıç zamanını azaltmak ve işlem kaynağı kullanılabilirliğini sağlamak için faydalıdır. Bkz. Havuz yapılandırma başvurusu.

Spot örnekleri kullanma

Maliyetleri iyileştirmek için gecikme süresi gereksinimlerine sahip iş yükleri için spot örnekleri yapılandırın. Bkz. Spot örnekleri.

İşler için tüm amaçlı işlem kullanılmalı mı?

Databricks'in işler için çok amaçlı işlem kullanılmasını önermesinin çeşitli nedenleri vardır, örneğin:

• Azure Databricks, iş işlemlerinden farklı bir hızda tüm amaçlı işlem faturalarını oluşturur.
• İş çalıştırması tamamlandıktan sonra işler işlemi otomatik olarak sonlandırılır. Tüm amaçlı işlem, otomatik sonlandırmayı destekler ve bu işlem, bir iş çalıştırmasının sonu yerine işlem yapılmaz.
• Çok amaçlı işlem genellikle kullanıcı ekipleri arasında paylaşılır. Tüm amaçlı işlemlerde zamanlanan işler genellikle işlem kaynaklarına yönelik rekabet nedeniyle gecikme süresini artırır.
• İşlerin işlem yapılandırmasını iyileştirmeye yönelik birçok öneri, geçici sorguların ve tüm amaçlı işlemlerde çalıştırılacak etkileşimli iş yüklerinin türü için uygun değildir.

İşler için tüm amaçlı işlemleri kullanmayı seçebileceğiniz kullanım örnekleri aşağıdadır:

• Yeni işleri yinelemeli olarak geliştiriyor veya test ediyorsunuz. İşler için başlangıç süreleri, yinelemeli geliştirmeyi sıkıcı hale getirir. Çok amaçlı işlem, değişiklikleri uygulamanıza ve işinizi hızlı bir şekilde çalıştırmanıza olanak tanır.
• Sık veya belirli bir zamanlamaya göre çalıştırılması gereken kısa süreli işleriniz var. Şu anda çalışan tüm amaçlı işlemle ilişkilendirilmiş bir başlangıç süresi yoktur. Bu deseni kullanıyorsanız boşta kalma süresiyle ilişkili maliyetleri göz önünde bulundurun.

İşler için sunucusuz işlem, tüm amaçlı işlemlerde çalıştırmayı düşünebilirsiniz çoğu görev türünün yerine önerilen işlemdir.