Sunucusuz işlemi yönetin

Bu sayfa, sunucusuz hesaplamaya erişimin nasıl yönetileceğini ve sunucusuz hız sınırlarının nasıl uygulanacağını açıklar. Workspace yöneticileri, yerleşik sunucusuz hesaplama nesneleri kullanarak sunucusuz hesaplamayı yönetir. Sunucusuz işlem nesnesi, sunucusuz iş yükleri için izin sınırını tanımlayan bir kaynak türüdür. Çalışma alanınız otomatik olarak iki varsayılan işlem nesnesi alır:

• Varsayılan Etkileşimli İşlem: Not defterlerine ve Databricks Connect'e erişimi yönetir.
• Varsayılan Otomatik İşlem: Lakeflow'da işlere ve Spark Bildirimli İşlem Hatlarına erişimi yönetir.

Varsayılan olarak, tüm çalışma alanı kullanıcılarının her iki nesnede de Kullanabilir özelliği vardır, bu nedenle mevcut iş yükleri herhangi bir değişiklik yapmadan çalışmaya devam eder. Çalışma alanı yöneticisi erişimi kısıtlamak için her iki nesneden de kullanıcıları veya grupları kaldırabilir. Erişimi kaybeden bir kullanıcı, ürün yüzeylerinde Sunucusuz işlem seçeneğini kullanılamaz olarak görür.

Sunucusuz işlem erişimini yönetme

Çalışma alanı yöneticileri sunucusuz işlem erişimine sahip olan kişileri denetlemek için Varsayılan Etkileşimli İşlem ve Varsayılan Otomatik İşlem nesneleri üzerindeki izinleri düzenleyebilir. Çalışma alanı yöneticileri varsayılan olarak Yönetebilir iznine sahiptir, ancak herhangi bir kullanıcıya izin verebilir. Bu varsayılan hesaplama nesneleri yeniden adlandırılamaz veya silinmez.

Sunucusuz her işlem nesnesi iki izin düzeyini destekler:

İzin	Şunları yapmanızı sağlar:
Kullanabilir	Bu işlem kaynağında iş yüklerini çalıştır
Yönetilebilir	Bu işlemde iş yüklerini çalıştırın ve işlem izinlerini düzenleyin

Ayrıca, Permissions API'si kullanarak sunucusuz hesaplama nesneleri için izinleri programlayıcı olarak yönetebilirsiniz. Sunucusuz hesaplama nesneleri nesne tipini serverless-compute kullanır ve her nesne kimliğiyle tanımlanır.

Sunucusuz etkileşimli erişimi kısıtlama

Not defterleri ve Databricks Connect için sunucusuz kullanan kişileri sınırlamak için:

1. Çalışma alanı kenar çubuğunda Hesaplama'ya tıklayın.
2. Sunucusuz sekmesinde kebap menüsü Varsayılan Etkileşimli İşlem'in yanındaki İzinleri düzenle'ye tıklayın.
3. Tüm Kullanıcılar grubunu veya tüm çalışma alanı kullanıcılarını içeren grubu kaldırın.
4. Yalnızca yetkilendirmek istediğiniz belirli kullanıcıları, grupları veya hizmet sorumlularını ekleyin.

Kullanıcının etkileşimli sunucusuz işlem izinlerini iptal ederseniz, kullanıcı bir hücre çalıştırdığında zaten sunucusuz işleme bağlı olan not defterleri bağlantı kuramaz ve kullanıcı artık not defterinin işlem seçicisinde kullanılabilir bir seçenek olarak Sunucusuz seçeneğini görmez. Databricks Connect'i çalıştırmaya çalışırlarsa, bağlantı isteği kullanıcının sunucusuz erişime sahip olmadığını belirten bir hatayla başarısız olur.

Sunucusuz işlere ve işlem hatlarına erişimi kısıtlama

İşlerde ve işlem hatlarında sunucusuz kullanabilecek kişileri sınırlamak için:

1. Çalışma alanı kenar çubuğunda Hesaplama'ya tıklayın.
2. Sunucusuz sekmesinde kebap menüsü Varsayılan Otomatik İşlem'in yanındaki İzinleri düzenle'ye tıklayın.
3. Tüm Kullanıcılar grubunu veya tüm çalışma alanı kullanıcılarını içeren grubu kaldırın.
4. Yalnızca yetkilendirmek istediğiniz belirli kullanıcıları, grupları veya hizmet sorumlularını ekleyin.

Bir kullanıcının otomatik sunucusuz izinlerini iptal ederseniz, kullanıcının mevcut tüm işleri veya sunucusuz işlem hatları çalışmaz. Kullanıcı sunucusuz bir iş çalıştırmayı denerse bir hata iletisi görür.

Kullanıcının Varsayılan Otomatik İşlem erişimini iptal etmeden önce, etkilenen kullanıcıların sahip olduğu işleri ve işlem hatlarını denetleyebilirsiniz. Aşağıdaki sorgu belirli bir kullanıcı için son sunucusuz iş yüklerini tanımlar:

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

İş kimlikleri ve işlem hattı kimlikleri gibi etkilenen kaynakları görmek için usage_metadata sütununu kontrol edin.

Sunucusuz kullanımı denetleme

Sunucusuz faturalama kayıtları, usage_metadata içinde bir serverless_compute_id alanı içerir. Bir iş yükünün üzerinde çalıştırıldığı işlem nesnesini izlemek için bunu kullanın:

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

Desteklenen sunucusuz hesaplama erişim kontrol özellikleri

Aşağıdaki özellikler sunucusuz hesaplama erişim kontrolleriyle entegre edilmiştir.

Etkileşimli (Varsayılan Etkileşimli İşlem)

• Notebook'lar ve sunucusuz GPU notebook'ları
• Databricks Connect

Otomatik (Varsayılan Otomatik İşlem)

• İşler ve sunucusuz GPU işleri
• Lakeflow'da Spark Bildirimli İşlem Hatları

Desteklenmeyen sunucusuz hesaplama erişim kontrol özellikleri

Aşağıdaki özellikler sunucusuz hesaplama erişim kontrolleriyle entegre edilmemiştir:

• Databricks SQL (DBSQL)
• Toplu çıkarım (ai_query())
• Model Hizmeti
• Temel Model API’si için ayrılmış işleme kapasitesi uç noktaları
• Lakebase
• Databricks Uygulamaları
• Ajan Değerlendirmesi ve Sentetik Veri
• Vektör Arama dizin oluşturma
• Tahmine Dayalı İyileştirme
• Lakehouse İzleme
• Özel hesaplamada ince taneli erişim kontrolü. Özel hesaplamaya erişim, kullanıcının ince taneli erişim kontrolü kullanıp kullanamayacağını belirler.

Burada listelenmeyen tüm özellikler için Azure Databricks hesabı ekibinize başvurarak durumunu sorun.

Sunucusuz erişim kontrol sınırlamaları

Important

Bir hizmet kesintisi durumunda, erişim kontrolleri başarısız olabilir ve aksi takdirde erişimi reddedilecek kullanıcılar sunucusuz iş yükü başlatabilir. Bu özellik, sunucusuz hesaplamaya erişimi yönetmeye yardımcı olmak için tasarlanmıştır. Bu özelliği, nihai faturalandırılan tutarlarda mutlak bir harcama sınırı sağlamak için kullanmayın. Azure Databricks, böyle bir olay sırasında çalışan iş yüklerinden kaynaklanan maliyetlerden sorumlu değildir.

• Varsayılan işlem nesnelerini yeniden adlandıramaz veya silemezsiniz.
• Sunucusuz üzerinde çalışacak şekilde yapılandırılmış bir iş veya işlem hattı, Varsayılan Otomatik İşlem'e erişimi kullanabilir seçeneğini kaybeden kullanıcılar için başarısız olur. Kullanıcının erişimini kaldırmadan önce etkin iş yüklerini gözden geçirin.
• Arka plan işlemi (sistem tarafından başlatılan işler), sunucusuz işlem erişim denetimlerinden muaftır.

Sunucusuz hesaplamada hız sınırları belirleyin

Important

Oran sınırları Özel Önizleme bölümündedir. Bu önizlemeye katılmak için Azure Databricks hesap ekibinize başvurun. Önizlemeye katıldıktan sonra, çalışma alanı yöneticileri Sunucusuz Hesaplama Hızı Sınırı ayarını kullanarak önizlemeler sayfasından etkinleştirebilir.

Bir hız sınırı, otomatik iş yükünün ne kadar harcayabileceğini sınırlayarak otomatik ölçeklenebilirliğini sınırlar. Çalışma alanı yöneticileri, özel otomatik hesaplama nesneleri oluşturabilir ve her birine bir hız sınırı atabiliyor. Bir iş yükü, hız sınırı olan bir hesaplama nesnesinde çalıştığında, sunucusuz otomatik ölçekleyici iş yükünün Spark yürütücülerini nesnede belirlenen boyutun ötesine ölçeklendirmez.

Ücret sınırları yalnızca otomatik iş yükleri (Lakeflow'daki işler ve Spark Deklaratif Boru Hatları) için geçerlidir. Etkileşimli iş yükleri (notebook'lar ve Databricks Connect) hız sınırlamasına tabi değildir.

Bir hız sınırı, bir boyut olarak ifade edilir. Her boyut, bir iş yükünün saat başına tüketebileceği DBU'ların yaklaşık bir sınırına eşlenir. Hız sınırı sadece Spark yürütücüsünün otomatik ölçeklendirmesini sınırlar. Sürücü, REPL VM'leri, GPU'lar veya maddeleştirilmiş görünüm ve akış tablosu yenilemeleri gibi iş yükünün diğer bileşenlerini sınırlandırmaz.

Hız sınırı iş yükü başına uygulanır. Hesaplama nesnesi kullanan her iş ve her boru hattı bağımsız olarak sınırlandırılır. Aynı hesaplama nesnesini kullanan iki işin her biri üst sınırın tamamını alır. Tek bir işte, üst sınır işin tüm görevleri arasında paylaşılır.

Hız sınırı gereksinimleri

• Sunucusuz hesaplama nesneleri oluşturmak ve yönetmek için çalışma alanı yöneticisi veya sınırsız küme oluşturma özelliğine sahip bir kullanıcı olmanız gerekir.
• Sunucusuz hız sınırları için Azure Databricks Runtime 17.3.1 veya üzeri gereklidir. İşler en güncel çalışma zamanını otomatik olarak kullanır. Lakeflow’daki Spark Bildirime Dayalı İşlem Hatları için önizleme kanalı çalışma zamanını kullanmayı seçin.

Hız sınırı olan sunucusuz bir hesaplama oluşturun

1. Çalışma alanı kenar çubuğunda Hesaplama'ya tıklayın.
2. Sunucusuz sekmesinde Sunucusuz hesaplama oluştur seçeneğine tıklayın.
3. Bir ad girin.
4. Boyut için, uygulanacak oran sınırını Küçük'ten2X-Large'a seçin. Çalışma alanınızın varsayılan sınırını kullanmak için varsayılan olarak bırakın.
5. Oluştur'utıklayın.

Yeni hesaplama nesnesi, Sunucusuz sekmesinde türü Otomatik olarak görüntülenir. Kullanıcıların bu kaynak üzerinde iş yüklerini çalıştırmasına izin vermek için, Sunucusuz işlem kaynağına erişimi yönetme bölümünde açıklandığı gibi onlara Kullanma veya Yönetme izni verin. Varsayılan hesaplama nesnesinin boyutunu düzenleyemezsiniz.

Hız sınırı boyutları

Her boyut, yaklaşık saatlik bir DBU üst sınırına karşılık gelir:

Size	Yaklaşık üst sınır
Küçük	~60 DBU/saatte
Orta	~120 DBU/saat
Büyük	~240 DBU/saatte
X-Large	~saat başına 480 DBU
2X Büyük Beden	~960 DBU/saatte

Bu kapaklar yön eşikleridir. Gerçek kullanım, sunucusuz altyapının doğasında olan değişkenlik nedeniyle bu etraflarında dalgalanabilir.

Varsayılan seçeneğini seçmek, çalışma alanınızın varsayılan sınırını uygular: Premium seviye çalışma alanları için Orta, kurumsal seviye çalışma alanları için Büyük. Bunlar, sunucusuz otomatik iş yükleri için mevcut varsayılan maksimum otomatik ölçeklendirme sınırlarıyla eşleşir.

Hız sınırlı hesaplamada iş yükü çalıştır

Bir hesaplama nesnesinde Can Use özelliği olan bir kullanıcı, bir iş veya boru hattı yapılandırırken bunu seçebilir. İş yükü daha sonra hesaplamanın hız sınırı altında çalışır. Bir iş yükü hesaplama nesnesi belirtmiyorsa, çalışma alanınızın Varsayılan Otomatik Hesaplama sistemine geri döner. Kullanıcı bu varsayılan sisteme erişimi yoksa, iş yükü çalışmaz.

• İşler: İş seviyesinde, UI'daki İşin Hesaplama ayarlarında veya İşler API'sinde hesaplama ID'sine başvurarak sunucusuz hesaplama nesnesini seçin. ID'yi kopyalamak için, Sunucusuz sekmesinde hesaplama nesnesini açın ve Kopyala'yı Kopyala'ya tıklayın.
• Lakeflow'da Spark Deklaratif Boru Hatları: Lakeflow editöründe bir boru hattı için otomatik hesaplama nesnesini sunucusuz hesaplama olarak seçin.

Bir hız sınırı bir iş yükünü kısıtladığında, etkiyi iş yükünün sorgu geçmişinde veya boru hatları için Lakeflow arayüzünde görebilirsiniz.

Hız sınırı sınırlamaları

• Hız sınırları sadece Spark executor otomatik ölçeklendirmesini sınırlıyor. Sürücü, REPL VM'leri, GPU'lar ve materyalize edilmiş görünüm veya akış tablosu yenilemeleri gibi diğer maliyet bileşenleri sınırlandırılmaz.
• Her boyut için saatlik DBU üst sınırı bir tahmindir. Gerçek kullanım, uygulanan sınırdaki mütevazı dalgalanmalar ve sunucusuz altyapının doğasında olan değişkenlik nedeniyle hedefi aşabilir.
• 2X-Large boyutunda bir iş yükü, fiziksel küme boyutu 256 yürütücüyle sınırlandırıldığı için beklentilerin altında performans gösterebilir. Aynı çalışma zamanı kümesinde iki veya daha fazla 2X-Large iş yükü planlanırsa, her biri beklenen performansın altında olabilir.
• Faturalama uygulama detayları nedeniyle, aynı iş yükü farklı hız sınırı boyutlarında farklı DBU kullanımına yol açabilir.
• Varsayılan hesaplama nesnesine hız sınırı koyamazsınız.