En iyi yöntemler: İşlem ilkeleri

Uyarı

Bu makale arşivlenmiştir ve artık ürünün geçerli durumunu yansıtmayabilir. İşlem ilkeleri hakkında bilgi için bkz . İşlem ilkeleri oluşturma ve yönetme.

Azure Databricks işlem ilkeleri , yöneticilere Azure Databricks çalışma alanında işlem kaynakları oluşturma denetimi sağlar. İşlem ilkelerinin etkili kullanımı, yöneticilerin şunları yapmasına olanak tanır:

• Standartlaştırılmış işlem yapılandırmalarını zorunlu kılma.
• Kaynakların aşırı kullanımını önleyin ve harcamaları kontrol edin.
• İşlem kaynaklarını doğru etiketleyerek doğru geri ödeme sağlayın.
• Kullanıcılara belirli iş yüklerini hedefleyen önceden yapılandırılmış işlem yapılandırmaları sağlayarak analiz ve işlemeyi kolaylaştırma.

İşlem ilkeleri etkin ekleme, onay ve geri ödeme işlemleriyle birlikte Azure Databricks platformu idaresinde temel bir bileşen olabilir. Bu kılavuz, işlem ilkelerini idare çerçevenizle tümleştirmek için başarılı bir plan oluşturmanıza yardımcı olacak öneriler ve en iyi yöntemler sunar.

İdare her kuruluşun gereksinimlerine ve mevcut idare altyapısına özgü olduğundan, bu makale genellikle işlem ilkelerine uygulanan önerileri kapsayan bir makaledir. Bu makalenin son bölümünde, ortamınızda görebileceğiniz zorlukları ele almak için belirli stratejiler ele alınmaktadır.

Bu makalede, başarılı bir işlem idaresi dağıtımı sağlamak için aşağıdaki en iyi yöntemler ve öneriler açıklanmaktadır:

• Kullanıcıların idare edilen bir ortama geçişine yardımcı olmak için aşamalar halinde işlem ilkelerinin tanıtılması için bir plan oluşturun.
• İşlem ilkeleri dağıtımının her aşaması için değişiklikleri iletmek için bir plan oluşturun.
• İşlem idaresi zorluklarını belirleyin ve bu zorlukları ele almak için stratejiler uygulayın.

İşlem ilkeleri dağıtımı

İşlem ilkelerinin uygulanması, kullanıcı deneyiminde önemli bir değişiklik sunabilir. Databricks, geçiş boyunca kullanıcılara yol göstermesine yardımcı olacak aşamalı bir yaklaşım önerir:

• Yaklaşan değişiklikleri iletin ve kullanıcılara işlem yapılandırmalarını test etme fırsatı sağlayın.
• Geçici dağıtım gerçekleştirin.
• Artımlı olarak ek ilke değişikliklerine neden olun.
• Tamamen yönetilen bir ortama tam geçiş yapın.

Aşamalı dağıtım, kullanıcıların yeni ilkeler hakkında bilgi sahibi olmasını ve mevcut iş yüklerinin kesintiye uğramasını önlemesini sağlar. Aşağıdaki diyagramda bu önerilen işlemin bir örneği verilmiştir:

Aşağıdaki bölümler bu aşamalar hakkında daha ayrıntılı bilgi sağlar:

• İşlem ilkelerini iletme ve test edin
• İşlem ilkelerine giriş için dikkat edilmesi gerekenler
• Son dağıtım

İşlem ilkelerini iletme ve test edin

Yaklaşan değişiklikleri kullanıcılara ileterek işleme başlayın. İletişim planı şunları içermelidir:

• Yaklaşan değişikliklerle ilgili ayrıntılar.
• Bu değişikliklerin neden gerçekleştiği.
• kullanıcıların iş yüklerinin başarılı bir şekilde geçişini sağlamak için yapması gerekenler.
• Değişiklikler hakkında geri bildirim sağlama.
• Dağıtımın her aşaması için bir zaman çizelgesi.
• Aşamalı dağıtımın her aşamasının başlangıcında, bu aşamayla ilgili diğer ayrıntıları iletin.

Aşağıdaki diyagram, aşamalı dağıtım için örnek bir iletişim planı sağlar:

Planınız, ortamınıza ve işlem ilkeleri stratejinize bağlı olarak farklı aşamalara sahip olabilir. Bu örnek dört aşama içerir:

• 1. aşama planı kullanıcılara iletmeyi ve test etmeye başlamayı içerir. Kullanıcıların geçerli ve beklenen iş yüklerini yeni ilkelere uygun işlem üzerinde test etme fırsatına sahip olması gerekir. Sürecin başlarında mevcut ve planlanan iş yükleriyle ilgili sorunları belirlemek istiyorsunuz.
• 2. aşama, işlem etiketleme ilkesinin dağıtımıyla birlikte teste devam eder.
• 3. aşama, bu örnekte küçük, büyük veya çok büyük işlem türleri gibi tişört boyutları kullanarak işlem belirtme işlem türlerini tanıtır.
• 4. aşama, tüm kullanıcı belgeleriyle birlikte işlem ilkelerinin son dağıtımıdır.

Kullanıcılar ayrıca ilk aşamada planlanan işlem yapılandırmalarıyla iş yüklerini test etme fırsatına da sahip olmalıdır. Bu test, önerilen ilkelerle çalışırken sorunlarla karşılaşan mevcut iş yüklerini tanımlamaya yardımcı olabilir.

İşlem ilkelerine giriş için dikkat edilmesi gerekenler

İşlem ilkelerinin ilk dağıtımını planlarken geçerli yönetim ilkelerinizi göz önünde bulundurun. Özellikle, kullanıcıların işlem oluşturmalarının kısıtlandığı bir ortamdan mı yoksa daha açık bir ortamdan mı geçiş yapacağınızı düşünün.

Kısıtlayıcı ortam

Kullanıcıların işlem oluşturma izinlerine sahip olmadığı bir ortamda, kullanıcılar için bir etkinleştirme planıyla birlikte kısıtlayıcı ilkeler dağıtarak başlayın. Etkinleştirme planı bilgisayar tabanlı eğitim, atölye çalışmaları veya belgeler olabilir. Kullanıcılara işlem yapılandırmaya yönelik en iyi yöntemler hakkında rehberlik sağlamak, platformdan tam olarak yararlanma becerilerini geliştirecektir. Kullanıcılar platformla uyumluluk ve yetkinlik gösterdiğinden ilkeler gevşetilebilir.

Kısıtlanmamış ortam

İlkeleri uygulamak, kısıtlanmamış bir ortamda daha zor olabilir. Bazı mevcut kullanım örnekleri ve işlem neredeyse her zaman yeni ilkenin kısıtlamalarının dışında kalacaktır, bu nedenle bunları test veya geçici dağıtım aşamasında tanımlamak çok önemlidir.

İşlem oluşturma izinleri olan veya kısıtlanmamış ilkeye erişimi olan kullanıcılar, tüm iş yüklerinin çalışmaya devam etmesini sağlamak için geçici dağıtım boyunca bu ilkeye erişimini korur. Kullanıcılar, tüm iş yüklerini kullanıma sunulacak yeni ilkelerle test etmek için geçici dağıtımı kullanmalıdır.

Kullanıcılara ilkeler hakkında geri bildirim gönderebilecekleri bir yer verdiğinizden emin olun. İlkeleri geliştirmek veya sorunlar ortaya çıktığında yeni ilkeler tanımlamak için kullanıcılarla birlikte çalışın.

Son dağıtım

Son tarihe ulaşıldığında kısıtlanmış kullanıcılar için kısıtlanmamış ilkelere erişimi kaldırın. İşlem ilkelerinin piyasaya sürülmesi artık tamamlanmalıdır.

Belirli zorluklar ve stratejiler

Aşağıda, belirli zorlukları ele almak için işlem ilkeleri uygulama örnekleri verilmiştir. Bu stratejilerin çoğu aynı anda kullanılabilir ancak her stratejinin tüm ilkelerde uygulanmasını gerektirir. Örneğin, etiket uygulama stratejisini Tişört boyutu stratejisiyle birlikte kullanıyorsanız, her tişört ilkesi için de bir custom_tag.* ilke gerekir.

Etiket zorlama

Meydan okuma

Kullanıcılar işlemi serbestçe oluşturabilir ve gerekli etiketleri uygulamaya zorlayan bir mekanizma yoktur.

Çözüm

1. Kullanıcılardan işlem oluşturma iznini iptal etme.

2. Geçerli işlem ilkelerine bir işlem etiketi kuralı ekleyin. İşlem etiketi kuralını bir ilkeye eklemek için özniteliğini custom_tags.<tag-name> kullanın. Değer sınırsız ilke kapsamındaki herhangi bir şey olabilir veya sabit, izin ver listesi, blok listesi, kayıt defteri veya aralık ilkeleriyle kısıtlanabilir. Örneğin, doğru geri ödeme ve maliyet atfını sağlamak için, izin verilen maliyet merkezi değerleri listesiyle kısıtlanmış her ilkede bir etiket uygulayın COST_CENTER :

   {"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}
   

   İşlemin başlatılması için bu ilkeyi kullanan tüm kullanıcıların 9999, 9921 veya 9531 etiketlerini doldurması COST_CENTER gerekir.

3. İlkeyi, bu üç maliyet merkezinden ücret alabilmesi gereken kullanıcılara atayın. İlkeler, işlem ilkesi kullanıcı arabirimi veya İlkeler API'si aracılığıyla kullanıcı veya grup düzeyinde atanabilir. Aşağıdaki örnek istek gövdesi, satış departmanına bir ilke atar:

   {
     "access_control_list": [
       {
         "user_name": "user@mydomain.com",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       },
       {
         "group_name": "sales",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       }
     ]
   }
   

Deneyimsiz kullanıcılar

Meydan okuma

Kullanıcılar bilgi işlem veya bulut altyapısı sağlama konusunda bilgisizdir veya işlem oluşturma seçenekleriyle bunalmış durumdadır.

Çözüm

Küçük, orta veya büyük işlem gibi "T-shirt" boyutlu işlem yapılandırmalarını tanımlamak için işlem ilkelerini kullanın.

1. Her Tişört boyutu için bir ilke oluşturun. Tişört boyutu ilkeleri, kullanıcılar için göreli işlem boyutunu gösterir ve esnek şablonlar veya sıfır seçenek yapılandırmaları olabilir. Sıfır seçeneği veya düşük seçenek ilkeleri genellikle sabit ve gizli ilke kurallarına sahip olur. Aşağıdaki örnek, için spark_versionsabit DBR 7.3 değerine sahip bir ilke tanımlar. Bayrağın hidden true olarak ayarlanması, bu seçeneğin kullanıcılara görünmemesini sağlar.

   {"spark_version": { "type": "fixed", "value": "auto:latest-ml", "hidden": true }}
   

   Esnek şablonlar tanımlarken üst sınırları, isteğe bağlı olmayan alanları ve yarı kısıtlanmış ilke öğelerini ayarlamak için aralık, blok listesi, kayıt defteri ve sınırsız ilke ilkelerini kullanabilirsiniz. Aşağıdaki örnek, otomatik ölçeklendirme düğümlerini en fazla 25'e kadar etkinleştiren bir ilke tanımlar. Bu tanımı, bazı esneklikler sağlarken her Tişört boyutuna üst sınırlar ayarlamak için kullanabilirsiniz. İşlem şablonu yaklaşımının diğer ayrıntılarını görmek için bkz . Aşırı kaynak kullanımı.

   {"autoscale.max_workers": { "type": "range", "maxValue": "25", "defaultValue": 5}}
   

2. İlkeyi tişört boyutlu işlem oluşturmasına izin verilmesi gereken kullanıcılara atayın. İlkeler, ilke kullanıcı arabirimi veya İlke İzinleri API'si aracılığıyla bir kullanıcı veya grup düzeyinde atanabilir. Örneğin, bu ilkeyi kullanıcı arabirimi aracılığıyla tüm kullanıcılara atamak için:

   1. İlkeye gidin ve Düzenle'yi seçin.

   2. İzinler sekmesini seçin.

   3. Açılan listede Gruplar'ın altındaki tüm kullanıcılar seçeneğini belirleyin.

      

3. Yalnızca bu yeni ilkeleri kullanması gereken gruplardan kısıtlanmamış ilkeye erişimi iptal edin. İşlem ilkeleri kullanımda olduğunda, "işlem oluşturma" iznine erişim sahibi olmak, kullanıcıların kısıtlanmamış ilkeye erişmesini sağlar. Sahip olmaması gereken kullanıcılar için bu izni iptal etmek önemlidir.

   İşlem oluşturma izinlerini iptal etmek için bkz . İşlem oluşturma iznini yapılandırma.

Büyük/küçük harfe özgü ilkeleri kullanma

Meydan okuma

Bazı iş yükleri veya çözümlemeler mevcut ilkelerle uyumsuz veya kullanıcılar belirli iş yükü türleri için doğru işlem yapılandırmasını bilmiyor.

Çözüm

Mevcut ilkelerle düzgün çalışmayan iş yükleri bulursanız, var olan ilkeleri genişletmek yerine bu iş yüklerini hedefleyen yeni ilkeler oluşturmak genellikle daha iyidir.

Kullanıcıların bu ilkeleri kullanarak işlem oluşturmasına yardımcı olmak için belirli kullanım örnekleri için ayarlanmış ilkeler oluşturmanıza yardımcı olabilir. Kullanıcıların bunları tanımlamasına yardımcı olmak için bu ilkelere açıklayıcı adlar atayın. Örneğin, iş yükleri koşul göndermeyi destekleyen bir veri kaynağını sorgulayacaksa en iyi yöntem, düşük veya sıfır çalışan minimumuyla otomatik ölçeklendirmeyi zorlayan belirli bir ilke oluşturmaktır. Bu ilke, veri kaynağının sorgunun gönderilen bileşenlerini hesaplamasını beklerken bulut sağlayıcısı ve Azure Databricks maliyetlerinin gereksiz yere büyümemesini sağlar.

1. Kullanım örneğine özgü en iyi yöntemleri zorunlu kılan bir ilke oluşturun. Bu örnek, en az çalışan sayısı için sabit değeri 0 olan bir ilke tanımlar. Bu ilke ayrıca, işlem otomatik ölçeklendirmesini zorunlu kılacak ve koşul gönderme örneğinin en iyi uygulamasına uygun olacaktır.

   {"autoscale.min_workers": { "type": "fixed", "value": "0", "hidden": false }}
   

2. İlkeyi, bu kullanım örnekleri için işlem oluşturması gereken kullanıcılara atayın. İlke kullanıcı arabirimi veya İzinler API'sini kullanarak bir kullanıcı veya grup düzeyinde ilke atayabilirsiniz. Örneğin, bu ilkeyi kullanıcı arabirimi aracılığıyla bir veri bilimcisi grubuna atamak için:

   1. İlkeye gidin ve Düzenle'yi seçin.

   2. İzinler sekmesini seçin.

   3. Bir ilkeyi belirli bir takıma atamak için Kullanıcı veya Grup Seç açılan listesinde ekibin adını seçin.

      

Aşırı kaynak kullanımı

Meydan okuma

Kullanıcılar gereksiz yere büyük işlem oluşturarak aşırı ve pahalı kaynaklar kullanıyor. Bunun nedeni genellikle:

• Otomatik ölçeklendirme etkinleştirilemedi.
• Otomatik sonlandırma pencerelerinin yanlış kullanımı.
• Yüksek en düşük çalışan düğümü sayısı.
• Pahalı örnek türleri.

Çözüm

İşlem ilkelerini bir iç onay işlemiyle eşleştirmek, kaynaklar üzerinde denetim sağlarken gerektiğinde büyük işlem kaynaklarına da erişim sağlar.

1. Daha büyük veya daha esnek ilkelere erişim vermek için bir gözden geçirme süreci oluşturun. Gözden geçirme işlemi, daha büyük veya daha esnek işlem yapılandırmaları gereksinimini destekleyen bilgileri toplayan bir alım formuna sahip olmalıdır. Platform sahipliği ekibi, iş yükü gereksinimlerini nasıl destekleyeceğine karar vermek için bu bilgileri değerlendirmelidir. Aşağıdaki diyagramda T-shirt boyutlandırması kullanan örnek bir onay işlemi gösterilmektedir:

   

2. Daha az kısıtlamayla daha esnek ilkeler oluşturun ve etiketler gibi idare öğelerini denetlemeye odaklanın. Esnek bir İlke örneği:

{
  "autoscale.min_workers": {
    "type": "range",
    "maxValue": 20,
    "defaultValue": 2
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 100,
    "defaultValue": 8
  },
  "autotermination_minutes": {
    "type": "range",
    "maxValue": 120,
    "defaultValue": 60
  },
  "node_type_id": {
    "type": "blocklist",
    "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
    "defaultValue": "Standard_L8s"
  },
  "driver_node_type_id": {
    "type": "blocklist",
    "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
    "defaultValue": "Standard_L8s_v2"
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "enable_elastic_disk": {
    "type": "fixed",
    "value": true,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

1. Yükseltme ve onay işlemini belgeleyin ve kullanıcılarla paylaşın. Ayrıca, daha fazla esnekliğe veya daha büyük işlemlere ihtiyaç duyabilecek iş yükü türlerini belirlemeye yönelik yönergeler yayımlamak da yararlıdır.

2. Kullanıcı onaylandıktan sonra ilkeyi ona atayın. İlkeler, ilke kullanıcı arabirimi aracılığıyla veya İzinler API'sine bir istek gönderilerek bir kullanıcı veya grup düzeyinde atanabilir:

   {
       "access_control_list": {
         "user_name": "users_email@yourdomain.com",
         "permission_level": "CAN_USE"
       }
   }
   

Daha fazla bilgi edinin

Azure Databricks'te işlem ilkeleri hakkında daha fazla bilgi edinmek için bkz. İşlem ilkeleri oluşturma ve yönetme ve işlem ilkeleriyle ilgili blogumuz: Küme İlkelerini Kullanarak Tam Yönetici Denetimi ile Basit Küme Oluşturmaya İzin Verme.