Aracılığıyla paylaş

Operasyonel mükemmellik için en iyi yöntemler

Bu makale, aşağıdaki bölümlerde listelenen mimari ilkeleriyle düzenlenmiş operasyonel mükemmellik için en iyi yöntemleri kapsar.

1. Derleme ve yayın süreçlerini iyileştirme

Özel bir Lakehouse operasyon ekibi oluşturun

Yaygın bir en iyi yöntem, veri ekiplerinin bir veya daha fazla veri platformu üzerinde çalışmasını sağlayan bir platform operasyon ekibine sahip olmaktır. Bu ekip, şirket içinde şemalar ve en iyi yöntemler oluşturmakla sorumludur. Altyapı otomasyonu ve self servis erişimi gibi araçlar sağlar ve güvenlik ve uyumluluk gereksinimlerinin karşılandığından emin olurlar. Bu, merkezi bir ekipte platform verilerinin güvenliğini sağlama yükünü doğurarak dağıtılmış ekiplerin verilerle çalışmaya ve yeni içgörüler oluşturmaya odaklanmasına olanak tanır.

Kurumsal kaynak kodu yönetimini (SCM) kullanma

Kaynak kodu yönetimi (SCM), geliştiricilerin daha etkili çalışmasına yardımcı olur ve bu da daha hızlı sürüm hızına ve daha düşük geliştirme maliyetlerine yol açabilir. Değişiklikleri izlemenize, kod bütünlüğünü korumanıza, hataları algılamanıza ve önceki sürümlere geri dönmenize yardımcı olan bir araç olması, genel çözüm mimarinizin önemli bir bileşenidir.

Databricks Git klasörleri kullanıcıların not defterlerini veya diğer dosyaları git deposunda depolamasına olanak tanıyarak depo kopyalama, işleme ve gönderme, çekme, dal yönetimi ve dosya farklarını görüntüleme gibi özellikler sağlar. Daha iyi kod görünürlüğü ve izleme için Git klasörlerini kullanın.

DevOps işlemlerini standartlaştırma (CI/CD)

Sürekli tümleştirme ve sürekli teslim (CI/CD), otomatik işlem hatlarını kullanarak kısa ve sık döngüler halinde yazılım geliştirmeyi ve dağıtmayı ifade eder. Bu yeni bir süreç olmasa da, geleneksel yazılım mühendisliğinde onlarca yıldır yaygın olarak kullanılmakla birlikte, veri mühendisliği ve veri bilimi ekipleri için giderek daha gerekli bir süreç haline gelmektedir. Veri ürünlerinin değerli olması için zamanında teslim edilmesi gerekir. Ayrıca, tüketicilerin bu ürünlerdeki sonuçların geçerliliğine güveni olmalıdır. Geliştirme ekipleri kod oluşturma, test etme ve dağıtma sürecini otomatikleştirerek, birçok veri mühendisliği ve veri bilimi ekibine hakim olan el ile gerçekleştirilen işlemlerden daha sık ve güvenilir sürümler sunabilir. Bkz. Azure Databricks'te CI/CD.

Databricks kullanarak kod geliştirmeye yönelik en iyi yöntemler hakkında daha fazla bilgi için bkz. Databricks'te en iyi yöntemler ve önerilen CI/CD iş akışları. Databricks Varlık Paketleri ile birlikte GitHub eylemlerini, Azure DevOps işlem hatlarını veya Jenkins işlerini kullanarak otomatik dağıtım işlemleri oluşturabilirsiniz.

MLOps işlemlerini standartlaştırma

MLOps işlemleri ML işlem hatlarının yeniden üretilebilirliğini sağlayarak veri ekipleri arasında daha sıkı bir şekilde eşleştirilmiş işbirliği sağlar, devops ve BT ile çakışmayı azaltır ve yayın hızını hızlandırır. Önemli iş kararları almak için birçok model kullanıldığındaN, MLops süreçlerini standartlaştırmak modellerin tutarlı ve güvenilir bir şekilde geliştirilmesini, test edilmesini ve dağıtılmasını sağlar.

ML modellerinin oluşturulması ve dağıtılması karmaşıktır. Bunu başarmak için birçok seçenek vardır, ancak iyi tanımlanmış standartların çok az yolu vardır. Sonuç olarak, son birkaç yılda makine öğrenmesi işlemlerinin (MLOps) ortaya çıkışını gördük. MLOps, ML sistemlerinde performans kararlılığını ve uzun vadeli verimliliği artırmak için modelleri, verileri ve kodu yönetmeye yönelik bir dizi işlem ve otomasyondur. Veri hazırlama, keşif veri analizi (EDA), özellik mühendisliği, model eğitimi, model doğrulama, dağıtım ve izleme işlemlerini kapsar.

Databricks platformunda MLOps makine öğrenmesi (ML) sisteminizin performansını ve uzun vadeli verimliliğini iyileştirmenize yardımcı olabilir:

  • İş hedeflerinizi her zaman aklınızda bulundurun: İşletmedeki ML'nin temel amacı veri odaklı kararlar ve ürünler sağlamak olduğu gibi, MLOps'un temel amacı da bu veri odaklı uygulamaların kararlı kalmasını, güncel kalmasını ve işletme üzerinde olumlu etkileri olmaya devam etmesini sağlamaktır. MLOps'ta teknik çalışmalara öncelik tanırken, iş etkisini göz önünde bulundurun: Yeni iş kullanım örneklerini etkinleştirebilir mi? Veri ekiplerinin üretkenliğini artırır mı? Operasyonel maliyetleri veya riskleri azaltır mı?
  • Özel ama açık bir araçla ML modellerini yönetme: ML modellerini izlemek ve yönetmek için ML modeli yaşam döngüsü için tasarlanmış MLflow kullanabilirsiniz. Bkz. ML modeli yaşam döngüsü için MLflow.
  • MLOps'yi modüler bir şekilde uygulayın: Her yazılım uygulamasında olduğu gibi, bir ML uygulaması için kod kalitesi çok önemlidir. Modülerleştirilmiş kod, tek tek bileşenlerin test edilmesine olanak tanır ve gelecekteki kod yeniden düzenlemesi ile zorlukları azaltır. ML uygulamanızın modüler yapısını netleştirmek için net adımlar (eğitim, değerlendirme veya dağıtım gibi), süper adımlar (eğitimden dağıtıma işlem hattı gibi) ve sorumlulukları tanımlayın.

Bu, Databricks e-kitabı MLOps'un Büyük Kitabı'nda ayrıntılı olarak açıklanmıştır.

Ortam yalıtım stratejisini tanımlama

Bir kuruluş Databricks gibi bir veri platformu kullandığında, genellikle ortamlar (geliştirme ve üretim gibi) veya kuruluş işletim birimleri arasında veri yalıtımı sınırları olması gerekir.

Yalıtım standartları kuruluşunuz için farklılık gösterebilir, ancak genellikle aşağıdaki beklentileri içerir:

  • Kullanıcılar yalnızca belirtilen erişim kurallarına göre verilere erişim elde edebilir.
  • Veriler yalnızca belirlenen kişiler veya ekipler tarafından yönetilebilir.
  • Veriler depolama alanında fiziksel olarak ayrılır.
  • Verilere yalnızca belirlenen ortamlarda erişilebilir.

Databricks'te çalışma alanı birincil veri işleme ortamıdır ve ayrı çalışma alanlarının genel kurulumu geliştirdiği çeşitli senaryolar vardır, örneğin:

  • Çalışma alanı yöneticisinin paylaşılmasını önlemek ve Databricks'teki hiçbir varlığın iş birimleri arasında istemeden paylaşılmamasını sağlamak için farklı iş birimlerini kendi çalışma alanlarıyla yalıtın.
  • Yazılım geliştirme yaşam döngüsü ortamlarını (geliştirme, hazırlama ve üretim gibi) yalıtma. Örneğin, ayrı bir üretim çalışma alanı, yeni çalışma alanı ayarlarını üretime uygulamadan önce test etmenizi sağlar. Veya üretim ortamı, geliştirme ortamından daha sıkı çalışma alanı ayarları gerektirebilir. Geliştirme, hazırlama ve üretim ortamlarını farklı sanal ağlara dağıtmanız gerekiyorsa, üç ortam için farklı çalışma alanlarına da ihtiyacınız vardır.
  • Kaynak sınırlamalarını aşmak için çalışma alanlarını bölme: Bulut hesaplarının/aboneliklerinin kaynak sınırlamaları vardır. Çalışma alanlarını farklı aboneliklere/hesaplara bölmek, her çalışma alanı için yeterli kaynağın kullanılabilir olmasını sağlamanın bir yoludur. Ayrıca Databricks çalışma alanlarının kaynak sınırlamaları da vardır. Çalışma alanlarını bölmek, her çalışma alanında iş yüklerinin her zaman tam kaynak kümesine erişmesini sağlar.

Ancak paylaşılan çalışma alanlarının da dikkate alınması gereken bazı dezavantajları vardır:

  • Not defteri işbirliği farklı çalışma alanları arasında çalışmaz.
  • Birden çok çalışma alanı için hem kurulum hem de bakım tamamen otomatik olmalıdır (Terraform, ARM, REST API veya diğer yollarla). Bu özellikle geçiş amaçları için önemlidir.
  • Her çalışma alanının ağ katmanında güvenli hale getirilmesi gerekiyorsa (örneğin, veri sızdırmaya karşı koruma sağlamak için), özellikle çok sayıda çalışma alanı için gerekli ağ altyapısı çok pahalı olabilir.

Yalıtım gereksinimi ile işbirliği ihtiyacı ile bunu sürdürmek için gereken çaba arasında bir denge bulmak önemlidir.

Kuruluşunuz için katalog stratejisi tanımlama

Kuruluşların çevresel yalıtım stratejisinin yanı sıra meta verileri ve verileri yapılandırmak ve ayırmak için bir stratejiye de ihtiyacı vardır. Kişisel bilgiler, ödeme veya sağlık bilgileri dahil olmak üzere veriler yüksek potansiyel risk taşır ve veri ihlallerinin sürekli artan tehdidiyle, hangi kurumsal stratejiyi seçerseniz seçin hassas verileri ayırmak ve korumak önemlidir. Hassas verilerinizi hem mantıksal hem de fiziksel olarak hassas olmayan verilerden ayırın.

Bir kuruluş, belirli veri türlerinin bulut kiracısında belirli hesaplarda veya demetlerde depolanmasını gerektirebilir. Unity Kataloğu meta veri deposu, meta verilerin üç düzeyli catalog > schema > tables/views/volumes ad alanına göre yapılandırılmasına olanak tanır ve bu tür gereksinimleri karşılamak için depolama konumları meta veri deposu, katalog veya şema düzeyinde yapılandırılır.

Kuruluş ve uyumluluk gereksinimleri genellikle belirli verileri yalnızca belirli ortamlarda tutmanızı belirler. Ayrıca üretim verilerini geliştirme ortamlarından yalıtılmış olarak tutmak veya belirli veri kümelerinin ve etki alanlarının hiçbir zaman birleştirilmediğinden emin olmak isteyebilirsiniz. Databricks'te çalışma alanı birincil bilgi işlem ortamıdır ve kataloglar birincil veri etki alanıdır. Unity Kataloğu meta veri depolarını kullanarak, yöneticiler ve katalog sahipleri katalogları belirli çalışma alanlarına bağlayabilir. Bu ortam algılayan bağlamalar, kullanıcıya verilen belirli veri nesnesi izinlerinden bağımsız olarak çalışma alanında yalnızca belirli katalogların kullanılabilir olduğundan emin olmanıza yardımcı olur.

Bu konuların tam bir tartışması için bkz. Unity Kataloğu en iyi yöntemleri

2. Dağıtımları ve iş yüklerini otomatikleştirme

Dağıtımlar ve bakım için kod olarak altyapıyı (IaC) kullanma

Kod olarak altyapı (IaC), geliştiricilerin ve operasyon ekiplerinin donanım cihazlarını, işletim sistemlerini, uygulamaları ve hizmetleri el ile yapılandırmak yerine kaynakları otomatik olarak yönetmesine, izlemesine ve sağlamasına olanak tanır.

HashiCorp Terraform, çeşitli bulut sağlayıcıları arasında güvenli ve öngörülebilir bir bulut altyapısı oluşturmaya yönelik popüler bir açık kaynak araçtır. Databricks Terraform sağlayıcısı, Esnek ve güçlü bir araç kullanarak Azure Databricks çalışma alanlarını ve ilişkili bulut altyapısını yönetir. Databricks Terraform sağlayıcısının amacı, tüm Azure Databricks REST API'lerini desteklemek ve veri platformlarınızı dağıtmanın ve yönetmenin en karmaşık yönlerinin otomasyonunu desteklemektir. Databricks Terraform Sağlayıcısı, kümeleri ve işleri güvenilir bir şekilde dağıtmak ve yönetmek, Azure Databricks çalışma alanlarını sağlamak ve veri erişimini yapılandırmak için önerilen araçtır.

İşlem yapılandırmalarını standartlaştırma

Bilgi işlem ortamlarının standartlaştırılması, tüm ortamlarda aynı yazılımların, kitaplıkların ve yapılandırmaların kullanılmasını sağlar. Bu tutarlılık, sonuçların yeniden üretilip sorunların hatalarını ayıklamayı ve ortamlar arasında sistemlerin bakımının daha kolay olmasını sağlar. Standartlaştırılmış ortamlarla ekipler, ortamları sıfırdan yapılandırma ve ayarlama gereksinimini ortadan kaldırarak zaman ve kaynak tasarrufu sağlayabilir. Bu, el ile kurulum sırasında oluşabilecek hata ve tutarsızlık riskini de azaltır. Standartlaştırma, tüm ortamlarda tutarlı güvenlik ilkelerinin ve uygulamalarının uygulanmasını da sağlar. Bu, kuruluşların riski daha iyi yönetmelerine ve mevzuat gereksinimlerine uymasına yardımcı olabilir. Son olarak standartlaştırma, kuruluşların israfı azaltarak ve kaynak kullanımını iyileştirerek maliyetleri daha iyi yönetmelerine yardımcı olabilir.

Standartlaştırma hem ortam kurulumunu hem de sürekli kaynak yönetimini kapsar. Tutarlı kurulum için Databricks, kod olarak altyapı kullanılmasını önerir. Zaman içinde başlatılan işlem kaynaklarının tutarlı bir şekilde yapılandırıldığından emin olmak için işlem ilkelerini kullanın. Databricks çalışma alanı yöneticileri, bir kullanıcı veya grubun işlem oluşturma ayrıcalıklarını bir dizi ilke kuralına göre sınırlayabilir. Spark yapılandırma ayarları ile küme kapsamlı kitaplık yüklemelerini uygulatabilirler. Ayrıca, standart bir çalışma ortamı olarak projeler için tişört boyutu kümeleri (S, M, L) tanımlamak için işlem ilkelerini de kullanabilirsiniz.

Unity Kataloğu yönetilen tablolarını kullanma

Unity Kataloğu'ndaki tablolar yönetilen tablolar veya dış tablolar olarak oluşturulabilir. Dış tablolar oluşturmak için nesne depolama konumunu belirtmeniz gerekir ve bu tabloları korumak ve iyileştirmek sizin sorumluluğundadır. Yönetilen tablolar için Databricks tüm veri yaşam döngüsünü, depolama konumunu ve dosya düzenini yönetir ve tahmine dayalı iyileştirmeyi etkinleştirir. Bu, el ile bakım veya bakım işleri ayarlama gereksinimini ortadan kaldırır ve tabloların gerçek sorgu desenlerine göre performans için otomatik olarak iyileştirilmesini sağlar.

Databricks'te yönetilen tüm tablosal veriler için Unity Kataloğu yönetilen tablolarının kullanılması önerilir.

İşler için otomatik iş akışlarını kullanma

İşler için otomatik iş akışları ayarlamak, iş oluşturma ve dağıtma DevOps işlemiyle gereksiz el ile görevleri azaltmaya ve üretkenliği artırmaya yardımcı olabilir. Veri Zekası Platformu bunu yapmak için iki yol sağlar:

  • Lakeflow İşleri:

    Lakeflow İşleri Databricks Veri Zekası Platformu'nda veri işleme, makine öğrenmesi ve analiz işlem hatlarını düzenler. Databricks platformuyla tümleştirilmiş tam olarak yönetilen bir düzenleme hizmetidir:

    • Lakeflow İşleri , veri işleme ve analiz uygulamalarınızı Databricks çalışma alanında çalıştırmanın bir yoludur. İşiniz tek bir görev olabilir veya karmaşık bağımlılıkları olan birçok göreviniz olabilir. Databricks tüm işleriniz için görev düzenleme, küme yönetimi, izleme ve hata raporlamayı yönetir.
    • Lakeflow Bildirimli İşlem Hatları , güvenilir, sürdürülebilir ve test edilebilir veri işleme işlem hatları oluşturmaya yönelik bildirim temelli bir çerçevedir. Verileriniz üzerinde gerçekleştirmek istediğiniz dönüştürmeleri tanımlarsınız ve Lakeflow Bildirimli İşlem Hatları görev düzenleme, küme yönetimi, izleme, veri kalitesi ve hata işlemeyi yönetir.

  • Dış düzenleyiciler:

    Kapsamlı Azure Databricks REST API'leri, dış düzenleyiciler tarafından Databricks varlıklarını, not defterlerini ve işleri düzenleme amacıyla kullanılır. Bkz.

Databricks'teki tüm görev bağımlılıkları için Lakeflow İşleri'ni kullanmanızı ve gerekirse bu kapsüllenmiş iş akışlarını dış düzenleyiciyle tümleştirmenizi öneririz

Otomatik ve etkinlik odaklı dosya işlemesini kullanma

Olay temelli (zamanlama temelli) dosya alımının verimlilik, artan veri güncelliği ve gerçek zamanlı veri alımı gibi çeşitli avantajları vardır. bir işin yalnızca bir olay gerçekleştiğinde çalıştırılması, kaynakları boşa harcamamanızı sağlar ve bu da tasarruf sağlar.

Otomatik Yükleyici , bulut depolama alanına ulaştıklarında yeni veri dosyalarını artımlı ve verimli bir şekilde işler. JSON, CSV, PARQUET, AVRO, ORC, TEXT ve BINARYFILE gibi birçok dosya biçimini alabilir. Bulut depolamadaki bir giriş klasörüyle, Otomatik Yükleyici yeni dosyaları geldikçe otomatik olarak işler.

Tek seferlik girişler için bunun yerine COPY INTO komutunu kullanmayı göz önünde bulundurun.

Veri işlem hatları için ETL çerçeveleri kullanma

ETL görevlerini el ile gerçekleştirmek mümkün olsa da, çerçeve kullanmanın birçok avantajı vardır. Çerçeve, ETL işlemine tutarlılık ve tekrarlanabilirlik getirir. Bir çerçeve, önceden oluşturulmuş işlevler ve araçlar sağlayarak sık kullanılan görevleri otomatikleştirerek zaman ve kaynak tasarrufu sağlayabilir. ETL çerçeveleri büyük hacimli verileri işleyebilir ve gerektiğinde kolayca ölçeği artırılabilir veya azaltılabilir. Bu, kaynakları yönetmeyi ve değişen iş gereksinimlerine yanıt vermeyi kolaylaştırır. Birçok çerçevede yerleşik hata işleme ve günlüğe kaydetme özellikleri bulunur ve bu da sorunları belirlemeyi ve çözmeyi kolaylaştırır. Veri ambarı veya veri gölüne yüklenmeden önce verilerin belirli standartları karşıladığından emin olmak için genellikle veri kalitesi denetimleri ve doğrulamaları içerir.

Lakeflow Bildirimli İşlem Hatları, güvenilir, sürdürülebilir ve test edilebilir veri işleme işlem hatları oluşturmaya yönelik bildirim temelli bir çerçevedir. Verilerinizde gerçekleştirmek istediğiniz dönüştürmeleri tanımlarsınız ve Lakeflow Bildirimli İşlem Hatları görev düzenleme, küme yönetimi, izleme, veri kalitesi ve hata işleme işlemlerini gerçekleştirir.

Lakeflow Bildirimli İşlem Hatları ile SQL veya Python'da uçtan uca veri işlem hatları tanımlayabilirsiniz: Verilerin veri kaynağını, dönüştürme mantığını ve hedef durumunu belirtin. Lakeflow Bildirimli İşlem Hatları bağımlılıkları korur ve işin çalıştırıldığı altyapıyı otomatik olarak belirler.

Lakeflow Bildirimli İşlem Hatları, veri kalitesini yönetmek için zaman içindeki veri kalitesi eğilimlerini izler ve önceden tanımlanmış hata ilkeleriyle doğrulama ve bütünlük denetimleri aracılığıyla hatalı verilerin tablolara girmesini engeller. Bkz Lakeflow Bildirimli İşlem Hatları.

ML iş yükleri için deploy-code yaklaşımını izleyin

Kod ve modeller genellikle yazılım geliştirme aşamalarında zaman uyumsuz olarak ilerler. Bunu başarmanın iki yolu vardır:

  • kod dağıtma: Bir MA projesi geliştirme ortamında kodlanır ve ardından test edilmek üzere hazırlık ortamına taşınır. Başarılı bir test sonrasında proje kodu, yürütüldüğü üretim ortamına dağıtılır.
  • dağıtım modeli: Model eğitimi geliştirme ortamında yürütülür. Üretilen model yapıtı, modelin üretim ortamına dağıtılabilmesi için model doğrulama denetimleri için hazırlama ortamına taşınır.

Bkz. Model dağıtım desenleri.

Databricks, kullanım örneklerinin çoğu için bir deploy-code yaklaşımı önerir. Bu modelin başlıca avantajları şunlardır:

  • Bu, Git ve CI/CD sistemleri gibi tanıdık araçları kullanarak geleneksel yazılım mühendisliği iş akışlarına uygundur.
  • Kilitli bir ortamda otomatik yeniden eğitme özelliğini destekler.
  • Yalnızca üretim ortamının üretim eğitim verilerine okuma erişimine sahip olmasını gerektirir.
  • Eğitim ortamı üzerinde tam denetim sağlayarak yeniden üretilebilirliği basitleştirmeye yardımcı olur.
  • Veri bilimi ekibinin modüler kod ve yinelemeli test kullanarak daha büyük projelerde koordinasyon ve geliştirme konusunda yardımcı olmasını sağlar.

Bu, Databricks e-kitabı MLOps'un Büyük Kitabı'nda ayrıntılı olarak açıklanmıştır.

Kod ve model yaşam döngüsünü ayrıştırmak için model kayıt defteri kullanma

Model yaşam döngüleri kod yaşam döngülerine bire bir karşılık olmadığından Unity Kataloğu, ML modellerinin tam yaşam döngüsünün MLflow Model Kayıt Defteri'nin barındırılan sürümünde yönetilmesine olanak tanır. Unity Kataloğu'ndaki Modelleri, Unity Kataloğu'nun avantajlarını çalışma alanları arasında merkezi erişim denetimi, denetim, köken ve model bulma gibi ML modellerine genişletir. Unity Kataloğu'ndaki modeller açık kaynak MLflow Python istemcisiyle uyumludur.

ML deneme izlemeyi otomatikleştirme

ML denemelerini izleme, her deneme için ilgili meta verileri kaydetme ve denemeleri düzenleme işlemidir. Bu meta veriler deneme girişlerini/çıkışlarını, parametreleri, modelleri ve diğer yapıtları içerir. Deneme izlemenin amacı, ML modeli geliştirme sürecinin her aşamasında yeniden üretilebilir sonuçlar oluşturmaktır. Bu işlemi otomatikleştirmek, deneme sayısını ölçeklendirmeyi kolaylaştırır ve tüm denemelerde yakalanan meta verilerde tutarlılık sağlar.

Databricks Autologging , Azure Databricks'te makine öğrenmesi eğitim oturumları için otomatik deneme izleme sağlamak üzere MLflow otomatik günlüğünü genişleten kod içermeyen bir çözümdür. Databricks Autologging, MLflow izleme çalışmaları olarak kaydedilen eğitim süreçleri sırasında, model parametrelerini, ölçümleri, dosyaları ve köken bilgilerini otomatik olarak yakalar.

ML işlem hatlarını yönetmek için aynı altyapıyı yeniden kullanma

ML işlem hatları için kullanılan veriler genellikle diğer veri işlem hatlarında kullanılan verilerle aynı kaynaklardan gelir. ML ve veri işlem hatları, hem verileri iş kullanıcı analizine hem de model eğitimine hazırlamaları açısından benzerdir. Her ikisinin de ölçeklenebilir, güvenli ve düzgün bir şekilde izlenmesi gerekir. Her iki durumda da kullanılan altyapının bu etkinlikleri desteklemesi gerekir.

ML ortamlarının dağıtımlarını otomatikleştirmek için Databricks Terraform sağlayıcısını kullanın. ML için çıkarım işleri, uç noktalara hizmet sunma ve özellik geliştirme işleri gibi altyapının dağıtılması gerekir. Tüm ML işlem hatları İşler olarak otomatikleştirilebilir ve birçok veri merkezli ML işlem hattı görüntüleri ve diğer verileri almak için daha özelleştirilmiş Otomatik Yükleyici'yi ve özellikleri hesaplamak veya ölçümleri izlemek için Lakeflow Bildirimli İşlem Hatlarını kullanabilir.

ML modellerinin kurumsal düzeyde dağıtımı için Model Sunma özelliğini kullandığınızdan emin olun.

Karmaşık veri ve ML projeleri için bildirim temelli yönetimi kullanma

MLOps içindeki bildirim temelli çerçeveler, ekiplerin istenen sonuçları üst düzey terimlerle tanımlamasına olanak tanır ve ml modellerinin dağıtımını ve ölçeklendirmesini basitleştirerek yürütme ayrıntılarını sistemin işlemesine olanak tanır. Bu çerçeveler sürekli tümleştirme ve dağıtımı destekler, test ve altyapı yönetimini otomatikleştirir ve model idaresi ve uyumluluğu sağlar, sonuçta pazarlama süresini hızlandırıp ML yaşam döngüsü boyunca üretkenliği artırır.

Databricks Varlık Paketleri, Databricks platformu için karmaşık veri, analiz ve ML projelerinin geliştirilmesini sağlama aracıdır. Paketler, yazılım geliştirme iş akışınızda tek, kısa ve bildirim temelli bir YAML söz dizimi kullanarak CI/CD özellikleri sağlayarak etkin geliştirme sırasında karmaşık projeleri yönetmeyi kolaylaştırır. Projenizin test, dağıtım ve yapılandırma yönetimini otomatikleştirmek için paketleri kullanarak, kuruluşunuz genelinde şablonlu projeler olarak yazılım en iyi yöntemlerini tanıtırken hataları azaltabilirsiniz.

3. Kapasiteyi ve kotaları yönetme

Hizmet sınırlarını ve kotalarını yönetme

Hizmet sınırlarını ve kotalarını yönetmek, iyi işleyen bir altyapının korunması ve beklenmeyen maliyetlerin önlenmesi için önemlidir. Bulutta başlatılan her hizmetin erişim hızı sınırları, örnek sayısı, kullanıcı sayısı ve bellek gereksinimleri gibi sınırları dikkate alması gerekir. Bulut sağlayıcınız için bulut sınırlarını denetleyin. Çözüm tasarlamadan önce bu sınırların anlaşılması gerekir.

Özellikle Databricks platformu için farklı sınır türleri vardır:

Databricks platform sınırları: Bunlar Azure Databricks kaynakları için belirli sınırlardır. Genel platformun sınırları Kaynak sınırları bölümünde belgelenmiştir.

Unity Kataloğu sınırları: Unity Kataloğu kaynak kotaları

Abonelik/hesap kotaları: Azure Databricks hizmeti için bulut kaynaklarından yararlanıyor. Örneğin, Azure Databricks'te iş yükleri, Databricks platformunun bulut sağlayıcısının sanal makinelerini (VM) başlattığı kümelerde çalışır. Bulut sağlayıcıları, aynı anda başlatılacak sanal makine sayısıyla ilgili varsayılan kotalar belirler. Ihtiyaca bağlı olarak, bu kotaların ayarlanması gerekebilir.

Diğer ayrıntılar için VM ailesi vCPU kotalarını artırma başlığına bakın.

Benzer şekilde depolama, ağ ve diğer bulut hizmetlerinin de anlaşılması ve dikkate alınması gereken sınırlamaları vardır.

Kapasite planlamasına yatırım yapma

Kapasite planlaması, maliyetleri iyileştirirken performansı korumak için depolama, işlem ve ağ gibi bulut kaynaklarını yönetmeyi içerir. Ani iş değişiklikleri ve hatta dünya olayları dahil olmak üzere çeşitli nedenlerle ortaya çıkabilecek beklenen yük değişimlerini planlayın. İş yüklerinizin ölçeklenebilmesini sağlamak için beklenmeyenler de dahil olmak üzere yük çeşitlemelerini test edin. Bir bölge başarısız olursa tüm bölgelerin toplam yükü destekleyecek kadar ölçeklendirileceğından emin olun. Aşağıdakileri dikkate alın:

  • Teknoloji ve hizmet sınırlamaları ve bulut kısıtlamaları. Bkz. Kapasiteyi ve kotaları yönetme.
  • Tasarımda kullanılacak hizmetleri belirlemek için SLA'lar.
  • Maliyet artırılırsa uygulamada ne kadar iyileştirme gerçekleştirileceğini belirlemek için maliyet analizi. Fiyatın yatırıma değip değmediğini değerlendirin.

Yüksek öncelikli (hacim) olayları anlamak ve planlamak önemlidir. Sağlanan bulut kaynakları yeterli değilse ve iş yükleri ölçeklendirilemiyorsa, birimdeki bu artışlar kesintiye neden olabilir.

4. İzlemeyi, uyarıyı ve günlüğe kaydetmeyi ayarlama

İzleme süreçleri oluşturma

Bir veri platformu için izleme işlemlerinin oluşturulması çeşitli nedenlerle kritik önem taşır. İzleme süreçleri, veri kalitesi sorunları, performans sorunları ve sistem hataları gibi sorunların erken algılanmasını sağlar ve bu da kapalı kalma süresini ve veri kaybını önlemeye yardımcı olabilir. Veri platformundaki verimsizlikleri belirlemeye ve atıkları azaltarak ve kaynak kullanımını iyileştirerek maliyetleri iyileştirmeye yardımcı olabilir. Buna ek olarak, izleme süreçleri mevzuat gereksinimleriyle uyumluluğu sağlamaya yardımcı olabilir ve veri erişimi ve kullanımı için denetim izleri sağlayabilir.

Platform izleme için yerel ve dış araçları kullanma

Databricks Veri Zekası Platformu yerleşik izleme çözümlerine sahiptir ve dış izleme sistemlerini tümleştirir:

  • Azure izleme çözümlerini kullanarak platform izleme

    İzleme, üretim düzeyindeki tüm çözümler için kritik öneme sahiptir ve Azure Databricks özel uygulama ölçümlerini, akış sorgu olaylarını ve uygulama günlüğü iletilerini izlemek için güçlü işlevler sunar. Azure Databricks bu izleme verilerini farklı günlük hizmetlerine gönderebilir.

  • Databricks Lakehouse İzleme

    Databricks Lakehouse İzleme, hesabınızdaki tüm tablolarda yer alan verilerin istatistiksel özelliklerini ve kalitesini izlemenize olanak tanır. Veri kalitesi izleme, zaman içinde veri tutarlılığını izlemek ve onaylamak için nicel ölçüler sağlar ve kullanıcıları veri dağıtımı ve model performansındaki değişiklikleri belirlemeye ve uyarmaya yardımcı olur. Model girişleri ve tahminleri içeren çıkarım tablolarını izleyerek makine öğrenmesi modellerinin performansını da izleyebilirsiniz.

    Lakehouse Monitoring maliyetlerini anlamak için Lakehouse Monitoring harcamalarını görüntüleyin bölümüne bakın.

  • SQL ambarı izleme

    SQL ambarını izlemek, zaman içindeki yük profilini anlamak ve SQL ambarını verimli bir şekilde yönetmek için gereklidir. SQL ambarı izleme ile, ambar tarafından işlenen sorgu sayısı veya ambara ayrılan küme sayısı gibi bilgileri görüntüleyebilirsiniz.

  • Databricks SQL uyarıları

    Databricks SQL uyarıları düzenli aralıklarla sorgular çalıştırır, tanımlı koşulları değerlendirir ve bir koşul karşılanırsa bildirim gönderir. İşletmenizi izlemek için uyarılar ayarlayabilir ve bildirilen veriler beklenen sınırların dışına çıktığında bildirim gönderebilirsiniz.

    Buna ek olarak, örneğin, bir istatistik belirli bir aralıktan çıktığında veya veriler temel tabloya kıyasla kaydığında bildirim almak için bir izleme ölçümleri tablosundanbir metriğe dayalı bir Databricks SQL uyarısı oluşturabilirsiniz.

  • Otomatik Yükleyici izleme

    Otomatik Yükleyici, bir akışın durumunu incelemek için bir SQL API'sini sağlar. SQL işlevleriyle, Otomatik Yükleyici akışı tarafından bulunan dosyalar hakkındaki meta verileri bulabilirsiniz. Bkz. Otomatik Yükleyiciyi İzleme.

    Apache Spark Akış Sorgu Dinleyicisi arabirimi ile Otomatik Yükleyici akışları daha fazla izlenebilir.

  • İş izleme

    İş izleme , Lakeflow İşlerinizde hatalar, gecikmeler veya performans sorunları gibi sorunları belirlemenize ve çözmenize yardımcı olur. İş izleme, iş performansı hakkında içgörüler sağlayarak kaynak kullanımını iyileştirmenize, wastage'ı azaltmanıza ve genel verimliliği artırmanıza olanak tanır.

  • Lakeflow Deklaratif İşlem Hatları izleme

    Her işlem hattı için bir olay günlüğü oluşturulur ve korunur. Olay günlüğü, denetim günlükleri, veri kalitesi denetimleri, işlem hattı ilerleme durumu ve veri kökeni dahil olmak üzere işlem hattıyla ilgili tüm bilgileri içerir. Veri işlem hatlarınızın durumunu izlemek, anlamak ve izlemek için olay günlüğünü kullanabilirsiniz.

  • Akış izleme

    Akış, veri alımı ve analiz için en önemli veri işleme tekniklerinden biridir. Kullanıcılara ve geliştiricilere analiz ve tetikleyici eylemleri için düşük gecikme süresi ve gerçek zamanlı veri işleme özellikleri sağlar. Databricks Veri Zekası Platformu, Yapılandırılmış Akış sorgularını izlemenize olanak tanır.

  • ML ve AI izleme

    Üretim iş akışlarında modellerin performansını izlemek, yapay zeka ve ML modeli yaşam döngüsünün önemli bir yönüdür. Çıkarım tabloları, Mozaik Yapay Zeka Modeli Sunma uç noktalarındaki istek girişlerini ve yanıtlarını (tahminleri) sürekli olarak günlüğe kaydederek ve bunları Unity Kataloğu'ndaki Bir Delta tablosuna kaydederek modellerin izlenmesini ve tanılamasını basitleştirir. Daha sonra modellerinizi izlemek, hatalarını ayıklamak ve iyileştirmek için DBSQL sorguları, not defterleri ve Lakehouse İzleme gibi Databricks platformunun tüm özelliklerini kullanabilirsiniz.

    Daha fazla bilgi için model hizmet sunumunu izleme hakkında bkz Model kalitesini ve uç nokta sağlığını izleme.

  • Güvenlik izleme

    Bkz . Güvenlik, uyumluluk ve gizlilik - Güvenlik İzleme.

  • Maliyet izleme

    Bkz. Maliyet iyileştirme - Maliyeti izleme ve denetleme.