Azure Machine Learning ortamlarını düzenleme ve ayarlama

Kurumsal bir ortam için Azure Machine Learning dağıtımı planlarken, çalışma alanını oluşturma şeklinizi etkileyen bazı yaygın karar noktaları vardır:

• Ekip yapısı: Veri bilimi ekiplerinizi düzenleme ve projelerde işbirliği yapma yönteminiz, kullanım örneği ve veri ayrımları veya maliyet yönetimi gereksinimleri
• Ortamlar: Geliştirmeyi üretimden ayırmaya yönelik geliştirme ve yayın iş akışınızın bir parçası olarak kullandığınız ortamlar
• Bölge: Verilerinizin konumu ve makine öğrenmesi çözümünüz için hizmet vermeniz gereken hedef kitle

Ekip yapısı ve çalışma alanı kurulumu

Çalışma alanı, Azure Machine Learning'deki en üst düzey kaynaktır. Makine öğrenmesi ile çalışırken üretilen yapıtları ve yönetilen işlem ile ekli ve ilişkili kaynaklara yönelik işaretçileri depolar. Yönetilebilirlik açısından bakıldığında, Azure Resource Manager kaynağı olarak çalışma alanı Azure rol tabanlı erişim denetimini (Azure RBAC), İlkeye göre yönetimi destekler ve bunu maliyet raporlama için bir birim olarak kullanabilirsiniz.

Kuruluşlar genellikle yönetilebilirlik gereksinimlerini izlemek için aşağıdaki çözüm desenlerinden birini veya bir bileşimini seçer.

Ekip başına çalışma alanı: Ekibin tüm üyeleri veri ve deneme varlıklarına aynı düzeyde erişim gerektirdiğinde her ekip için bir çalışma alanı kullanın. Örneğin, üç makine öğrenmesi ekibi olan bir kuruluş, her ekip için bir tane olmak üzere üç çalışma alanı oluşturabilir.

Ekip başına bir çalışma alanı kullanmanın avantajı, ekibin projeleri için tüm makine öğrenmesi yapıtlarının tek bir yerde depolanmasıdır. Ekip üyelerinin deneme sonuçlarına kolayca erişebilmesi, bunları keşfetmesi ve yeniden kullanabilmesi nedeniyle üretkenlik artışlarını görebilirsiniz. Çalışma alanlarınızı ekip olarak düzenlemek, Azure ayak izinizi azaltır ve takıma göre maliyet yönetimini basitleştirir. Deneme varlıklarının sayısı hızla artabileceğinden, adlandırma ve etiketleme kurallarını izleyerek yapıtlarınızı düzenli tutabilirsiniz. Kaynakları adlandırma hakkında öneriler için bkz . Azure kaynakları için adlandırma ve etiketleme stratejinizi geliştirme.

Bu yaklaşımla, her ekip üyesinin benzer veri erişim düzeyi izinleri olmalıdır. Veri kaynakları ve deneme varlıkları için ayrıntılı rol tabanlı erişim denetimi (RBAC) ve erişim denetimi listeleri (ACL) çalışma alanı içinde sınırlıdır. Kullanım örneği veri ayrım gereksinimleriniz olamaz.

Proje başına çalışma alanı: Projeye göre veri ve deneme varlıklarının ayrıştırılması gerekiyorsa veya proje düzeyinde maliyet raporlama ve bütçeleme gereksinimleriniz varsa her proje için bir çalışma alanı kullanın. Örneğin, her biri toplam 12 çalışma alanı örneği için üç proje çalıştıran dört makine öğrenmesi ekibine sahip bir kuruluşunuz olabilir.

Proje başına bir çalışma alanı kullanmanın avantajı, maliyetleri proje düzeyinde yönetmenizdir. Ekip genellikle benzer nedenlerle Azure Machine Learning ve ilişkili kaynaklar için ayrılmış bir kaynak grubu oluşturur. Örneğin dış katkıda bulunanlarla çalışırken, proje merkezli çalışma alanı proje üzerinde işbirliğini basitleştirir çünkü dış kullanıcılara ekip kaynaklarına değil yalnızca proje kaynaklarına erişim verilmesi gerekir.

Bu yaklaşımda dikkate alınması gereken bir nokta, deneme sonuçlarının ve varlıkların yalıtımıdır. Varlıklar birden çok çalışma alanı örneğine yayıldığından varlıkların bulunması ve yeniden kullanılması daha zor olabilir.

Tek Çalışma Alanı: Ekip dışı veya projeyle ilgili olmayan çalışmalar için veya maliyetler belirli bir faturalama birimiyle doğrudan ilişkilendirilemiyorsa (örneğin Ar-D ile) tek bir çalışma alanı kullanın.

Bu kurulumun avantajı, projeyle ilgili olmayan bireysel çalışmaların maliyetidir ve projeyle ilgili maliyetlerden ayrıştırılabilir. Tüm kullanıcıların kendi işlerini yapması için tek bir çalışma alanı ayarladığınızda Azure ayak izinizi azaltırsınız.

Bu yaklaşımla, birçok makine öğrenmesi uygulayıcısı aynı örneği paylaştığında çalışma alanı hızla dağınık hale gelebilir. Kullanıcılar kaynaklarını etkili bir şekilde bulmak için varlıkların kullanıcı arabirimi tabanlı filtrelemesini gerektirebilir. Ölçek sorunlarını azaltmak veya bütçeleri segmentlere ayırmak için her bir iş bölümü için paylaşılan makine öğrenmesi çalışma alanları oluşturabilirsiniz.

Ortamlar ve çalışma alanı kurulumu

Ortam, dağıtımların uygulama yaşam döngüsündeki aşamalarına göre hedefledikleri kaynak koleksiyonudur. Ortam adlarının yaygın örnekleri Geliştirme, Test, Soru-Cevap, Hazırlama ve Üretim'tir.

Kuruluşunuzdaki geliştirme süreci, ortam kullanımı gereksinimlerini etkiler. Ortamınız Azure Machine Learning kurulumunu ve ekli işlem gibi ilişkili kaynakları etkiler. Örneğin, veri kullanılabilirliği her ortam için kullanılabilir bir makine öğrenmesi örneğinin yönetilebilirliğini kısıtlayabilir. Aşağıdaki çözüm desenleri yaygındır:

Tek ortamlı çalışma alanı dağıtımı: Tek bir ortam çalışma alanı dağıtımı seçtiğinizde Azure Machine Learning tek bir ortama dağıtılır. Bu kurulum, makine öğrenmesi yapıtlarını yaşam döngüsü aşamalarına göre ortamlar arasında yayınlamaya gerek olmayan araştırma odaklı senaryolarda yaygındır. Bu kurulumun anlamlı olduğu bir diğer senaryo ise makine öğrenmesi işlem hatlarının değil yalnızca çıkarım hizmetlerinin ortamlar arasında dağıtılmasıdır.

Araştırma odaklı bir kurulumun avantajı, daha küçük bir Azure ayak izi ve minimum yönetim yüküdür. Bu çalışma yöntemi, her ortama bir Azure Machine Learning çalışma alanı dağıtılmaya gerek olmadığını gösterir.

Bu yaklaşımla, tek bir ortam dağıtımı veri kullanılabilirliğine tabidir. Bu nedenle, veri deponuzu ayarlarken dikkatli olun. Üretim veri kaynakları üzerinde yazar erişimi gibi kapsamlı bir erişim ayarlarsanız, istemeden veri kalitesine zarar verirseniz. Geliştirmenin gerçekleştiği ortamda üretime iş getirirseniz, hem geliştirme çalışmaları hem de üretim çalışmaları için aynı RBAC kısıtlamaları uygulanır. Bu kurulum her iki ortamı da çok katı veya çok esnek hale getirebilir.

Birden çok ortam çalışma alanı dağıtımı: Birden çok ortam çalışma alanı dağıtımı seçtiğinizde, her ortam için bir çalışma alanı örneği dağıtılır. Bu kurulum için yaygın bir senaryo, ortamlar arasında ve bu ortamlara kaynak erişimi olan kullanıcılar için açıkça görev ayrımı içeren düzenlenmiş bir çalışma alanıdır.

Bu kurulumun avantajları şunlardır:

• Makine öğrenmesi iş akışlarının ve yapıtlarının aşamalı dağıtımı. Örneğin, çevikliği artırma ve dağıtım süresini azaltma potansiyeline sahip farklı ortamlardaki modeller.
• Aşağı akış ortamlarında daha fazla erişim kısıtlaması atayabildiğiniz için gelişmiş güvenlik ve kaynakların denetimi.
• Belirli bir kullanıcı grubuna erişim verebildiğiniz için geliştirme dışı ortamlarda üretim verileriyle ilgili eğitim senaryoları.

Bu yaklaşımla, daha fazla yönetim ve işlem yükü riskiyle karşınıza olur. Bu kurulum, çalışma alanı örnekleri genelinde makine öğrenmesi yapıtları için ayrıntılı bir geliştirme ve dağıtım işlemi gerektirir. Ayrıca, üretim verilerini geliştirme ortamında eğitim için kullanılabilir hale getirmek için veri yönetimi ve mühendislik çalışması gerekebilir. Erişim yönetimi, üretim ortamındaki olayları çözümlemek ve araştırmak için bir takıma erişim vermenizi gerektirir. Son olarak ekibinizin otomasyon iş akışlarını uygulamak için Azure DevOps ve makine öğrenmesi mühendisliği uzmanlığına ihtiyacı var.

Biri üretim verileri erişimine sahip olmak üzere sınırlı veri erişimine sahip bir ortam: Bu kurulumu seçtiğinizde Azure Machine Learning iki ortama dağıtılır: biri sınırlı veri erişimine sahip, diğeri de üretim verilerine erişimi olan ortamlar. Geliştirme ve üretim ortamlarını ayırmanız gerekiyorsa bu kurulum yaygındır. Örneğin, üretim verilerinin herhangi bir ortamda kullanılabilir olmasını sağlamak için kuruluş kısıtlamaları altında çalışıyor olabilirsiniz veya yüksek bakım maliyeti nedeniyle verileri çoğaltmadan geliştirme çalışmalarını üretim çalışmasından ayrıştırmak isteyebilirsiniz.

Bu kurulumun avantajı, görevlerin net bir şekilde ayrılması ve geliştirme ve üretim ortamları arasındaki erişimdir. Bir diğer avantajı da çok ortamlı dağıtım senaryosuna kıyasla daha düşük kaynak yönetimi yüküdür.

Bu yaklaşımla, çalışma alanları genelinde makine öğrenmesi yapıtları için tanımlı bir geliştirme ve dağıtım sürecine ihtiyacınız vardır. Ayrıca, üretim verilerini geliştirme ortamında eğitim için kullanılabilir hale getirmek için veri yönetimi ve mühendislik çalışması gerekebilir. Ancak bu yaklaşım, çok ortamlı çalışma alanı dağıtımından nispeten daha az çaba gerektirebilir.

Bölgeler ve kaynak kurulumu

Kaynaklarınızın, verilerinizin veya kullanıcılarınızın konumu, birden çok Azure bölgesinde Azure Machine Learning çalışma alanı örnekleri ve ilişkili kaynaklar oluşturmanızı gerektirebilir. Örneğin bir proje, performans, maliyet ve uyumluluk nedeniyle kaynaklarını Batı Avrupa ve Doğu ABD Azure bölgelerine yayabilir. Aşağıdaki senaryolar yaygındır:

Bölgesel eğitim: Makine öğrenmesi eğitim işleri, verilerin bulunduğu Azure bölgesinde çalışır. Bu kurulumda, bir makine öğrenmesi çalışma alanı verilerin bulunduğu her Azure bölgesine dağıtılır. Bu senaryo, uyumluluğu karşılamanız gerektiğinde veya bölgeler arasında veri taşıma kısıtlamalarınız olduğunda yaygındır.

Bu kurulumun avantajı, verilerin bulunduğu veri merkezinde en az ağ gecikme süresiyle denemeler yapmanızdır. Bu yaklaşımla, bir makine öğrenmesi işlem hattı birden çok çalışma alanı örneğinde çalıştırıldığında daha fazla yönetim karmaşıklığı ekler. Örnekler arasında deneme sonuçlarını karşılaştırmak zorlaşır ve kota ve işlem yönetimine ek yük getirir.

Bölgeler arasında depolama eklemek, ancak tek bir bölgeden işlem kullanmak istiyorsanız, Azure Machine Learning çalışma alanı yerine bir bölgeye depolama hesapları ekleme senaryosını destekler. Ölçümler gibi meta veriler çalışma alanı bölgesinde depolanır.

Bölgesel hizmet: Makine öğrenmesi hizmetleri hedef kitlenin bulunduğu yere yakın bir yere dağıtılır. Örneğin, hedef kullanıcılar Avustralya'daysa ve ana depolama ve deneme bölgesi Batı Avrupa ise Batı Avrupa'da deneme için makine öğrenmesi çalışma alanını dağıtın. Ardından Avustralya'da çıkarım uç noktası dağıtımı için bir AKS kümesi dağıtacaksınız.

Bu kurulumun avantajları, yeni verilerin alındığı veri merkezinde çıkarım yapma, gecikme süresini ve veri hareketini en aza indirme ve yerel düzenlemelerle uyumluluğu sağlama fırsatıdır.

Bu yaklaşımla, çok bölgeli bir kurulum birkaç avantaj sağlar, ancak kota ve işlem yönetimine daha fazla ek yük de ekler. Toplu çıkarım gereksiniminiz olduğunda, bölgesel sunum için çok çalışma alanılı dağıtım gerekebilir. Çıkarım uç noktaları aracılığıyla toplanan verilerin yeniden eğitme senaryoları için bölgeler arasında aktarılması gerekebilir.

Bölgesel ince ayarlama: Temel model, genel veriler veya tüm bölgelerdeki veriler gibi ilk veri kümesinde eğitilir ve daha sonra bölgesel bir veri kümesiyle ince ayar yapılır. Bölgesel veri kümesi, uyumluluk veya veri taşıma kısıtlamaları nedeniyle yalnızca belirli bir bölgede mevcut olabilir. Örneğin, A bölgesindeki bir çalışma alanında temel model eğitiminin yapılması gerekebilirken, B bölgesindeki bir çalışma alanında ince ayarlama yapılır.

Bu kurulumun avantajı, verilerin bulunduğu veri merkezinde uyumlu bir şekilde denemeler yapmaktır. Ayrıca, önceki işlem hattı aşamasında daha büyük bir veri kümesinde temel model eğitiminden de yararlanabilirsiniz.

Bu yaklaşım karmaşık deneme işlem hatlarını destekler ancak daha fazla zorluk oluşturabilir. Örneğin, deneme sonuçlarını bölgeler arasında karşılaştırdığınızda kota ve işlem yönetimine daha fazla ek yük eklenebilir.

Başvuru uygulaması

Azure Machine Learning'in daha büyük bir ayarda dağıtımını göstermek için, bu bölümde kuruluş kısıtlamaları, raporlama ve bütçe gereksinimleri göz önünde bulundurularak 'Contoso' kuruluşunun Azure Machine Learning'i nasıl ayarlamış olduğu gösterilir:

• Contoso, maliyet yönetimi ve raporlama nedenleriyle çözüm temelinde kaynak grupları oluşturur.
• BT yöneticileri yalnızca bütçe gereksinimlerini karşılamak üzere fonlanan çözümler için kaynak grupları ve kaynaklar oluşturur.
• Veri Bilimi keşif ve belirsiz yapısı nedeniyle kullanıcıların denemeler yapmak ve kullanım örneği ve veri keşfi için çalışmak için bir yere ihtiyacı vardır. Keşif çalışmaları genellikle belirli bir kullanım örneğiyle doğrudan ilişkilendirilebilir ve yalnızca Ar-Ge bütçesi ile ilişkilendirilebilir. Contoso, herkesin keşif amacıyla kullanabileceği bazı makine öğrenmesi kaynaklarını merkezi olarak finanse etmek istiyor.
• Bir makine öğrenmesi kullanım örneğinin keşif ortamında başarılı olduğu kanıtlandığında ekipler kaynak grupları isteyebilir. Örneğin, şirket yinelemeli deneme projesi çalışması ve üretim veri kaynaklarına erişim için Geliştirme, Soru-Cevap ve Üretim'i ayarlayabilir.
• Veri ayrım ve uyumluluk gereksinimleri, canlı üretim verilerinin geliştirme ortamlarında mevcut olmasını sağlamaz.
• Ortam başına BT ilkesine göre çeşitli kullanıcı grupları için farklı RBAC gereksinimleri vardır; örneğin, üretimde erişim daha kısıtlayıcıdır.
• Tüm veriler, denemeler ve çıkarım tek bir Azure bölgesinde gerçekleşir.

Contoso, yukarıdaki gereksinimlere uymak için kaynaklarını aşağıdaki şekilde ayarlar:

• Bütçeleme ve kullanım örneği ayrım gereksinimlerini karşılamak için proje başına kapsamı belirlenmiş Azure Machine Learning çalışma alanları ve kaynak grupları.
• Maliyet yönetimi, RBAC ve veri erişim gereksinimlerini karşılamak için Azure Machine Learning ve ilişkili kaynaklar için çok ortamlı bir kurulum.
• Keşif için ayrılmış tek bir kaynak grubu ve makine öğrenmesi çalışma alanı.
• Kullanıcı rolü ve ortam başına farklı Microsoft Entra grupları. Örneğin, bir veri bilimcisinin üretim ortamında gerçekleştirebileceği işlemler geliştirme ortamından farklıdır ve erişim düzeyleri çözüme göre farklılık gösterebilir.
• Tek bir Azure bölgesinde oluşturulan tüm kaynaklar.

Sonraki adımlar

Azure Machine Learning ile makine öğrenmesi DevOps ile ilgili en iyi yöntemler hakkında bilgi edinin.

Machine learning DevOps kılavuzu

Azure Machine Learning ile bütçeleri, kotayı ve maliyeti yönetirken dikkat edilmesi gerekenler hakkında bilgi edinin.

Azure Machine Learning için kuruluş ölçeğinde bütçeleri, maliyetleri ve kotaları yönetme