Aracılığıyla paylaş

Makine öğrenmesi işlemleri

  • Makale

Bu makalede, uçtan uca sürekli tümleştirme ve sürekli teslim (CI/CD) işlem hatlarına ve yeniden eğitme işlem hatlarına sahip makine öğrenmesi işlemleri için üç Azure mimarisi açıklanmaktadır. Mimariler şu yapay zeka uygulamalarına yöneliktir:

  • Klasik makine öğrenmesi
  • Görüntü işleme (CV)
  • Doğal dil işleme

Bu mimariler MLOps v2 projesinin ürünü. Bunlar, çözüm mimarlarının çeşitli makine öğrenmesi çözümleri geliştirme sürecinde tanımladıkları en iyi yöntemleri içerir. Sonuç dağıtılabilir, yinelenebilir ve sürdürülebilir desenler olur. Üç mimari de Azure Machine Learning hizmetini kullanır.

MLOps v2 için örnek dağıtım şablonları içeren bir uygulama için bkz. Azure MLOps v2 GitHub deposu.

Olası kullanım örnekleri

  • Klasik makine öğrenmesi: Tablosal yapılandırılmış verilerde zaman serisi tahmini, regresyon ve sınıflandırma, bu kategorideki en yaygın kullanım örnekleridir. Örnekler şunları içerir:

    • İkili ve çok etiketli sınıflandırma.

    • Doğrusal, polinom, sırt, kement, nicel ve Bayes regresyonu.

    • ARIMA, otomatik kayıt, SARIMA, VAR, SES, LSTM.

  • CV: Bu makaledeki MLOps çerçevesi çoğunlukla segmentasyon ve görüntü sınıflandırma cv kullanım örneklerine odaklanır.

  • Doğal dil işleme: Uygulamak için bu MLOps çerçevesini kullanabilirsiniz:

    • Adlandırılmış varlık tanıma

    • Metin sınıflandırması

    • Metin oluşturma

    • Duygu analizi

    • Çeviri

    • Soru cevaplama

    • Özetleme

    • Tümce algılama

    • Dil algılama

    • Konuşma bölümü etiketleme

Yapay zeka simülasyonları, derin pekiştirici öğrenme ve diğer yapay zeka biçimleri bu makalede açıklanmamıştır.

Yapay zeka iş yükleri için önemli bir tasarım alanı olarak MLOps

MLOps ve GenAIOps'un planlanması ve uygulanması, Azure'daki yapay zeka iş yüklerinde temel bir tasarım alanıdır. Bu makine öğrenmesi iş yüklerinin özel işlemlere neden ihtiyaç duyduğuna ilişkin bir arka plan edinmek için bkz. Azure Well-Architected Framework'te Azure'da yapay zeka iş yükleri için MLOps ve GenAIOps .

Mimari

MLOps v2 mimari deseni, MLOps yaşam döngüsünün dört ana modüler bileşenine veya aşamasına sahiptir:

  • Veri varlığı
  • Yönetim ve kurulum
  • Model geliştirme veya iç döngü aşaması
  • Model dağıtımı veya dış döngü aşaması

Önceki bileşenler, aralarındaki bağlantılar ve ilgili tipik kişilikler tüm MLOps v2 senaryo mimarilerinde standarttır. Her bileşenin ayrıntılarındaki çeşitlemeler senaryoya bağlıdır.

Machine Learning için MLOps v2 temel mimarisi, tablosal verilere yönelik klasik makine öğrenmesi senaryosudur. CV ve NLP mimarileri bu temel mimariyi temel alır ve değiştirir.

MLOps v2, bu makalede açıklanan aşağıdaki mimarileri kapsar:

Klasik makine öğrenmesi mimarisi

Klasik makine öğrenmesi mimarisini gösteren diyagram.

Bu mimarinin Visio dosyasını indirin.

Klasik makine öğrenmesi mimarisi için iş akışı

  1. Veri varlığı

    Bu bileşen, kuruluşun veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünün bu bileşeninin birincil sahipleridir. Bu diyagramdaki Azure veri platformları kapsamlı veya açıklayıcı değildir. Yeşil onay işareti, müşteri kullanım örneğini temel alan önerilen en iyi yöntemleri temsil eden veri kaynaklarını ve hedefleri gösterir.

  2. Yönetim ve kurulum

    Bu bileşen, MLOps v2 çözümü dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. Örneğin, altyapı ekibi şunları verebilir:

    1. Proje kaynak kodu depoları oluşturun.
    2. Machine Learning çalışma alanları oluşturmak için Bicep veya Terraform kullanın.
    3. Model geliştirme ve dağıtım için veri kümeleri ve işlem kaynakları oluşturun veya değiştirin.
    4. Proje ekibi kullanıcılarını, rollerini ve diğer kaynaklara erişim denetimlerini tanımlayın.
    5. CI/CD işlem hatları oluşturun.
    6. Model ve altyapı ölçümleri için uyarılar toplamak ve oluşturmak için izleme bileşenleri oluşturun.

    Bu aşamayla ilişkili birincil kişilik altyapı ekibidir, ancak bir kuruluşun veri mühendisleri, makine öğrenmesi mühendisleri veya veri bilimciler de olabilir.

  3. Model geliştirme (iç döngü aşaması)

    İç döngü aşaması, ayrılmış ve güvenli bir Machine Learning çalışma alanı içinde hareket eden yinelemeli bir veri bilimi iş akışından oluşur. Yukarıdaki diyagramda tipik bir iş akışı gösterilmektedir. Süreç veri alımıyla başlar, keşif veri analizi, deneme, model geliştirme ve değerlendirme sürecinde ilerler ve ardından üretim kullanımı için bir model kaydeder. Bu modüler bileşen, veri bilimi ekibinizin model geliştirmek için kullandığı sürece uyarlanabilir ve belirsizdir.

    Bu aşamayla ilişkili kişiler veri bilimciler ve makine öğrenmesi mühendisleridir.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtabilecekleri bir model geliştirdikten sonra modeli Machine Learning çalışma alanı kayıt defterine kaydeder. Model kaydıyla veya döngüdeki insan tarafından geçitli onay ile otomatik olarak tetiklenen CI işlem hatları, modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltin.

    Bu aşamayla ilişkili kişilikler genellikle makine öğrenmesi mühendisleridir.

  5. Model dağıtımı (dış döngü aşaması)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test etme, üretim dağıtımı ve modelin, verilerin ve altyapının izlenmesinden oluşur. Model kuruluşun ve kullanım örneğinin ölçütlerini karşıladığında, CD işlem hatları üretim, izleme ve olası yeniden eğitme aracılığıyla modeli ve ilgili varlıkları teşvik eder.

    Bu aşamayla ilişkili kişilikler öncelikli olarak makine öğrenmesi mühendisleridir.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre değişir. Bu aşama genellikle model adayının üretim verileri üzerinde yeniden eğitilmesi ve test edilmesi, uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. Bu aşama, bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra makine öğrenmesi mühendisleri, üretim aşamasına yükseltmek için döngüdeki insan tarafından açılan onayı kullanabilir. Model dağıtım seçenekleri toplu iş senaryoları için yönetilen bir toplu iş uç noktası ya da neredeyse gerçek zamanlı senaryolar için Azure Arc kullanan yönetilen bir çevrimiçi uç nokta veya Kubernetes dağıtımı içerir. Üretim genellikle bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Makine öğrenmesi mühendisleri, modelin, verilerin ve altyapının performansındaki değişikliklerle ilgili ölçümleri toplamak için hazırlama, test ve üretimdeki bileşenleri izler. Eyleme geçmek için bu ölçümleri kullanabilirler. Model ve veri izleme model ve veri kayma durumunu denetlemeyi, yeni verilerde model performansını ve sorumlu yapay zeka sorunlarını içerebilir. Altyapı izleme yavaş uç nokta yanıtlarını, yetersiz işlem kapasitesini veya ağ sorunlarını tanımlayabilir.

  9. Veri ve model izleme: olaylar ve eylemler

    Ölçüm eşikleri veya zamanlamaları gibi model ve veri ölçütlerine bağlı olarak, otomatik tetikleyiciler ve bildirimler gerçekleştirilecek uygun eylemleri uygulayabilir. Örneğin, tetikleyici yeni üretim verilerini kullanmak için modeli yeniden eğitebilir ve ardından modeli üretim öncesi değerlendirme için hazırlama ve test etme geri döngülerine geri döndürebilir. Veya bir model veya veri sorunu, veri bilim insanlarının sorunu araştırabileceği ve potansiyel olarak yeni bir model geliştirebileceği model geliştirme aşamasına geri döngü gerektiren bir eylem tetikleyebilir.

  10. Altyapı izleme: olaylar ve eylemler

    Otomatik tetikleyiciler ve bildirimler, uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı ölçütlerine göre gerçekleştirilecek uygun eylemleri uygulayabilir. Otomatik tetikleyiciler ve bildirimler, altyapı ekibinin sorunu araştırabileceği ve işlem ve ağ kaynaklarını yeniden yapılandırabileceği kurulum ve yönetim aşamasında bir geri döngü tetikleyebilir.

Machine Learning CV mimarisi

Görüntü işleme mimarisini gösteren diyagram.

Bu mimarinin Visio dosyasını indirin.

CV mimarisi için iş akışı

Machine Learning CV mimarisi klasik makine öğrenmesi mimarisini temel alır, ancak denetimli CV senaryolarına özgü değişikliklere sahiptir.

  1. Veri varlığı

    Bu bileşen, kuruluşun veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünde bu bileşenin birincil sahipleridir. Bu diyagramdaki Azure veri platformları kapsamlı veya açıklayıcı değildir. CV senaryoları için görüntüler çeşitli veri kaynaklarından gelebilir. Machine Learning ile CV modelleri geliştirirken ve dağıtırken verimlilik için Azure Blob Depolama ve Azure Data Lake Storage'ı öneririz.

  2. Yönetim ve kurulum

    Bu bileşen, MLOps v2 dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. CV senaryolarında MLOps v2 ortamının yönetimi ve kurulumu, klasik makine öğrenmesi ile büyük ölçüde aynıdır ancak ek bir adım içerir. Altyapı ekibi, görüntü etiketleme ve ek açıklama projeleri oluşturmak için Machine Learning'in veya başka bir aracın etiketleme özelliğini kullanır.

  3. Model geliştirme (iç döngü aşaması)

    İç döngü aşaması, ayrılmış ve güvenli bir Machine Learning çalışma alanı içinde gerçekleştirilen yinelemeli bir veri bilimi iş akışından oluşur. Bu iş akışı ile klasik makine öğrenmesi senaryosu arasındaki birincil fark, görüntü etiketleme ve ek açıklamanın bu geliştirme döngüsünün önemli bir bileşeni olmasıdır.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtabilecekleri bir model geliştirdikten sonra modeli Machine Learning çalışma alanı kayıt defterine kaydeder. Model kaydı veya döngüdeki insan onayı tarafından otomatik olarak tetiklenen CI işlem hatları modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltmektedir.

  5. Model dağıtımı (dış döngü aşaması)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test etme, üretim dağıtımı ve modelin, verilerin ve altyapının izlenmesinden oluşur. Model kuruluşun ve kullanım örneğinin ölçütlerini karşıladığında, CD işlem hatları üretim, izleme ve olası yeniden eğitme aracılığıyla modeli ve ilgili varlıkları teşvik eder.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre değişir. Bu aşama genellikle uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. CV senaryolarında makine öğrenmesi mühendislerinin kaynak ve zaman kısıtlamaları nedeniyle model adayını üretim verileri üzerinde yeniden eğitmelerine gerek yoktur. Veri bilimi ekibi bunun yerine model geliştirme için üretim verilerini kullanabilir. Geliştirme döngüsünden kaydedilen aday model üretim için değerlendirilir. Bu aşama, bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra makine öğrenmesi mühendisleri, üretim aşamasına yükseltmek için döngüdeki insan tarafından açılan onayı kullanabilir. Model dağıtım seçenekleri toplu iş senaryoları için yönetilen bir toplu iş uç noktası ya da neredeyse gerçek zamanlı senaryolar için Azure Arc kullanan yönetilen bir çevrimiçi uç nokta veya Kubernetes dağıtımı içerir. Üretim genellikle bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Makine öğrenmesi mühendisleri, modelin, verilerin ve altyapının performansındaki değişikliklerle ilgili ölçümleri toplamak için hazırlama, test ve üretimdeki bileşenleri izler. Eyleme geçmek için bu ölçümleri kullanabilirler. Model ve veri izleme, yeni görüntülerde model performansını denetlemeyi içerebilir. Altyapı izleme yavaş uç nokta yanıtlarını, yetersiz işlem kapasitesini veya ağ sorunlarını tanımlayabilir.

  9. Veri ve model izleme: olaylar ve eylemler

    MlOps'un doğal dil işlemeye yönelik veri ve model izleme ile olay ve eylem aşamaları, klasik makine öğrenmesinden önemli farklardır. Otomatik yeniden eğitme genellikle yeni görüntülerde model performansı düşüşü algılandığında CV senaryolarında yapılmaz. Bu durumda, kötü performans gösteren model için yeni görüntüleri gözden geçirmek ve bunlara ek açıklama eklemek amacıyla insan müdahalesi gereklidir. Sonraki eylem genellikle modeli yeni görüntülerle güncelleştirmek için model geliştirme döngüsüne geri döner.

  10. Altyapı izleme: olaylar ve eylemler

    Otomatik tetikleyiciler ve bildirimler, uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı ölçütlerine göre gerçekleştirilecek uygun eylemleri uygulayabilir. Otomatik tetikleyiciler ve bildirimler, altyapı ekibinin sorunu araştırabileceği ve ortam, işlem ve ağ kaynaklarını yeniden yapılandırabileceği kurulum ve yönetim aşamasına geri döngü tetikleyebilir.

Machine Learning doğal dil işleme mimarisi

Doğal dil işleme mimarisi için diyagram.

Bu mimarinin Visio dosyasını indirin.

Doğal dil işleme mimarisi için iş akışı

Machine Learning doğal dil işleme mimarisi klasik makine öğrenmesi mimarisini temel alır, ancak NLP senaryolarına özgü bazı değişikliklere sahiptir.

  1. Veri varlığı

    Bu bileşen, kuruluş veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünde bu bileşenin birincil sahipleridir. Bu diyagramdaki Azure veri platformları kapsamlı veya açıklayıcı değildir. Yeşil onay işareti, müşteri kullanım örneğini temel alan önerilen en iyi yöntemleri temsil eden kaynakları ve hedefleri gösterir.

  2. Yönetim ve kurulum

    Bu bileşen, MLOps v2 dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. Doğal dil işleme senaryoları için MLOps v2 ortamının yönetimi ve kurulumu büyük ölçüde klasik makine öğrenmesiyle aynıdır, ancak ek bir adımla: Machine Learning'in etiketleme özelliğini veya başka bir aracı kullanarak metin etiketleme ve ek açıklama projeleri oluşturma.

  3. Model geliştirme (iç döngü aşaması)

    İç döngü aşaması, ayrılmış ve güvenli bir Machine Learning çalışma alanı içinde gerçekleştirilen yinelemeli bir veri bilimi iş akışından oluşur. Tipik NLP modeli geliştirme döngüsü, klasik makine öğrenmesi senaryosundan farklıdır; bu senaryo için tipik geliştirme adımları, tümceler için açıklama ek açıklamalarını ve metin verileri için belirteçleri, normalleştirmeyi ve eklemeleri içerir.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtabilecekleri bir model geliştirdikten sonra modeli Machine Learning çalışma alanı kayıt defterine kaydeder. Model kaydı veya döngüdeki insan onayı tarafından otomatik olarak tetiklenen CI işlem hatları modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltmektedir.

  5. Model dağıtımı (dış döngü aşaması)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test etme, üretim dağıtımı ve modelin, verilerin ve altyapının izlenmesinden oluşur. Model kuruluşun ve kullanım örneğinin ölçütlerini karşıladığında, CD işlem hatları üretim, izleme ve olası yeniden eğitme aracılığıyla modeli ve ilgili varlıkları teşvik eder.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre değişir. Bu aşama genellikle model adayının üretim verileri üzerinde yeniden eğitilmesi ve test edilmesi, uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. Bu aşama, bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra makine öğrenmesi mühendisleri, üretim aşamasına yükseltmek için döngüdeki insan tarafından açılan onayı kullanabilir. Model dağıtım seçenekleri toplu iş senaryoları için yönetilen bir toplu iş uç noktası ya da neredeyse gerçek zamanlı senaryolar için Azure Arc kullanan yönetilen bir çevrimiçi uç nokta veya Kubernetes dağıtımı içerir. Üretim genellikle bir veya daha fazla ayrılmış ve güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Makine öğrenmesi mühendisleri, modelin, verilerin ve altyapının performansındaki değişikliklerle ilgili ölçümleri toplamak için hazırlama, test ve üretimdeki bileşenleri izler. Eyleme geçmek için bu ölçümleri kullanabilirler. Model ve veri izleme, model ve veri kayma durumunu denetlemeyi, yeni metin verilerinde model performansını ve sorumlu yapay zeka sorunlarını içerebilir. Altyapı izleme yavaş uç nokta yanıtı, yetersiz işlem kapasitesi ve ağ sorunları gibi sorunları tanımlayabilir.

  9. Veri ve model izleme: olaylar ve eylemler

    CV mimarisinde olduğu gibi mlOps'un doğal dil işlemeye yönelik veri ve model izleme ile olay ve eylem aşamaları klasik makine öğrenmesinden önemli farklardır. Otomatik yeniden eğitme genellikle yeni metinde model performansı düşüşü algılandığında doğal dil işleme senaryolarında yapılmaz. Bu durumda, kötü performans gösteren model için yeni metin verilerini gözden geçirmek ve bunlara açıklama eklemek için döngüdeki insan işlemi gereklidir. Bir sonraki eylem genellikle modeli yeni metin verileriyle güncelleştirmek için model geliştirme döngüsüne geri dönmektir.

  10. Altyapı izleme: olaylar ve eylemler

    Otomatik tetikleyiciler ve bildirimler, uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı ölçütlerine göre gerçekleştirilecek uygun eylemleri uygulayabilir. Otomatik tetikleyiciler ve bildirimler, altyapı ekibinin sorunu araştırabileceği ve işlem ile ağ kaynaklarını yeniden yapılandırabileceği kurulum ve yönetim aşamasına geri döngü tetikleyebilir.

Bileşenler

  • Machine Learning , makine öğrenmesi modellerini büyük ölçekte eğitmek, puan vermek, dağıtmak ve yönetmek için kullanabileceğiniz bir bulut hizmetidir.

  • Azure Pipelines, Azure DevOps'yi temel alan ve derleme ve yayın işlem hatları için kullanılan bir derleme ve test sistemidir. Azure Pipelines bu işlem hatlarını görevler olarak adlandırılan mantıksal adımlara böler.

  • GitHub , sürüm denetimi, işbirliği ve CI/CD iş akışları için bir kod barındırma platformudur.

  • Azure Arc , Azure kaynaklarını ve şirket içi kaynakları yönetmek için Azure Resource Manager'ı kullanan bir platformdur. Kaynaklar sanal makineleri, Kubernetes kümelerini ve veritabanlarını içerebilir.

  • Kubernetes , kapsayıcılı uygulamaların dağıtımını, ölçeklendirmesini ve yönetimini otomatikleştirmek için kullanabileceğiniz bir açık kaynak sistemidir.

  • Azure Data Lake Storage , Hadoop uyumlu bir dosya sistemidir. Tümleşik bir hiyerarşik ad alanına ve Blob Depolama'nın muazzam ölçeğine ve ekonomisine sahiptir.

  • Azure Synapse Analytics , veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini bir araya getiren sınırsız bir analiz hizmetidir.

  • Azure Event Hubs , istemci uygulamalarının oluşturduğu veri akışlarını alan bir hizmettir. Ardından alınan olayların sırasını koruyan akış verilerini alır ve depolar. Müşteriler, işlenmek üzere iletileri almak için hub uç noktalarına bağlanabilir. Bu mimaride Data Lake Storage tümleştirmesi kullanılır.

Dikkat edilecek diğer noktalar

Yukarıdaki MLOps v2 mimari deseni, iş paydaşlarıyla uyumlu rol tabanlı erişim denetimi (RBAC), verimli paket yönetimi ve sağlam izleme mekanizmaları gibi birçok kritik bileşene sahiptir. Bu bileşenler, makine öğrenmesi iş akışlarının başarıyla uygulanmasına ve yönetilmesine toplu olarak katkıda bulunur.

Kişilik tabanlı RBAC

Makine öğrenmesi verilerine ve kaynaklarına erişimi yönetmeniz çok önemlidir. RBAC, kimlerin belirli eylemleri gerçekleştirebileceğini ve çözümünüz içindeki belirli alanlara erişebileceğini yönetmenize yardımcı olacak sağlam bir çerçeve sağlar. Kimlik segmentasyonu stratejinizi Machine Learning'deki makine öğrenmesi modellerinin yaşam döngüsüyle ve sürece dahil edilen kişiliklerle uyumlu olacak şekilde tasarlayın. Her kişi, RBAC rollerine ve grup üyeliğine yansıtılan belirli bir sorumluluk kümesine sahiptir.

Örnek kişilikler

Bir makine öğrenmesi iş yükünde uygun segmentlere ayırmayı desteklemek için , kimlik tabanlı RBAC grubu tasarımını bilgilendiren aşağıdaki ortak kişilikleri göz önünde bulundurun.

Veri bilimcisi ve makine öğrenmesi mühendisi

Veri bilimciler ve makine öğrenmesi mühendisleri, bir projenin yazılım geliştirme yaşam döngüsü boyunca çeşitli makine öğrenmesi ve veri bilimi etkinlikleri gerçekleştirir. Görevleri keşif veri analizi ve veri ön işlemedir. Veri bilimciler ve makine öğrenmesi mühendisleri modelleri eğitip değerlendirmek ve dağıtmaktan sorumludur. Bu rollerin sorumlulukları makine öğrenmesi modelleri, paketleri ve verileri için kesme düzeltme etkinliklerini de içerir. Bu görevler platformun teknik destek ekibi için kapsam dışındadır.

Tür: Kişi
Projeye özgü: Evet

Veri analisti

Veri analistleri, iş zekası için SQL sorguları çalıştırma gibi veri bilimi etkinlikleri için gerekli girişleri sağlar. Bu rolün sorumlulukları arasında verilerle çalışma, veri analizi gerçekleştirme ve model geliştirme ile model dağıtımlarını destekleme yer alır.

Tür: Kişi
Projeye özgü: Evet

Model testçisi

Model test edicileri test ve hazırlama ortamlarında testler yürütür. Bu rol CI/CD işlemlerinden işlevsel ayrım sağlar.

Tür: Kişi
Projeye özgü: Evet

İş paydaşları

İş paydaşları, pazarlama yöneticisi gibi projeyle ilişkilendirilir.

Tür: Kişi
Projeye özgü: Evet

Proje lideri veya veri bilimi lideri

Veri bilimi lideri, Machine Learning çalışma alanı için bir proje yönetimi rolüdür. Bu rol ayrıca makine öğrenmesi modelleri ve paketleri için kesme-düzeltme etkinlikleri de yapar.

Tür: Kişi
Projeye özgü: Evet

Proje veya ürün sahibi (İş sahibi)

İş paydaşları, veri sahipliğine göre Machine Learning çalışma alanından sorumludur.

Tür: Kişi
Projeye özgü: Evet

Platform teknik desteği

Platform teknik desteği, platform genelindeki onarım etkinliklerinden sorumlu teknik destek personelidir. Bu rol altyapıyı veya hizmeti kapsar ancak makine öğrenmesi modellerini, paketlerini veya verilerini kapsamaz. Bu bileşenler veri bilimcisi veya makine öğrenmesi mühendisi rolü altında kalır ve proje sorumlusunun sorumluluğundadır.

Tür: Kişi
Projeye özgü: Hayır

Model son kullanıcı

Model son kullanıcıları, makine öğrenmesi modelinin son tüketicileridir.

Tür: Kişi veya İşlem
Projeye özgü: Evet

CI/CD işlemleri

CI/CD, platform ortamlarında yapılan değişiklikleri yayınlar veya geri alır.

Tür: İşlem
Projeye özgü: Hayır

Machine Learning çalışma alanı

Machine Learning çalışma alanları, Azure'ın diğer bölümleriyle etkileşime geçmek için yönetilen kimlikleri kullanır. Bu kişi, bir Machine Learning uygulamasını oluşturan çeşitli hizmetleri temsil eder. Bu hizmetler, geliştirme veri deposuna bağlanan geliştirme çalışma alanı gibi platformun diğer bölümleriyle etkileşim kurar.

Tür: İşlem
Projeye özgü: Hayır

İzleme işlemleri

İzleme işlemleri, platform etkinliklerine göre izleyen ve uyarı veren işlem işlemleridir.

Tür: İşlem
Projeye özgü: Hayır

Veri idaresi işlemleri

Veri idaresi işlemleri, veri idaresi için makine öğrenmesi projesini ve veri depolarını tarar.

Tür: İşlem
Projeye özgü: Hayır

Microsoft Entra grup üyeliği

RBAC'yi uyguladığınızda , Microsoft Entra grupları farklı kişiler arasında erişim izinlerini yönetmek için esnek ve ölçeklenebilir bir yol sağlar. Kısıtlı olabilecek uygulamalar ve hizmetler gibi kaynaklara aynı erişime ve izinlere ihtiyaç duyan kullanıcıları yönetmek için Microsoft Entra gruplarını kullanabilirsiniz. Tek tek kullanıcılara özel izinler eklemek yerine, bu grubun her üyesine özel izinleri uygulayan bir grup oluşturursunuz.

Bu mimari desende, bu grupları proje, ekip veya departman gibi bir Machine Learning çalışma alanı kurulumuyla ilişkilendirebilirsiniz. Ayrıntılı erişim ilkeleri tanımlamak için kullanıcıları belirli gruplarla ilişkilendirebilirsiniz. İlkeler, iş işlevlerine, proje gereksinimlerine veya diğer ölçütlere göre çeşitli Machine Learning çalışma alanlarına izin verir veya kısıtlar. Örneğin, tüm veri bilim adamlarına belirli bir kullanım örneği için geliştirme çalışma alanına erişim izni veren bir grubunuz olabilir.

Kimlik RBAC

Üretim ve üretim öncesi ortamlara RBAC uygulamak için aşağıdaki yerleşik Azure RBAC rollerini nasıl kullanabileceğinizi düşünün. Bu makaledeki mimari için üretim ortamları hazırlama, test etme ve üretim ortamlarını içerir. Üretim öncesi ortamlar geliştirme ortamlarını içerir. Aşağıdaki RBAC rolleri, bu makalenin önceki bölümlerinde açıklanan kişilikleri temel alır.

Standart roller

Bileşene özgü roller

Bu Azure RBAC rol kısaltmaları aşağıdaki tablolara karşılık gelir.

Üretim ortamı
Kişilik Machine Learning çalışma alanı Azure Key Vault Konteyner Kayıt Defteri Azure Storage hesabı Azure DevOps Azure Artifacts Log Analytics çalışma alanı Azure İzleyici
Veri bilimcisi R LAR BAY
Veri analisti
Model testçisi
İş paydaşları BAY
Proje lideri (Veri bilimi lideri) R R, KVR R LAR BAY
Proje/ürün sahibi BAY
Platform teknik desteği O O, KVA DOPCA O O O
Model son kullanıcı
CI/CD işlemleri O O, KVA AcrPush DOPCA O O O
Machine Learning çalışma alanı R C C
İzleme işlemleri R LAR Bay
Veri idaresi işlemleri R R R R R
Üretim öncesi ortam
Kişilik Machine Learning çalışma alanı Anahtar Kasası (Key Vault) Konteyner Kayıt Defteri Depolama hesabı Azure DevOps Azure Artifacts Log Analytics çalışma alanı Azure İzleyici
Veri bilimcisi REKLAM R, KVA C C C C LAC MC
Veri analisti R C LAR MC
Model testçisi R R, KVR R R R R LAR BAY
İş paydaşları R R R R R
Proje lideri (Veri bilimi lideri) C C, KVA C C C C LAC MC
Proje/ürün sahibi R R BAY
Platform teknik desteği O O, kVA O O DOPCA O O O
Model son kullanıcı
CI/CD işlemleri O O, KVA AcrPush O DOPCA O O O
Machine Learning çalışma alanı R, KVR C C
İzleme işlemleri R R R R R R LAC
Veri idaresi işlemleri R R R

Not

Geçici veya tam zamanında Microsoft Entra Privileged Identity Management (PIM) erişimi olan platform teknik desteği dışında her kişi projenin süresi boyunca erişimi korur.

RBAC, MLOps iş akışlarının güvenliğini sağlama ve akış oluşturma konusunda önemli bir rol oynar. RBAC, atanan rollere göre erişimi kısıtlar ve yetkisiz kullanıcıların hassas verilere erişmesini engeller ve bu da güvenlik risklerini azaltır. Hassas veriler, eğitim verilerini veya modellerini ve üretim işlem hatları gibi kritik altyapıyı içerir. RBAC'yi kullanarak veri gizliliği düzenlemelerine uyum sağlayabilirsiniz. RBAC ayrıca erişimin ve izinlerin net bir kaydını sağlayarak denetimi basitleştirir, güvenlik boşluklarını belirlemeyi kolaylaştırır ve kullanıcı etkinliğini izler.

Paket yönetimi

MLOps yaşam döngüsü boyunca çeşitli paketlere, kitaplıklara ve ikili dosyalara bağımlılıklar yaygındır. Genellikle topluluk tarafından geliştirilen ve hızla gelişen bu bağımlılıklar, doğru kullanım ve anlama için konu uzmanı bilgisini zorunlu kılıyor. Uygun kişilerin paketler ve kitaplıklar gibi çeşitli varlıklara güvenli erişime sahip olduğundan emin olmanız gerekir, ancak güvenlik açıklarını da önlemeniz gerekir. Veri bilimciler makine öğrenmesi çözümleri için özel yapı taşları derlerken bu sorunla karşılaşır. Geleneksel yazılım yönetimi yaklaşımları maliyetli ve verimsizdir. Diğer yaklaşımlar daha fazla değer sağlar.

Bu bağımlılıkları yönetmek için , Karantina desenini temel alan güvenli, self servis bir paket yönetimi işlemi kullanabilirsiniz. Bu süreci, veri bilimciler tarafından seçilen paket listesinden kendi kendine hizmet vermelerine olanak tanıyacak ve paketlerin güvenli ve kurumsal standartlara uygun olduğundan emin olacak şekilde tasarlayabilirsiniz.

Bu yaklaşım, endüstri standardı üç makine öğrenmesi paketi depolarını güvenli bir şekilde listelemeyi içerir: Microsoft Yapıt Kayıt Defteri, Python Paket Dizini (PyPI) ve Conda. Güvenli listeleme, tek tek Machine Learning çalışma alanlarından self servis sağlar. Ardından dağıtım sırasında otomatik bir test işlemi kullanarak sonuçta elde edilen çözüm kapsayıcılarını tarayın. Hatalar dağıtım işleminden zarif bir şekilde çıkar ve kapsayıcıyı kaldırır. Aşağıdaki diyagram ve işlem akışı bu işlemi gösterir:

Güvenli Machine Learning paket yaklaşımını gösteren diyagram.

İşlem akışı

  1. Ağ yapılandırmasına sahip bir Machine Learning çalışma alanında çalışan veri bilimciler, makine öğrenmesi paketi depolarından isteğe bağlı olarak makine öğrenmesi paketlerine self servis yapabilir. Merkezi bir işlev kullanılarak dağıtılan ve korunan özel depolama düzeni kullanılarak diğer her şey için bir özel durum işlemi gereklidir.

  2. Machine Learning, Docker kapsayıcıları olarak makine öğrenmesi çözümleri sunar. Bu çözümler geliştirildikçe Container Registry'ye yüklenir. Kapsayıcılar için Microsoft Defender , kapsayıcı görüntüsü için güvenlik açığı değerlendirmeleri oluşturur.

  3. Çözüm dağıtımı bir CI/CD işlemi aracılığıyla gerçekleşir. DevOps için Microsoft Defender , güvenlik duruşu yönetimi ve tehdit koruması sağlamak için yığın genelinde kullanılır.

  4. Çözüm kapsayıcısı yalnızca güvenlik işlemlerinin her birini geçtiğinde dağıtılır. Çözüm kapsayıcısı bir güvenlik işleminde başarısız olursa, dağıtım hata bildirimleri ve tam denetim izleriyle başarısız olur. Çözüm kapsayıcısı atılır.

Önceki süreç akışı, veri bilimciler için güvenli, self servis bir paket yönetimi süreci sağlar ve paketlerin güvenli ve kurumsal standartlara uygun olmasını sağlar. Yenilik ve güvenliği dengelemek için veri bilimcilerine üretim öncesi ortamlardaki yaygın makine öğrenmesi paketlerine, kitaplıklarına ve ikili dosyalara self servis erişim sağlayabilirsiniz. Daha az yaygın paketler için özel durumlar gerektir. Bu strateji, veri bilim insanlarının geliştirme sırasında üretken kalabilmesini sağlar ve bu da teslimat sırasında büyük bir performans sorununu önler.

Yayın süreçlerinizi kolaylaştırmak için ortamları üretim ortamlarında kullanmak üzere kapsayıcılı hale getirin. Kapsayıcılı ortamlar, güvenlik açığı tarama yoluyla iş miktarını azaltır ve güvenliğin devam etmesini sağlar. Bu işlem akışı, kullanım örnekleri arasında teslim zamanına kadar kullanabileceğiniz tekrarlanabilir bir yaklaşım sağlar. Kuruluşunuzda makine öğrenmesi çözümleri oluşturma ve dağıtmanın genel maliyetini azaltır.

İzleme

MLOps'ta izleme, makine öğrenmesi sistemlerinin sistem durumunu ve performansını korumak ve modellerin etkili ve iş hedefleriyle uyumlu kalmasını sağlamak için çok önemlidir. İzleme, iç döngü aşamasında idare, güvenlik ve maliyet denetimlerini destekler. Ayrıca dış döngü aşamasında çözümler dağıtılırken performans, model düşüşü ve kullanımına gözlemlenebilirlik sağlar. İzleme etkinlikleri Veri Bilimci, İş Paydaşları, Proje Müşteri Adayları, Proje Sahipleri, Platform Teknik Desteği, CI/CD işlemleri ve İzleme Süreçleri gibi kişiler için geçerlidir.

Proje, ekip veya departman gibi Machine Learning çalışma alanı kurulumunuza bağlı olarak izleme ve doğrulama platformunuzu seçin.

Model performansı

Model sorunlarını ve performans düşüşünü erken algılamak için model performansını izleyin. Modellerin doğru, güvenilir ve iş hedefleriyle uyumlu kalmasını sağlamak için performansı izleyin.

Veri kayma

Veri kayılması , modelin giriş verilerini modelin eğitim verileriyle veya yakın zamandaki üretim verileriyle karşılaştırarak modelin giriş verilerinin dağılımındaki değişiklikleri izler. Bu değişiklikler pazar dinamiklerindeki değişikliklerin, özellik dönüştürme değişikliklerinin veya yukarı akış veri değişikliklerinin bir sonucu olarak ortaya çıkar. Bu tür değişiklikler model performansını düşürebileceğinden, zamanında düzeltme sağlamak için kaymayı izlemek önemlidir. Karşılaştırma yapmak için veri kaydırma yeniden düzenlemesi için son üretim veri kümeleri ve çıkışları gerekir.

Çevre: Üretim
Azure desteği: Makine Öğrenimi – Model izleme

Tahmin kayarak

Tahmin kayması, modeli doğrulama, test etiketli veya son üretim verileriyle karşılaştırarak modelin tahmin çıktılarının dağılımındaki değişiklikleri izler. Karşılaştırma yapmak için veri kaydırma yeniden düzenlemesi için son üretim veri kümeleri ve çıkışları gerekir.

Çevre: Üretim
Azure kolaylaştırma: Makine Öğrenmesi – Model izleme

Kaynak

CPU veya bellek kullanımı gibi kalite ve performansı belirtmek için uç nokta ölçümleri sunan çeşitli model kullanın. Bu yaklaşım, gelecekteki yatırımları veya değişiklikleri yönlendirmeye yardımcı olmak için üretimden öğrenmenize yardımcı olur.

Çevre: Tüm
Azure kolaylaştırma: İzleme - Çevrimiçi uç nokta ölçümleri

Ölçümleri kullanma

Kuruluşa veya iş yüküne özgü temel performans göstergelerini karşıladığınızdan, kullanım düzenlerini izlediğinizden ve kullanıcılarınızın karşılaştığı sorunları tanılayıp düzeltdiğinizden emin olmak için uç noktaların kullanımını izleyin.

İstemci istekleri

Ölçeklendirme veya maliyet iyileştirme çalışmalarını etkileyebilecek uç noktaların etkin kullanım profilini anlamak için model uç noktasına yönelik istemci isteklerinin sayısını izleyin.

Çevre: Üretim
Azure kolaylaştırma: Çevrimiçi uç nokta ölçümlerini, örneğin RequestsPerMinute, izleyin. Notlar:

  • Kabul edilebilir eşikleri, iş yükünüzün ihtiyaçlarına göre uyarlanmış tişört boyutlandırmasına veya anomalilerine hizalayabilirsiniz.
  • Artık kullanımda olmayan modelleri üretimden kullanımdan kaldırma.
Azaltma gecikmeleri

Kısıtlama gecikmeleri, veri aktarımı istek ve yanıtlarında yavaşlamalardır. Azaltma Resource Manager düzeyinde ve hizmet düzeyinde gerçekleşir. Ölçümleri her iki düzeyde de izleyin.

Çevre: Üretim
Azure desteği:

  • Gözetim - Resource Manager, RequestThrottlingDelayMs ve ResponseThrottlingDelayMs'nin toplamıdır.
  • Machine Learning - Uç noktalarınızın istekleri hakkındaki bilgileri denetlemek için çevrimiçi uç nokta trafik günlüklerini etkinleştirebilirsiniz. Günlükleri işlemek için Log Analytics çalışma alanını kullanabilirsiniz.

Notlar: Kabul edilebilir eşikleri iş yükünüzün hizmet düzeyi hedeflerine (SLO' lar) veya hizmet düzeyi sözleşmelerine (SLA) ve çözümün işlev dışı gereksinimlerine (NFR) hizalayın.

Oluşturulan hatalar

Hizmet güvenilirliğini ölçmeye ve hizmet sorunlarının erken algılanmasını sağlamaya yardımcı olmak için yanıt kodu hatalarını izleyin. Örneğin, 500 sunucu hata yanıtlarındaki ani bir artış, hemen ilgilenilmesi gereken kritik bir sorunu gösterebilir.

Çevre: Üretim
Azure kolaylaştırma: Machine Learning - İsteğiniz hakkındaki bilgileri denetlemek için çevrimiçi uç nokta trafik günlüklerini etkinleştirin. Örneğin, ModelStatusCode veya ModelStatusReason kullanarak XRequestId sayısını denetleyebilirsiniz. Günlükleri işlemek için Log Analytics çalışma alanını kullanabilirsiniz.
Notlar:

  • 400 ve 500 aralığındaki tüm HTTP yanıt kodları hata olarak sınıflandırılır.

Maliyet iyileştirme

Bulut ortamında maliyet yönetimi ve iyileştirme, iş yüklerinin giderleri denetlemesine, kaynakları verimli bir şekilde ayırmasına ve bulut hizmetlerinden en yüksek değere sahip olmasına yardımcı olduğundan çok önemlidir.

Çalışma alanı işlem

Aylık işletim giderleri önceden tanımlanmış bir tutara ulaştığında veya bu tutarı aştığında, çalışma alanı kurulum sınırları temelinde proje müşteri adayları veya proje sahipleri gibi ilgili paydaşları bilgilendirmek için uyarılar oluşturun. Çalışma alanı kurulumunuzu proje, ekip veya departmanla ilgili sınırlara göre belirleyebilirsiniz.

Çevre: Tüm
Azure kolaylaştırma: Microsoft Maliyet Yönetimi - Bütçe uyarıları
Notlar:

  • İlk NFR'leri ve maliyet tahminlerini temel alarak bütçe eşiklerini ayarlayın.
  • Birden çok eşik katmanı kullanın. Birden çok eşik katmanı, paydaşların bütçe aşılmadan önce uygun uyarıyı almalarını sağlar. Bu paydaşlar, kuruluşa veya iş yüküne bağlı olarak iş müşteri adaylarını, proje sahiplerini veya proje Müşteri Adaylarını içerebilir.
  • Tutarlı bütçe uyarıları, daha fazla talebi desteklemek üzere yeniden düzenlemeye yönelik bir tetikleyici de olabilir.
Çalışma alanı eskime durumu

Machine Learning çalışma alanı, hedeflenen kullanım örneğinin ilişkili işlem kullanımına göre etkin kullanım belirtisi göstermiyorsa, proje sahibi belirli bir proje için artık gerekli değilse çalışma alanının yetkisini alabilir.

Çevre: Ön üretim
Azure destek hizmetleri:

Notlar:

  • Etkin çekirdekler, sayıyı toplama ile sıfıra eşit olmalıdır.
  • Tarih eşiklerini proje zamanlamasına hizalayın.

Güvenlik

Machine Learning çalışma alanlarının kuruluşunuzun güvenlik ilkeleriyle uyumlu olduğundan emin olmak için uygun güvenlik denetimlerinden ve temellerden sapmaları algılamak için izleyin. Önceden tanımlanmış ve özel tanımlı ilkelerin birleşimini kullanabilirsiniz.

Çevre: Tüm
Azure hizmeti:Makine Öğrenimi için Azure Politikası

Uç nokta güvenliği

İş açısından kritik API'ler hakkında görünürlük elde etmek için tüm Machine Learning uç noktalarının hedefli güvenlik izlemesini uygulayın. API güvenlik duruşunuzu araştırabilir ve geliştirebilir, güvenlik açığı düzeltmelerine öncelik verebilir ve etkin gerçek zamanlı tehditleri hızla algılayabilirsiniz.

Çevre: Üretim
Azure kolaylık:Microsoft Defender for APIs, API'ler için geniş yaşam döngüsü koruması, algılama ve yanıt kapsamı sunar. Notlar: API'ler için Defender, Azure API Management'ta yayımlanan API'ler için güvenlik sağlar. API'ler için Defender'a Bulut için Microsoft Defender portalında veya Azure portalındaki API Management örneğinde ekleyebilirsiniz. Machine Learning çevrimiçi uç noktalarını API Management ile tümleştirmeniz gerekir.

Dağıtım izleme

Dağıtım izleme, oluşturduğunuz tüm uç noktaların iş yükü veya kuruluş ilkelerinize uygun olmasını ve güvenlik açıklarından arındırılmasını sağlar. Bu işlem, dağıtımdan önce ve sonra Azure kaynaklarınızda uyumluluk ilkelerini zorunlu kılmanızı, güvenlik açığı tarama yoluyla sürekli güvenlik sağlamanızı ve hizmet çalışırken SLO'ları karşıladığından emin olmayı gerektirir.

Standartlar ve idare

Uygun standartlardan sapmaları algılamak için izleyin ve iş yükünüzün korumalara uygun olduğundan emin olun.

Çevre: Tüm
Azure etkinleştirme:

  • İlkeyi kod olarak ele almak için Azure Pipelines aracılığıyla yönetilen ilke ataması ve yaşam döngüsü.
  • Azure için PSRule, kod olarak Azure altyapısı için bir test çerçevesi sağlar.
  • Kurumsal Azure ilkesini CI/CD tabanlı sistem dağıtım ilkelerinde, ilke kümelerinde, atamalarda, ilke muafiyetlerinde ve rol atamalarında kod olarak kullanabilirsiniz.

Notlar: Daha fazla bilgi için bkz. Machine Learning mevzuat uyumluluğu için Azure kılavuzu.

Güvenlik taraması

Otomatik tümleştirme ve dağıtım işlemlerinin bir parçası olarak otomatik güvenlik taramaları uygulayın.

Çevre: Tüm
Azure kolaylaştırma:DevOps için Güvenlik
Notlar: Bu işlemi Microsoft dışı güvenlik testi modülleri için genişletmek için Azure Market'teki uygulamaları kullanabilirsiniz.

Devam eden hizmet

Performans iyileştirme, güvenlik ve kaynak kullanımı için bir API'nin devam eden hizmetini izleyin. Zamanında hata algılama, verimli sorun giderme ve standartlara uyum sağlama.

Çevre: Üretim
Azure destek:

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Diğer katkıda bulunanlar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar