Makine öğrenmesi işlemleri (MLOps) v2

  • Makale

Bu makalede makine öğrenmesi işlemleri için üç Azure mimarisi açıklanmaktadır. Hepsi uçtan uca sürekli tümleştirme (CI), sürekli teslim (CD) ve yeniden eğitme işlem hatlarına sahiptir. Mimariler şu yapay zeka uygulamalarına yöneliktir:

  • Klasik makine öğrenmesi
  • Görüntü işleme (CV)
  • Doğal dil işleme (NLP)

Mimariler MLOps v2 projesinin ürünü. Bunlar, çözüm mimarlarının birden çok makine öğrenmesi çözümü oluşturma sürecinde keşfettiği en iyi yöntemleri içerir. Sonuç, burada açıklandığı gibi dağıtılabilir, yinelenebilir ve sürdürülebilir desenlerdir.

Tüm mimariler Azure Machine Learning hizmetini kullanır.

MLOps v2 için örnek dağıtım şablonları içeren bir uygulama için bkz . GitHub'da Azure MLOps (v2) çözüm hızlandırıcısı .

Olası kullanım örnekleri

  • Klasik makine öğrenmesi: Tablosal yapılandırılmış verilerde Zaman Serisi tahmini, regresyon ve sınıflandırma, bu kategorideki en yaygın kullanım örnekleridir. Örnekler şunlardır:
    • İkili ve çok etiketli sınıflandırma
    • Doğrusal, polinom, sırt, kement, nicel ve Bayes regresyonu
    • ARIMA, otomatik kayıt (AR), SARIMA, VAR, SES, LSTM
  • CV: Burada sunulan MLOps çerçevesi çoğunlukla segmentasyon ve görüntü sınıflandırmasının CV kullanım örneklerine odaklanır.
  • NLP: Bu MLOps çerçevesi, bu kullanım örneklerinden ve listelenmeyen diğer durumlardan herhangi birini uygulayabilir:
    • Adlandırılmış varlık tanıma
    • Metin sınıflandırması
    • Metin oluşturma
    • Duygu analizi
    • Çeviri
    • Soru cevaplama
    • Özetleme
    • Tümce algılama
    • Dil algılama
    • Konuşma bölümü etiketleme

Simülasyonlar, derin pekiştirici öğrenme ve diğer yapay zeka biçimleri bu makalede ele alınmıyor.

Mimari

MLOps v2 mimari deseni, MLOps yaşam döngüsünün bu aşamalarını temsil eden dört ana modüler öğeden oluşur:

  • Veri varlığı
  • Yönetici ve kurulum
  • Model geliştirme (iç döngü)
  • Model dağıtımı (dış döngü)

Bu öğeler, aralarındaki ilişkiler ve genellikle bunlarla ilişkili kişilikler tüm MLOps v2 senaryo mimarileri için ortaktır. Senaryoya bağlı olarak her birinin ayrıntılarında çeşitlemeler olabilir.

Machine Learning için MLOps v2 temel mimarisi, tablosal verilerde klasik makine öğrenmesi senaryosudur. CV ve NLP mimarileri bu temel mimariyi temel alır ve değiştirir.

Geçerli mimariler

Şu anda MLOps v2 kapsamında olan ve bu makalede ele alınan mimariler şunlardır:

Klasik makine öğrenmesi mimarisi

Klasik makine öğrenmesi mimarisine yönelik diyagram.

Bu mimarinin bir Visio dosyasını indirin.

Klasik makine öğrenmesi mimarisi için iş akışı

  1. Veri varlığı

    Bu öğe, kuruluşun veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünün bu öğesinin birincil sahipleridir. Bu diyagramdaki Azure veri platformları ne kapsamlı ne de açıklayıcıdır. Müşteri kullanım örneğine göre önerilen en iyi yöntemleri temsil eden veri kaynakları ve hedefleri yeşil onay işaretiyle gösterilir.

  2. Yönetici ve kurulum

    Bu öğe, MLOps v2 hızlandırıcı dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. Bunlar aşağıdaki görevleri ve belki de diğerlerini içerebilir:

    1. Proje kaynak kodu depoları oluşturma
    2. Bicep veya Terraform kullanarak Machine Learning çalışma alanları oluşturma
    3. Model geliştirme ve dağıtım için kullanılan veri kümelerinin ve işlem kaynaklarının oluşturulması veya değiştirilmesi
    4. Proje ekibi kullanıcılarının, rollerinin ve diğer kaynaklara erişim denetimlerinin tanımı
    5. CI/CD işlem hatlarının oluşturulması
    6. Model ve altyapı ölçümlerinin toplanması ve bildirimi için izleyicilerin oluşturulması

    Bu aşamayla ilişkili birincil kişilik altyapı ekibidir, ancak veri mühendisleri, makine öğrenmesi mühendisleri ve veri bilimciler de olabilir.

  3. Model geliştirme (iç döngü)

    İç döngü öğesi, ayrılmış, güvenli bir Machine Learning çalışma alanı içinde hareket eden yinelemeli veri bilimi iş akışınızdan oluşur. Diyagramda tipik bir iş akışı gösterilmektedir. Veri alımı, keşif veri analizi, deneme, model geliştirme ve değerlendirme aşamasından üretim için aday modelin kaydına kadar devam eder. MLOps v2 hızlandırıcısında uygulanan bu modüler öğe, veri bilimi ekibinizin model geliştirmek için kullandığı sürece bağımsız ve uyarlanabilir.

    Bu aşamayla ilişkili kişiler veri bilimciler ve makine öğrenmesi mühendisleridir.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtım için aday bir model geliştirdikten sonra model Machine Learning çalışma alanı kayıt defterine kaydedilebilir. Model kaydıyla veya döngüdeki insan tarafından geçitli onay ile otomatik olarak tetiklenen CI işlem hatları, modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltin.

    Bu aşamayla ilişkili kişilikler genellikle makine öğrenmesi mühendisleridir.

  5. Model dağıtımı (dış döngü)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test, üretim dağıtımı ve model, veri ve altyapının izlenmesinden oluşur. CD işlem hatları, kuruluşunuza ve kullanım örneğine uygun ölçütler karşılandığından üretim, izleme ve olası yeniden eğitim aracılığıyla modelin ve ilgili varlıkların yükseltilmesini yönetir.

    Bu aşamayla ilişkili kişilikler öncelikli olarak makine öğrenmesi mühendisleridir.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre farklılık gösterebilir, ancak genellikle model adayının üretim verileri üzerinde yeniden eğitilmesi ve test edilmesi, uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. Bu aşama, bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra insan döngüde geçitli onay kullanılarak üretime yükseltilebilir. Model dağıtım seçenekleri, toplu iş senaryoları için yönetilen bir toplu iş uç noktası veya Azure Arc kullanarak yönetilen çevrimiçi uç nokta veya Kubernetes dağıtımı gibi çevrimiçi, neredeyse gerçek zamanlı senaryolar için bir yönetilen toplu iş uç noktası içerir. Üretim genellikle bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Hazırlama, test ve üretimde izleme, model, veri ve altyapı performansındaki değişiklikleri toplamanızı ve üzerinde işlem gerçekleştirmenizi sağlar. Model ve veri izleme model ve veri kayma durumunu denetlemeyi, yeni verilerde model performansını ve sorumlu yapay zeka sorunlarını içerebilir. Altyapı izleme yavaş uç nokta yanıtı, yetersiz işlem kapasitesi veya ağ sorunlarını izleyebilir.

  9. Veri ve model izleme: olaylar ve eylemler

    Ölçüm eşikleri veya zamanlamaları gibi model ve veri konularına yönelik ölçütlere göre otomatik tetikleyiciler ve bildirimler, gerçekleştirilecek uygun eylemleri uygulayabilir. Bu, modelin daha yeni üretim verileri üzerinde otomatik olarak yeniden eğitilmesi ve üretim öncesi değerlendirme için hazırlama ve test etme geri dönüşü düzenli olarak zamanlanabilir. Bunun nedeni, veri bilim adamlarının araştırabileceği ve potansiyel olarak yeni bir model geliştirebileceği model geliştirme aşamasına geri döngü gerektiren model tetikleyicileri veya veri sorunları olabilir.

  10. Altyapı izleme: olaylar ve eylemler

    Uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı konularıyla ilgili ölçütlere bağlı olarak, otomatik tetikleyiciler ve bildirimler gerçekleştirilecek uygun eylemleri uygulayabilir. Altyapı ekibinin işlem ve ağ kaynaklarını araştırabileceği ve yeniden yapılandırabileceği kurulum ve yönetim aşamasına bir geri döngü tetikler.

Machine Learning CV mimarisi

Görüntü işleme mimarisi için diyagram.

Bu mimarinin bir Visio dosyasını indirin.

CV mimarisi için iş akışı

Machine Learning CV mimarisi klasik makine öğrenmesi mimarisini temel alır, ancak denetimli CV senaryolarına özgü değişikliklere sahiptir.

  1. Veri varlığı

    Bu öğe, kuruluşun veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünün bu öğesinin birincil sahipleridir. Bu diyagramdaki Azure veri platformları ne kapsamlı ne de açıklayıcıdır. CV senaryoları için görüntüler birçok farklı veri kaynağından gelebilir. Machine Learning ile CV modelleri geliştirirken ve dağıtırken verimlilik için görüntüler için önerilen Azure veri kaynakları Azure Blob Depolama ve Azure Data Lake Depolama.

  2. Yönetici ve kurulum

    Bu öğe, MLOps v2 hızlandırıcı dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. CV senaryoları için MLOps v2 ortamının yönetimi ve kurulumu büyük ölçüde klasik makine öğrenmesiyle aynıdır, ancak ek bir adımla: Machine Learning'in veya başka bir aracın etiketleme özelliğini kullanarak görüntü etiketleme ve ek açıklama projeleri oluşturma.

  3. Model geliştirme (iç döngü)

    İç döngü öğesi, ayrılmış, güvenli bir Machine Learning çalışma alanında gerçekleştirilen yinelemeli veri bilimi iş akışınızdan oluşur. Bu iş akışı ile klasik makine öğrenmesi senaryosu arasındaki birincil fark, görüntü etiketleme ve ek açıklamanın bu geliştirme döngüsünün önemli bir öğesi olmasıdır.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtım için aday bir model geliştirdikten sonra model Machine Learning çalışma alanı kayıt defterine kaydedilebilir. Model kaydıyla veya döngüdeki insan tarafından geçitli onay tarafından otomatik olarak tetiklenen CI işlem hatları modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltmektedir.

  5. Model dağıtımı (dış döngü)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test, üretim dağıtımı ve model, veri ve altyapının izlenmesinden oluşur. CD işlem hatları, kuruluşunuza uygun ölçütler ve kullanım örneği karşılandığından üretim, izleme ve olası yeniden eğitme aracılığıyla modelin ve ilgili varlıkların yükseltilmesini yönetir.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre farklılık gösterebilir, ancak genellikle uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. CV senaryolarında, kaynak ve zaman kısıtlamaları nedeniyle model adayının üretim verileri üzerinde yeniden eğitilmesi atlanabilir. Bunun yerine, veri bilimi ekibi model geliştirme için üretim verilerini kullanabilir ve geliştirme döngüsünden kaydedilen aday model, üretim için değerlendirilen modeldir. Bu aşama, bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra, döngüdeki insan geçitli onaylar aracılığıyla üretime yükseltilebilir. Model dağıtım seçenekleri, toplu iş senaryoları için yönetilen bir toplu iş uç noktası veya Azure Arc kullanarak yönetilen çevrimiçi uç nokta veya Kubernetes dağıtımı gibi çevrimiçi, neredeyse gerçek zamanlı senaryolar için bir yönetilen toplu iş uç noktası içerir. Üretim genellikle bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Hazırlama, test ve üretimde izleme, modelin, verilerin ve altyapının performansındaki değişiklikleri toplamanızı ve üzerinde işlem gerçekleştirmenizi sağlar. Model ve veri izleme, yeni görüntülerde model performansını denetlemeyi içerebilir. Altyapı izleme yavaş uç nokta yanıtı, yetersiz işlem kapasitesi veya ağ sorunlarını izleyebilir.

  9. Veri ve model izleme: olaylar ve eylemler

    NLP için MLOps'un veri ve model izleme ile olay ve eylem aşamaları, klasik makine öğrenmesinden önemli farklardır. Otomatik yeniden eğitme genellikle yeni görüntülerde model performansı düşüşü algılandığında CV senaryolarında yapılmaz. Bu durumda, modelin kötü performans sergilediği yeni görüntülerin döngüdeki insan işlemi tarafından gözden geçirilmesi ve açıklama eklemesi gerekir ve genellikle sonraki eylem modeli yeni görüntülerle güncelleştirmek için model geliştirme döngüsüne geri döner.

  10. Altyapı izleme: olaylar ve eylemler

    Uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı konularıyla ilgili ölçütlere bağlı olarak, otomatik tetikleyiciler ve bildirimler gerçekleştirilecek uygun eylemleri uygulayabilir. Bu, altyapı ekibinin ortam, işlem ve ağ kaynaklarını araştırabileceği ve yeniden yapılandırabileceği kurulum ve yönetim aşamasına bir geri döngü tetikler.

Machine Learning NLP mimarisi

N L P mimarisi için diyagram.

Bu mimarinin bir Visio dosyasını indirin.

NLP mimarisi için iş akışı

Machine Learning NLP mimarisi klasik makine öğrenmesi mimarisini temel alır, ancak NLP senaryolarına özgü bazı değişikliklere sahiptir.

  1. Veri varlığı

    Bu öğe, kuruluş veri varlığını ve bir veri bilimi projesi için olası veri kaynaklarını ve hedeflerini gösterir. Veri mühendisleri, MLOps v2 yaşam döngüsünün bu öğesinin birincil sahipleridir. Bu diyagramdaki Azure veri platformları ne kapsamlı ne de açıklayıcıdır. Müşteri kullanım örneğine göre önerilen en iyi yöntemleri temsil eden veri kaynakları ve hedefler yeşil onay işaretiyle gösterilir.

  2. Yönetici ve kurulum

    Bu öğe, MLOps v2 hızlandırıcı dağıtımının ilk adımıdır. Projeyle ilişkili kaynakların ve rollerin oluşturulması ve yönetimiyle ilgili tüm görevlerden oluşur. NLP senaryolarında MLOps v2 ortamının yönetimi ve kurulumu büyük ölçüde klasik makine öğrenmesiyle aynıdır, ancak ek bir adımla: Machine Learning'in veya başka bir aracın etiketleme özelliğini kullanarak görüntü etiketleme ve ek açıklama projeleri oluşturma.

  3. Model geliştirme (iç döngü)

    İç döngü öğesi, ayrılmış, güvenli bir Machine Learning çalışma alanında gerçekleştirilen yinelemeli veri bilimi iş akışınızdan oluşur. Tipik NLP modeli geliştirme döngüsü, metin verileri için tümceler ve belirteçler, normalleştirme ve eklemeler için açıklama ek açıklamalarının bu senaryoya yönelik tipik geliştirme adımları olması açısından klasik makine öğrenmesi senaryosundan önemli ölçüde farklı olabilir.

  4. Machine Learning kayıt defterleri

    Veri bilimi ekibi üretime dağıtım için aday bir model geliştirdikten sonra model Machine Learning çalışma alanı kayıt defterine kaydedilebilir. Model kaydıyla veya döngüdeki insan tarafından geçitli onay tarafından otomatik olarak tetiklenen CI işlem hatları modeli ve diğer model bağımlılıklarını model dağıtım aşamasına yükseltmektedir.

  5. Model dağıtımı (dış döngü)

    Model dağıtımı veya dış döngü aşaması, üretim öncesi hazırlama ve test etme, üretim dağıtımı ve modelin, verilerin ve altyapının izlenmesinden oluşur. KURULUŞUNUZ ve kullanım örneği ölçütleri karşılandığından, CD işlem hatları üretim, izleme ve olası yeniden eğitme aracılığıyla modelin ve ilgili varlıkların yükseltilmesini yönetir.

  6. Hazırlama ve test

    Hazırlama ve test aşaması müşteri uygulamalarına göre farklılık gösterebilir, ancak genellikle model adayının üretim verileri üzerinde yeniden eğitilmesi ve test edilmesi, uç nokta performansı için test dağıtımları, veri kalitesi denetimleri, birim testi ve model ve veri sapmaları için sorumlu yapay zeka denetimleri gibi işlemleri içerir. Bu aşama, bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  7. Üretim dağıtımı

    Bir model hazırlama ve test aşamasını geçtikten sonra insan döngüde geçitli onay ile üretime yükseltilebilir. Model dağıtım seçenekleri, toplu iş senaryoları için yönetilen bir toplu iş uç noktası veya Azure Arc kullanarak yönetilen çevrimiçi uç nokta veya Kubernetes dağıtımı gibi çevrimiçi, neredeyse gerçek zamanlı senaryolar için bir yönetilen toplu iş uç noktası içerir. Üretim genellikle bir veya daha fazla ayrılmış, güvenli Machine Learning çalışma alanında gerçekleşir.

  8. İzleme

    Hazırlama, test ve üretimde izleme, modelin, verilerin ve altyapının performansındaki değişiklikleri toplamanızı ve bu değişiklikler üzerinde işlem gerçekleştirmenizi mümkün kılar. Model ve veri izleme model ve veri kayma durumunu denetlemeyi, yeni metin verilerinde model performansını ve sorumlu yapay zeka sorunlarını içerebilir. Altyapı izleme yavaş uç nokta yanıtı, yetersiz işlem kapasitesi ve ağ sorunları gibi sorunları izleyebilir.

  9. Veri ve model izleme: olaylar ve eylemler

    CV mimarisinde olduğu gibi, NLP için MLOps'un veri ve model izleme ile olay ve eylem aşamaları klasik makine öğrenmesinden önemli farklardır. Otomatik yeniden eğitme genellikle yeni metinde model performansı düşüşü algılandığında NLP senaryolarında yapılmaz. Bu durumda, modelin kötü performans sergilediği yeni metin verilerinin döngüdeki insan işlemi tarafından gözden geçirilmesi ve açıklama eklemesi gerekir. Bir sonraki eylem genellikle modeli yeni metin verileriyle güncelleştirmek için model geliştirme döngüsüne geri dönmektir.

  10. Altyapı izleme: olaylar ve eylemler

    Uç nokta yanıt gecikmesi veya dağıtım için yeterli işlem olmaması gibi altyapı konularıyla ilgili ölçütlere bağlı olarak, otomatik tetikleyiciler ve bildirimler gerçekleştirilecek uygun eylemleri uygulayabilir. Altyapı ekibinin işlem ve ağ kaynaklarını araştırabileceği ve yeniden yapılandırabileceği kurulum ve yönetim aşamasına bir geri döngü tetikler.

Bileşenler

  • Machine Learning: Büyük ölçekte makine öğrenmesi modellerini eğitme, puanlama, dağıtma ve yönetmeye yönelik bir bulut hizmeti.
  • Azure Pipelines: Bu derleme ve test sistemi Azure DevOps'a dayanır ve derleme ve yayın işlem hatları için kullanılır. Azure Pipelines bu işlem hatlarını görevler olarak adlandırılan mantıksal adımlara böler.
  • GitHub: Sürüm denetimi, işbirliği ve CI/CD iş akışları için bir kod barındırma platformu.
  • Azure Arc: Azure Resource Manager'ı kullanarak Azure ve şirket içi kaynakları yönetmeye yönelik bir platform. Kaynaklar sanal makineleri, Kubernetes kümelerini ve veritabanlarını içerebilir.
  • Kubernetes: Kapsayıcılı uygulamaların dağıtımını, ölçeklendirmesini ve yönetimini otomatikleştirmeye yönelik açık kaynak bir sistemdir.
  • Azure Data Lake: Hadoop uyumlu bir dosya sistemi. Tümleşik bir hiyerarşik ad alanına ve Blob Depolama'nin muazzam ölçeğine ve ekonomisine sahiptir.
  • Azure Synapse Analytics: Veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini bir araya getiren sınırsız analiz hizmeti.
  • Azure Event Hubs. İstemci uygulamaları tarafından oluşturulan veri akışlarını alma hizmeti. Ardından alınan olayların sırasını koruyarak akış verilerini alır ve depolar. Tüketiciler, işlenmek üzere iletileri almak için hub uç noktalarına bağlanabilir. Burada Data Lake Depolama ile tümleştirmeden yararlanıyoruz.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazarlar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar