Aracılığıyla paylaş

Makine öğrenmesi işlemleri

  • Makale

Makine öğrenmesi işlemleri (MLOps olarak da adlandırılır), yapay zeka destekli uygulamalara DevOps ilkelerinin uygulanmasıdır. Bir kuruluşta makine öğrenmesi işlemlerini uygulamak için belirli becerilerin, süreçlerin ve teknolojinin yerinde olması gerekir. Amaç sağlam, ölçeklenebilir, güvenilir ve otomatik makine öğrenmesi çözümleri sunmaktır.

Bu makalede, kuruluş düzeyinde makine öğrenmesi işlemlerini desteklemek için kaynakları planlamayı öğrenin. Kuruluştaki makine öğrenmesi işlemlerini benimsemek için Azure Machine Learning'i kullanmayı temel alan en iyi yöntemleri ve önerileri gözden geçirin.

Makine öğrenmesi işlemleri nedir?

Modern makine öğrenmesi algoritmaları ve çerçeveleri, doğru tahminlerde bulunabilecek modeller geliştirmeyi giderek daha kolay hale getirir. Makine öğrenmesi işlemleri, makine öğrenmesini kuruluşta uygulama geliştirmeyle birleştirmenin yapılandırılmış bir yoludur.

Örnek bir senaryoda tüm doğruluk beklentilerinizi aşan ve iş sponsorlarınızı etkileyen bir makine öğrenmesi modeli oluşturdunuz. Şimdi modeli üretim ortamına dağıtmanın zamanı geldi, ancak beklediğiniz kadar kolay olmayabilir. Kuruluşun makine öğrenmesi modelinizi üretim ortamında kullanabilmesi için önce büyük olasılıkla kişilerin, süreçlerin ve teknolojilerin bulunması gerekir.

Zaman içinde, siz veya iş arkadaşınız özgün modelden daha iyi çalışan yeni bir model geliştirebilirsiniz. Üretimde kullanılan bir makine öğrenmesi modelinin değiştirilmesi, kuruluş için önemli olan bazı endişeleri ortaya getirir:

  • Dağıtılan modeli kullanan iş operasyonlarını kesintiye uğratmadan yeni modeli uygulamak isteyeceksiniz.
  • Yasal amaçlar doğrultusunda modelin tahminlerini açıklamanız veya olağan dışı veya taraflı tahminlerin yeni modeldeki verilerden kaynaklanması durumunda modeli yeniden oluşturmanız gerekebilir.
  • Makine öğrenmesi eğitiminizde ve modelinizde kullandığınız veriler zaman içinde değişebilir. Verilerdeki değişikliklerle, tahmin doğruluğunu korumak için modeli düzenli aralıklarla yeniden eğitmeniz gerekebilir. Verileri beslemek, modelin performansını izlemek, modeli yeniden eğitmek ve başarısız olursa modeli düzeltmek için bir kişiye veya role sorumluluk atanmalıdır.

REST API aracılığıyla modelin tahminlerini sunan bir uygulamanız olduğunu varsayalım. Bunun gibi basit bir kullanım örneği bile üretimde sorunlara neden olabilir. Bir makine öğrenmesi operasyon stratejisi uygulamak, dağıtım sorunlarını gidermenize ve yapay zeka destekli uygulamalara dayanan iş operasyonlarını desteklemenize yardımcı olabilir.

Bazı makine öğrenmesi işlemleri görevleri genel DevOps çerçevesine uygundur. Örnek olarak birim testlerini ve tümleştirme testlerini ayarlama ve sürüm denetimini kullanarak değişiklikleri izleme verilebilir. Diğer görevler makine öğrenmesi işlemleri için daha benzersizdir ve şunları içerebilir:

  • Temel modelle sürekli deneme ve karşılaştırmayı etkinleştirin.
  • Veri kaymasını algılamak için gelen verileri izleyin.
  • Modeli yeniden eğitme işlemini tetikleyin ve olağanüstü durum kurtarma için bir geri alma ayarlayın.
  • Eğitim ve puanlama için yeniden kullanılabilir veri işlem hatları oluşturun.

Makine öğrenmesi işlemlerinin amacı, geliştirme ve üretim arasındaki boşluğu kapatmak ve müşterilere daha hızlı değer sunmaktır. Bu hedefe ulaşmak için geleneksel geliştirme ve üretim süreçlerini yeniden düşünmeniz gerekir.

Her kuruluşun makine öğrenmesi operasyon gereksinimleri aynı değildir. Büyük, çok uluslu bir kuruluşun makine öğrenmesi operasyon mimarisi büyük olasılıkla küçük bir başlangıcın kurduğu altyapıyla aynı olmayacaktır. Kuruluşlar genellikle küçük başlar ve olgunlukları, model katalogları ve deneyimleri büyüdükçe büyür.

Makine öğrenmesi operasyonları olgunluk modeli , kuruluşunuzun makine öğrenmesi operasyonları olgunluk ölçeğinde nerede olduğunu görmenize ve gelecekteki büyümeyi planlamanıza yardımcı olabilir.

Makine öğrenmesi işlemleri ile DevOps karşılaştırması

Makine öğrenmesi işlemleri, birkaç önemli alanda DevOps'tan farklıdır. Makine öğrenmesi işlemleri şu özelliklere sahiptir:

  • Araştırma, geliştirme ve operasyondan öncedir.
  • Veri bilimi yaşam döngüsü uyarlamalı bir çalışma yöntemi gerektirir.
  • Veri kalitesi ve kullanılabilirlik sınırı ilerleme durumuyla ilgili sınırlar.
  • DevOps'tan daha büyük bir operasyonel çaba gerekir.
  • İş ekiplerine uzman ve etki alanı uzmanı gerekir.

Özet için makine öğrenmesi işlemlerinin yedi ilkesini gözden geçirin.

Araştırma, geliştirme ve operasyondan önce

Veri bilimi projeleri, uygulama geliştirme veya veri mühendisliği projelerinden farklıdır. Veri bilimi projesi üretime geçiş yapabilir, ancak genellikle geleneksel dağıtıma kıyasla daha fazla adım söz konusu olur. İlk analizden sonra, kullanılabilir veri kümeleriyle iş sonucunun elde edilemeyebilir. Daha ayrıntılı bir araştırma aşaması genellikle veri bilimi projesinin ilk adımıdır.

Keşif aşamasının amacı, sorunu tanımlamak ve iyileştirmektir. Bu aşamada veri bilimciler keşif veri analizi çalıştırır. Sorun hipotezlerini onaylamak veya tahrif etmek için istatistikleri ve görselleştirmeleri kullanır. Proje katılımcıları projenin bu aşamanın ötesine geçemediğini anlamalıdır. Aynı zamanda, hızlı bir dönüş için bu aşamayı mümkün olduğunca sorunsuz hale getirmek önemlidir. Çözülecek sorun bir güvenlik öğesi içermiyorsa, keşif aşamasını süreçler ve yordamlarla kısıtlamaktan kaçının. Veri bilimciler tercih ettikleri araçlar ve verilerle çalışmalarına izin verilmelidir. Bu keşif çalışması için gerçek veriler gereklidir.

Proje, proje katılımcıları veri bilimi projesinin uygulanabilir olduğundan ve gerçek iş değeri sağlayabileceklerinden emin olduklarında deneme ve geliştirme aşamalarına geçebilir. Bu aşamada geliştirme uygulamaları giderek daha önemli hale gelir. Bu aşamada yapılan tüm denemelerin ölçümlerini yakalamak iyi bir uygulamadır. Modelleri karşılaştırmak ve kodun farklı sürümleri arasında geçiş yapmak için kaynak denetimini dahil etmek de önemlidir.

Geliştirme etkinlikleri, tekrarlanabilir deneme işlem hatlarında keşif kodunu yeniden düzenleme, test etme ve otomatikleştirmeyi içerir. Kuruluşun modellere hizmet vermek için uygulamalar ve işlem hatları oluşturması gerekir. Modüler bileşenlerde ve kitaplıklarda kodun yeniden düzenlenmesi, yeniden kullanılabilirliği, testi ve performans iyileştirmesini artırmaya yardımcı olur.

Son olarak, modellere hizmet veren uygulama veya toplu çıkarım işlem hatları hazırlama veya üretim ortamlarına dağıtılır. Standart bir uygulama için olduğu gibi altyapı güvenilirliğini ve performansını izlemeye ek olarak, makine öğrenmesi modeli dağıtımında verilerin kalitesini, veri profilini ve modelin bozulma veya kayma durumunu sürekli izlemeniz gerekir. Makine öğrenmesi modelleri, değişen bir ortamda ilgili kalmak için zaman içinde yeniden eğitme gerektirir.

Makine öğrenmesi DevOps aşamalarının diyagramı, keşfetme, deneme ve geliştirme ve çalıştırma.

Veri bilimi yaşam döngüsü uyarlamalı bir çalışma yöntemi gerektirir

Başlangıçta verilerin niteliği ve kalitesi belirsiz olduğundan, veri bilimi projesine tipik bir DevOps işlemi uygularsanız iş hedeflerinize ulaşmayabilirsiniz. Keşif ve denemeler, makine öğrenmesi süreci boyunca yinelenen etkinlikler ve gereksinimlerdir. Microsoft'taki ekipler, veri bilimlerine özgü etkinliklerin doğasını yansıtan bir proje yaşam döngüsü ve çalışma süreci kullanır. Team Veri Bilimi Process ve The Veri Bilimi Lifecycle Process, başvuru uygulamalarına örnek olarak verilebilir.

Veri kalitesi ve kullanılabilirlik sınırı ilerleme durumu sınırları

Makine öğrenmesi ekibinin makine öğrenmesi ile aşılanmış uygulamaları etkili bir şekilde geliştirmesi için üretim verilerine erişim tüm ilgili çalışma ortamları için tercih edilir. Uyumluluk gereksinimleri veya teknik kısıtlamalar nedeniyle üretim verilerine erişim mümkün değilse, üretim verileri çoğaltmaları oluşturmak ve kullanıcı üretkenliğini artırmak için Azure Machine Learning, tam zamanında erişim veya veri taşıma işlem hatları ile Azure rol tabanlı erişim denetimi (Azure RBAC) uygulamayı göz önünde bulundurun.

Makine öğrenmesi daha büyük bir operasyonel çaba gerektirir

Geleneksel yazılımlardan farklı olarak, çözüm veri kalitesine bağlı olduğundan makine öğrenmesi çözümünün performansı sürekli risk altındadır. Üretimde nitel bir çözümü korumak için hem verileri hem de model kalitesini sürekli izlemeniz ve yeniden değerlendirmeniz kritik önem taşır. Üretim modelinin zamanında yeniden eğitilmesi, yeniden dağıtılması ve ayarlanması gerekir. Bu görevler günlük güvenlik, altyapı izleme ve uyumluluk gereksinimlerinin üzerine gelir ve özel uzmanlık gerektirir.

Makine öğrenmesi ekipleri uzmanlara ve etki alanı uzmanlarına ihtiyaç duyar

Veri bilimi projeleri, düzenli BT projeleriyle rol paylaşsa da, makine öğrenmesi çalışmalarının başarısı büyük ölçüde temel makine öğrenmesi teknolojisi uzmanlarına ve etki alanı konu uzmanlarına sahip olmasına bağlıdır. Bir teknoloji uzmanı, uçtan uca makine öğrenmesi denemesi yapmak için doğru arka plana sahiptir. Bir etki alanı uzmanı, verileri analiz edip sentezleyerek veya verileri kullanım için uygun hale getirme yoluyla uzmanı destekleyebilir.

Veri bilimi projelerine özgü yaygın teknik roller etki alanı uzmanı, veri mühendisi, veri bilimcisi, yapay zeka mühendisi, model doğrulayıcı ve makine öğrenmesi mühendisidir. Tipik bir veri bilimi ekibindeki roller ve görevler hakkında daha fazla bilgi edinmek için bkz. Ekip Veri Bilimi Süreci.

Makine öğrenmesi işlemlerinin yedi ilkesi

Kuruluşunuzda makine öğrenmesi işlemlerini benimsemeyi planlarken temel olarak aşağıdaki temel ilkeleri uygulamayı göz önünde bulundurun:

  • Kod, veri ve deneme çıkışları için sürüm denetimini kullanın. Geleneksel yazılım geliştirmenin aksine, verilerin makine öğrenmesi modellerinin kalitesi üzerinde doğrudan etkisi vardır. Deneme kod tabanınızı sürümlemeli, aynı zamanda denemeleri veya çıkarım sonuçlarını yeniden oluşturabildiğinizden emin olmak için veri kümelerinizi de sürümlemeniz gerekir. Modeller gibi deneme çıkışlarını sürüme almak çabadan ve bunları yeniden oluşturmanın hesaplama maliyetinden tasarruf edebilir.

  • Birden çok ortam kullanın. Geliştirme ve test çalışmalarını üretim çalışmasından ayırmak için altyapınızı en az iki ortamda çoğaltabilirsiniz . Kullanıcılar için erişim denetimi her ortam için farklı olabilir.

  • Altyapınızı ve yapılandırmalarınızı kod olarak yönetin. çalışma ortamlarınızda altyapı bileşenleri oluşturduğunuzda ve güncelleştirdiğinizde, tutarsızlıkların ortamlarınızda gelişmemesi için altyapıyı kod olarak kullanın. Denemenizin bir sürümünü birden çok ortamda kolayca yeniden çalıştırabilmeniz ve yeniden kullanabilmeniz için makine öğrenmesi denemesi iş belirtimlerini kod olarak yönetin.

  • Makine öğrenmesi denemelerini izleyin ve yönetin. Makine öğrenmesi denemeleriniz için temel performans göstergelerini ve diğer yapıtları izleyin. İş performansının geçmişini tuttuğunuzda, deneme başarısının nicel analizini yapabilir, ekip işbirliğini ve çevikliğini geliştirebilirsiniz.

  • Kodu test edin, veri bütünlüğünü doğrulayın ve model kalitesini sağlayın. Doğru veri hazırlama ve özellik ayıklama işlevleri, veri bütünlüğü ve model performansı için deneme kod tabanınızı test edin.

  • Makine öğrenmesi sürekli tümleştirme ve teslim. Ekibiniz için testi otomatikleştirmek için sürekli tümleştirmeyi (CI) kullanın. Model eğitimini sürekli eğitim işlem hatlarının bir parçası olarak ekleyin. Üretimde yalnızca nitel bir modelin kullanıldığından emin olmak için A/B testini yayınınızın bir parçası olarak ekleyin.

  • Hizmetleri, modelleri ve verileri izleyin. Bir makine öğrenmesi operasyon ortamında modellere hizmet ederken, altyapı çalışma süresi, uyumluluk ve model kalitesi için hizmetleri izlemek kritik önem taşır. Veri ve model kaydığını belirlemek ve yeniden eğitme gerekip gerekmediğini anlamak için izlemeyi ayarlayın. Otomatik yeniden eğitme için tetikleyicileri ayarlamayı göz önünde bulundurun.

Azure Machine Learning'den en iyi yöntemler

Azure Machine Learning, makine öğrenmesi modeli eğitim ve dağıtım iş akışlarınızın yaşam döngüsünü yönetmenize yardımcı olmak için varlık yönetimi, düzenleme ve otomasyon hizmetleri sunar. Azure Machine Learning tarafından desteklenen kişilerin, süreçlerin ve teknolojinin kaynak alanlarında makine öğrenmesi işlemlerini uygulamak için en iyi yöntemleri ve önerileri gözden geçirin.

Kişiler

  • Kuruluşunuzda uzman ve etki alanı bilgilerini en iyi şekilde kullanmak için proje ekiplerinde çalışın. Her proje için Azure Machine Learning çalışma alanlarını, kullanım örneği ayrım gereksinimlerine uyacak şekilde ayarlayın.

  • Bir makine öğrenmesi işlemleri proje ekibindeki tüm ekip üyelerine birden çok rol atanabilmesi ve bu rolleri yerine getirebilmesi için rol olarak bir dizi sorumluluk ve görev tanımlayın. Azure Machine Learning için her rolün gerçekleştirebileceği ayrıntılı bir Azure RBAC işlemleri kümesi tanımlamak için Azure'da özel roller kullanın.

  • Proje yaşam döngüsü ve Çevik metodolojisi üzerinde standartlaştırma. Team Veri Bilimi Process bir başvuru yaşam döngüsü uygulaması sağlar.

  • Dengeli ekipler keşif, geliştirme ve operasyonlar dahil olmak üzere tüm makine öğrenmesi operasyon aşamalarını çalıştırabilir.

İşlem

  • Kod şablonunu yeniden kullanmak ve yeni bir projede veya yeni bir ekip üyesi projeye katıldığında artırma süresini hızlandırmak için standartlaştırın. Yeni şablonlar için temel olarak Azure Machine Learning işlem hatlarını, iş gönderme betiklerini ve CI/CD işlem hatlarını kullanın.

  • Sürüm denetimini kullanın. Git destekli bir klasörden gönderilen işler, yeniden üretilebilirlik için Azure Machine Learning'deki iş ile depo meta verilerini otomatik olarak izler.

  • Yeniden üretilebilirlik için deneme girişleri ve çıkışları için sürüm oluşturmayı kullanın. Sürüm oluşturma işlemini kolaylaştırmak için Azure Machine Learning veri kümelerini, model yönetimini ve ortam yönetimi özelliklerini kullanın.

  • Karşılaştırma, planlama ve işbirliği için deneme çalıştırmalarının çalıştırma geçmişini oluşturun. Ölçümleri toplamak için MLflow gibi bir deneme izleme çerçevesi kullanın.

  • Tam deneme kod tabanında CI aracılığıyla ekibinizin çalışmalarının kalitesini sürekli olarak ölçün ve kontrol edin.

  • Modelin yakınsanmaması durumunda eğitimi sürecin erken bir aşamasında sonlandırın. İş çalıştırmalarını izlemek için Azure Machine Learning'de bir deneme izleme çerçevesi ve çalıştırma geçmişi kullanın.

  • Bir deneme ve model yönetimi stratejisi tanımlayın. Geçerli temel modele başvurmak için şampiyon gibi bir ad kullanmayı göz önünde bulundurun. Sınamalı model, üretimde şampiyon modelden daha iyi performans gösteren bir aday modeldir. Denemeleri ve modelleri işaretlemek için Azure Machine Learning'de etiketler uygulayın. Satış tahmini gibi bir senaryoda modelin tahminlerinin doğru olup olmadığını belirlemek aylar sürebilir.

  • Derlemeye model eğitimi ekleyerek sürekli eğitim için CI'yi yükseltin. Örneğin, her çekme isteğiyle tam veri kümesi üzerinde model eğitimine başlayın.

  • Veri örneğinde otomatik bir derleme çalıştırarak makine öğrenmesi işlem hattının kalitesi hakkında geri bildirim almak için gereken süreyi kısaltın. Giriş veri kümelerini parametreleştirmek için Azure Machine Learning işlem hattı parametrelerini kullanın.

  • Azure ortamlarınızda gerçek zamanlı puanlama hizmetlerinin dağıtımını ve testini otomatikleştirmek için makine öğrenmesi modelleri için sürekli dağıtım (CD) kullanın.

  • Bazı düzenlemeye tabi sektörlerde, bir makine öğrenmesi modelini üretim ortamında kullanabilmeniz için önce model doğrulama adımlarını tamamlamanız gerekebilir. Doğrulama adımlarını otomatikleştirmek teslim süresini hızlandırabilir. El ile gözden geçirme veya doğrulama adımları hala bir performans sorunu olduğunda, otomatik model doğrulama işlem hattını onaylayıp onaylamayabileceğinizi göz önünde bulundurun. Azure Machine Learning'de kaynak etiketlerini kullanarak varlık uyumluluğunu ve gözden geçirme adaylarını veya dağıtım tetikleyicileri olarak belirtin.

  • Üretimde yeniden eğitmeyin ve ardından tümleştirme testi yapmadan doğrudan üretim modelini değiştirin. Model performansı ve işlevsel gereksinimler iyi görünse de, diğer olası sorunların yanında, yeniden eğitilen bir model daha büyük bir ortam ayak izine sahip olabilir ve sunucu ortamını bozabilir.

  • Üretim verilerine yalnızca üretim ortamında erişim sağlandığında, belirli sayıda makine öğrenmesi uygulayıcısına okuma erişimi vermek için Azure RBAC ve özel rolleri kullanın. Bazı rollerin ilgili veri keşfi için verileri okuması gerekebilir. Alternatif olarak, veri kopyalamayı üretim dışı ortamlarda kullanılabilir hale getirin.

  • Temel makine öğrenmesi işlem hatlarını deneysel çalışmalardan ayırmak için Azure Machine Learning denemelerine yönelik adlandırma kurallarını ve etiketlerini kabul edin.

Teknoloji

  • şu anda işleri SDK aracılığıyla iş göndermek yerine Azure Machine Learning stüdyosu kullanıcı arabirimi veya CLI aracılığıyla gönderirseniz, otomasyon işlem hattı adımlarını yapılandırmak için CLI veya Azure DevOps Machine Learning görevlerini kullanın. Bu işlem, aynı iş gönderimlerini doğrudan otomasyon işlem hatlarından yeniden kullanarak kod ayak izini azaltabilir.

  • Olay tabanlı programlamayı kullanın. Örneğin, yeni bir model kaydedildikten sonra Azure İşlevleri kullanarak çevrimdışı model test işlem hattını tetikleme. Ya da kritik bir işlem hattı çalıştırılamadığında belirlenen e-posta diğer adına bir bildirim gönderin. Azure Machine Learning , Azure Event Grid'de olaylar oluşturur. Bir olayla ilgili bildirim almak için birden çok rol abone olabilir.

  • Otomasyon için Azure DevOps kullandığınızda, makine öğrenmesi modellerini işlem hattı tetikleyicileri olarak kullanmak için Machine Learning için Azure DevOps Görevleri'ni kullanın.

  • Makine öğrenmesi uygulamanız için Python paketleri geliştirirken, bunları bir Azure DevOps deposunda yapıt olarak barındırabilir ve akış olarak yayımlayabilirsiniz. Bu yaklaşımı kullanarak Azure Machine Learning çalışma alanınızla paket oluşturmak için DevOps iş akışını tümleştirebilirsiniz.

  • Makine öğrenmesi işlem hattı sistemi tümleştirmesini yukarı veya aşağı akış uygulama bileşenleriyle test etmek için bir hazırlama ortamı kullanmayı göz önünde bulundurun.

  • Gelişmiş hata ayıklama ve dağıtım süresini hızlandırmak için çıkarım uç noktalarınız için birim ve tümleştirme testleri oluşturun.

  • Yeniden eğitim tetiklemek için veri kümesi izleyicilerini ve olay odaklı iş akışlarını kullanın. Veri kayma olaylarına abone olun ve yeniden eğitim için makine öğrenmesi işlem hatlarının tetikleyicisini otomatikleştirin.

Kuruluş makine öğrenmesi işlemleri için yapay zeka fabrikası

Veri bilimi ekibi, şirket içinde birden çok makine öğrenmesi kullanım örneğini yönetebileceğine karar verebilir. Makine öğrenmesi işlemlerini benimsemek, bir kuruluşun daha kaliteli, güvenilirlik ve çözümlerin sürdürülebilirliği için proje ekiplerini ayarlamaya yardımcı olur. Dengeli ekipler, desteklenen süreçler ve teknoloji otomasyonu sayesinde makine öğrenmesi işlemlerini benimseyen bir ekip ölçeklendirilebilir ve yeni kullanım örnekleri geliştirmeye odaklanabilir.

Bir kuruluşta kullanım örnekleri sayısı arttıkça, kullanım örneklerini desteklemenin yönetim yükü doğrusal olarak artar, hatta daha da fazla olur. Kuruluşun zorluğu, pazara sunma süresini hızlandırma, kullanım örneği fizibilitesinin daha hızlı değerlendirilmesini destekleme, tekrarlanabilirlik uygulama ve çeşitli projelerde kullanılabilir kaynakları ve beceri kümelerini en iyi şekilde kullanma gibi zorluklara neden olur. Birçok kuruluş için çözüm yapay zeka fabrikası geliştirmektir.

Yapay zeka fabrikası, çok sayıda makine öğrenmesi kullanım örneği geliştirmeyi ve dağıtmayı kolaylaştıran, yinelenebilir iş süreçleri ve standartlaştırılmış yapıtlardan oluşan bir sistemdir. Yapay zeka fabrikası ekip kurulumunu, önerilen uygulamaları, makine öğrenmesi operasyon stratejisini, mimari desenleri ve iş gereksinimlerine göre uyarlanmış yeniden kullanılabilir şablonları iyileştirir.

Başarılı bir yapay zeka fabrikası, kuruluşun onlarca kullanım örneğinden binlerce kullanım örneğine kadar verimli bir şekilde ölçeklendirilmesine yardımcı olmak için tekrarlanabilir işlemlere ve yeniden kullanılabilir varlıklara dayanır.

Aşağıdaki şekilde bir yapay zeka fabrikasının temel öğeleri özetlenmiştir:

Yapay zeka fabrikasının temel öğelerinin diyagramı.

Yinelenebilir mimari desenleri standartlaştırma

Yinelenebilirlik, bir yapay zeka fabrikasının önemli bir özelliğidir. Veri bilimi ekipleri, kuruluşlarına yönelik makine öğrenmesi kullanım örneklerinin çoğunu kapsayan birkaç tekrarlanabilir mimari desen geliştirerek proje geliştirmeyi hızlandırabilir ve projeler arasında tutarlılığı geliştirebilir. Bu desenler gerçekleştiğinde, çoğu proje aşağıdaki avantajları elde etmek için desenleri kullanabilir:

  • Hızlandırılmış tasarım aşaması
  • Araçları projeler arasında yeniden kullandıklarında BT ve güvenlik ekiplerinden hızlandırılmış onaylar
  • Kod şablonları ve proje şablonları olarak yeniden kullanılabilir altyapı nedeniyle hızlandırılmış geliştirme

Mimari desenler aşağıdaki konuları içerebilir ancak bunlarla sınırlı değildir:

  • Projenin her aşaması için tercih edilen hizmetler
  • Veri bağlantısı ve idare
  • Endüstri, iş veya veri sınıflandırma gereksinimlerine göre uyarlanmış bir makine öğrenmesi operasyon stratejisi
  • Deneme yönetimi şampiyonu ve meydan okuyan modeller

Ekipler arası işbirliğini ve paylaşımı kolaylaştırma

Paylaşılan kod depoları ve yardımcı programlar, makine öğrenmesi çözümlerinin geliştirilmesini hızlandırabilir. Kod depoları, proje geliştirme sırasında modüler bir şekilde geliştirilebilir, böylece diğer projelerde kullanılacak kadar geneldir. Tüm veri bilimi ekiplerinin erişebileceği merkezi bir depoda kullanılabilir hale getirilebilir.

Fikri mülkiyeti paylaşma ve yeniden kullanma

Kodun yeniden kullanılmasını en üst düzeye çıkarmak için projenin başında aşağıdaki fikri mülkiyeti gözden geçirin:

  • Kuruluşta yeniden kullanmak üzere tasarlanmış iç kod. Paketler ve modüller örnek olarak verilebilir.
  • Diğer makine öğrenmesi projelerinde oluşturulan veya Azure ekosisteminde kullanılabilen veri kümeleri.
  • Benzer mimari ve iş sorunları olan mevcut veri bilimi projeleri.
  • GitHub veya projeyi hızlandırabilecek açık kaynak depoları.

Geçmişe dönük tüm projelerde, projenin öğelerinin daha geniş bir yeniden kullanım için paylaşılıp paylaşılamayacağını ve genelleştirilip genelleştirilemeyeceğini belirlemek için bir eylem öğesi bulunmalıdır. Kuruluşun paylaşabileceği ve yeniden kullanabileceği varlıkların listesi zaman içinde genişler.

Paylaşım ve bulma konusunda yardımcı olmak için birçok kuruluş, kod parçacıklarını ve makine öğrenmesi yapıtlarını düzenlemek için paylaşılan depolar kullanıma sunulmuştur. Azure Machine Learning'de veri kümeleri, modeller, ortamlar ve işlem hatları gibi yapıtlar kod olarak tanımlanabilir, böylece bunları projeler ve çalışma alanları arasında verimli bir şekilde paylaşabilirsiniz.

Proje şablonları

Mevcut çözümleri geçirme sürecini hızlandırmak ve kodun yeniden kullanılmasını en üst düzeye çıkarmak için, birçok kuruluş yeni projeleri başlatmak için bir proje şablonu üzerinde standart hale getirmektir. Azure Machine Learning ile kullanılması önerilen proje şablonlarına örnek olarak Azure Machine Learning örnekleri, Veri Bilimi Yaşam Döngüsü süreci ve Ekip Veri Bilimi Süreci verilebilir.

Merkezi veri yönetimi

Araştırma veya üretim kullanımı için verilere erişim sağlama süreci zaman alabilir. Birçok kuruluş, makine öğrenmesi denemelerine yönelik verilere daha kolay erişim sağlamak amacıyla veri üreticileriyle veri tüketicilerini bir araya getirmek için veri yönetimini merkezi hale getirir.

Paylaşılan yardımcı programlar

Kuruluşunuz, günlüğe kaydetme ve izleme bilgilerini birleştirmek için kuruluş genelinde merkezi panolar kullanabilir. Panolar hata günlüğü, hizmet kullanılabilirliği ve telemetri ile model performansı izlemeyi içerebilir.

Azure Machine Learning ve Azure Depolama gibi ilişkili hizmetler için bir pano oluşturmak için Azure İzleyici ölçümlerini kullanın. Pano, deneme ilerleme durumunu, işlem altyapısı durumunu ve GPU kota kullanımını izlemenize yardımcı olur.

Uzman makine öğrenmesi mühendislik ekibi

Birçok kuruluş makine öğrenmesi mühendisi rolünü uygulamış. Makine öğrenmesi mühendisi sağlam makine öğrenmesi işlem hatları oluşturma ve çalıştırma, kayma izleme ve iş akışlarını yeniden eğitme ve panoları izleme konusunda uzmanlaşmıştır. Mühendis, geliştirmeden üretime kadar makine öğrenmesi çözümünü endüstriyelleştirme konusunda genel sorumluluğa sahiptir. Mühendis, gerekli tüm denetimlerin yerine getirmek için veri mühendisliği, mimarlar, güvenlik ve operasyonlarla yakından çalışır.

Veri bilimi derin etki alanı uzmanlığı gerektirse de makine öğrenmesi mühendisliği daha teknik bir odak noktasıdır. Bu fark makine öğrenmesi mühendisini daha esnek hale getirerek çeşitli projelerde ve çeşitli iş departmanlarında çalışabilmesini sağlar. Büyük veri bilimi uygulamaları, çeşitli kullanım örnekleri ve iş alanlarında otomasyon iş akışlarının tekrarlanabilirliğini ve yeniden kullanılmasını sağlayan uzman bir makine öğrenmesi mühendislik ekibinden yararlanabilir.

Etkinleştirme ve belgeler

Yeni ve mevcut ekipler ve kullanıcılar için yapay zeka fabrika süreci hakkında net rehberlik sağlamak önemlidir. Rehberlik, tutarlılığı sağlamaya ve bir projeyi endüstriye kattığında makine öğrenmesi mühendislik ekibinin gerektirdiği çabayı azaltmaya yardımcı olur. Kuruluşunuzdaki çeşitli roller için özel olarak içerik tasarlamayı göz önünde bulundurun.

Herkesin benzersiz bir öğrenme yöntemi vardır, bu nedenle aşağıdaki kılavuz türlerinin bir karışımı yapay zeka fabrika çerçevesinin benimsenmesini hızlandırmaya yardımcı olabilir:

  • Tüm yapıtlara bağlantıları olan merkezi bir hub. Örneğin, bu merkez Microsoft Teams'de bir kanal veya Bir Microsoft SharePoint sitesi olabilir.
  • Eğitim ve her rol için tasarlanmış bir etkinleştirme planı.
  • Yaklaşımın üst düzey özet sunumu ve yardımcı video.
  • Ayrıntılı bir belge veya playbook.
  • Nasıl yapılır videoları.
  • Hazırlık değerlendirmeleri.

Azure video serisinde makine öğrenmesi işlemleri

Azure'daki makine öğrenmesi işlemleri hakkında bir video serisi, ilk geliştirmeden üretime kadar makine öğrenmesi çözümünüz için makine öğrenmesi işlemlerini nasıl oluşturabileceğinizi gösterir.

Etik

Etik, yapay zeka çözümünün tasarımında önemli bir rol oynar. Etik ilkeler uygulanmazsa, eğitilen modeller eğitildikleri verilerde bulunan yanlılıkların aynısını gösterebilir. Sonuç, projenin sona ermiş olması olabilir. Daha da önemlisi kuruluşun itibarı risk altında olabilir.

Kuruluşun temel etik ilkelerinin projeler arasında uygulanmasını sağlamak için kuruluş, bu ilkelerin bir listesini ve test aşamasında bunları teknik bir perspektiften doğrulamanın yollarını sağlamalıdır. Sorumlu makine öğrenmesinin ne olduğunu ve makine öğrenmesi işlemlerinizde nasıl oluşturacaklarını anlamak için Azure Machine Learning'deki makine öğrenmesi özelliklerini kullanın.

Sonraki adımlar

Azure Machine Learning ortamlarını düzenleme ve ayarlama hakkında daha fazla bilgi edinin veya Azure'daki makine öğrenmesi işlemleri hakkında uygulamalı bir video serisi izleyin.

Azure Machine Learning ortamlarını düzenleme ve ayarlama

Azure Machine Learning kullanarak bütçeleri, kotaları ve maliyetleri kuruluş düzeyinde yönetme hakkında daha fazla bilgi edinin:

Azure Machine Learning ile makine öğrenmesi bütçelerini, maliyetlerini ve kotalarını yönetme