Yönetilen Feature Store nedir?

Yönetilen Feature Store için, sizin gibi makine öğrenmesi uzmanlarının özellikleri bağımsız olarak geliştirmelerini ve üretimlerini istiyoruz. Bir özellik kümesi belirtimi sağlarsınız. Sistem özelliklerin sunulmasını, güvenliğini sağlamayı ve izlemeyi işler. Bu, temel alınan özellik mühendisliği işlem hattı kurulum ve yönetim yükünden kurtulabilirsiniz.

Özellik mağazamızın makine öğrenmesi yaşam döngüsüne tümleştirilmesi sayesinde modelleri daha hızlı deneyebilir ve gönderebilirsiniz, modellerinizin güvenilirliğini artırabilir ve operasyonel maliyetlerinizi düşürebilirsiniz. Makine öğrenmesi deneyiminin yeniden tanımlanması bu avantajları sağlar.

Özellik kümesi belirtimleri de dahil olmak üzere özellik deposundaki en üst düzey varlıklar hakkında daha fazla bilgi için Yönetilen Feature Store'da üst düzey varlıkları anlama konusunu ziyaret edin.

Özellikler nelerdir?

Bir özellik, modeliniz için giriş verileri görevi görür. Kurumsal bağlamda veri temelli kullanım örnekleri için bir özellik genellikle geçmiş verileri (basit toplamalar, pencere toplamaları, satır düzeyi dönüşümleri vb.) dönüştürür. Örneğin, müşteri değişim sıklığı makine öğrenmesi modelini göz önünde bulundurun. Model girişlerinde müşteri etkileşim verileri (örneğin, 7day_transactions_sum son yedi gün içindeki işlem sayısı) veya 7day_complaints_sum (son yedi gündeki şikayet sayısı) yer alabilir. Bu toplama işlevlerinin her ikisi de önceki yedi günlük veriler üzerinde hesaplanır.

Özellik mağazası tarafından çözülen sorunlar

Yönetilen Feature Store daha iyi anlamak için öncelikle bir özellik deposunun çözebileceği sorunları anlamanız gerekir.

• Özellik deposu, yedekli çalışmalardan kaçınmak ve tutarlı tahminler sunmak için ekibinizin oluşturduğu özellikleri aramanıza ve yeniden kullanmanıza olanak tanır.

• Özellik mühendisliği gereksinimlerini çevik ve dinamik bir şekilde ele almak için dönüşüm yeteneğine sahip yeni bir özellik oluşturabilirsiniz.

• Sistem , dönüştürme ve gerçekleştirme için gereken özellik mühendisliği işlem hatlarını çalışır hale getirmekte ve yöneterek ekibinizin operasyonel yönlerden serbest bırakmasını sağlar.

• Başlangıçta veri oluşturma eğitimi için kullanılan aynı özellik işlem hattını, çıkarım amacıyla çevrimiçi/çevrimdışı tutarlılık sağlamak ve eğitim/hizmet dengesizliğini önlemek için kullanabilirsiniz.

Yönetilen Feature Store paylaş

Özellik deposu, birden çok proje çalışma alanının kullanabileceği yeni bir çalışma alanı türüdür. Azure Databricks gibi Azure Machine Learning dışındaki Spark tabanlı ortamlardaki özellikleri kullanabilirsiniz. Ayrıca özelliklerin yerel geliştirme ve testlerini de gerçekleştirebilirsiniz.

Özellik deposuna genel bakış

Yönetilen Feature Store için bir özellik kümesi belirtimi sağlarsınız. Ardından sistem özelliklerinizin sunulmasını, güvenliğinin sağlanmasını ve izlenmesini işler. Özellik kümesi belirtimi özellik tanımlarını ve isteğe bağlı dönüştürme mantığını içerir. Ayrıca, çevrimdışı bir depoda (ADLS 2. Nesil) gerçekleştirilmesi için bildirim temelli olarak gerçekleştirme ayarları da sağlayabilirsiniz. Sistem, temel alınan özellik gerçekleştirme işlem hatlarını oluşturur ve yönetir. Özellikleri aramak, paylaşmak ve yeniden kullanmak için özellik kataloğunu kullanabilirsiniz. Kullanıcılar, sunum API'siyle eğitim ve çıkarım için veri oluşturmaya yönelik özellikleri arayabilir. Sunum API'si verileri doğrudan kaynaktan veya eğitim/toplu çıkarım için çevrimdışı bir malzemeleştirme deposundan çekebilir. Sistem ayrıca özellik gerçekleştirme işlerini izlemeye yönelik özellikler de sağlar.

Azure Machine Learning Yönetilen Feature Store kullanmanın avantajları

• Modelin gönderimindeki çevikliği artırır (prototipi kullanıma hazır hale getirme):
  • Sıfırdan özellik oluşturmak yerine özellikleri keşfedin ve yeniden kullanın
  • Dönüştürme desteği ve MLOps akışında bağlantı dokusu olarak özellik alma belirtimi kullanımı ile yeni özelliklerin yerel geliştirme/testinde daha hızlı deneme
  • Bildirim temelli malzemeleştirme ve geri doldurma
  • Önceden oluşturulmuş yapılar: özellik alma bileşeni ve özellik alma belirtimi
• ML modellerinin güvenilirliğini artırır
  • İş birimi/kuruluş genelinde tutarlı bir özellik tanımı
  • Özellik kümeleri sürümlendirilir ve sabittir: Modellerin daha yeni sürümü, modelin eski sürümünü kesintiye uğratmadan daha yeni özellik sürümlerini kullanabilir
  • Özellik kümesi gerçekleştirmeyi izleme
  • Gerçekleştirilmesi eğitimden/hizmet dengesizliklerinden kaçınır
  • Özellik alma, veri sızıntısını önlemek için belirli bir noktaya zamana bağlı birleşimleri (zaman yolculuğu olarak da bilinir) destekler.
• Maliyeti azaltır
  • Kuruluştaki diğer kişiler tarafından oluşturulan özellikleri yeniden kullanma
  • Mühendislik maliyetini azaltmak için, sistem tarafından gerçekleştirilmesi ve izlenmesi yönetilir

Özellikleri keşfetme ve yönetme

Yönetilen özellik deposu, özellik bulma ve yönetim için şu özellikleri sağlar:

• Özellikleri arama ve yeniden kullanma - Özellik mağazalarında özellikleri arayabilir ve yeniden kullanabilirsiniz
• Sürüm oluşturma desteği - Özellik kümeleri, özellik kümesi yaşam döngüsünü bağımsız olarak yönetmenize olanak tanıyan sürüm ve sabittir. Farklı özellik sürümleriyle yeni model sürümleri dağıtabilir ve eski model sürümünün kesintiye uğramasını önleyebilirsiniz
• Maliyeti özellik deposu düzeyinde görüntüleme - Özellik deposu kullanımıyla ilişkili birincil maliyet, yönetilen Spark gerçekleştirme işlerini içerir. Bu maliyeti özellik deposu düzeyinde görebilirsiniz
• Özellik kümesi kullanımı - Özellik kümelerini kullanarak kayıtlı modellerin listesini görebilirsiniz.

Özellik dönüştürme

Özellik dönüştürme, model performansını geliştirmek için veri kümesi özellik değişikliğini içerir. Özellik belirtiminde tanımlanan dönüştürme kodu, özellik dönüştürmeyi işler. Daha hızlı deneme için dönüştürme kodu kaynak veriler üzerinde hesaplamalar yapar ve dönüştürmelerin yerel olarak geliştirilmesine ve test edilmesine olanak tanır.

Yönetilen özellik deposu şu özellik dönüştürme özelliklerini sağlar:

• Özel dönüştürme desteği - Özel dönüştürmelerle özellik geliştirmek için spark transformatörü yazabilirsiniz; örneğin, pencere tabanlı toplamalar
• Önceden derlenmiş özellikler için destek - Önceden derlenmiş özellikleri özellik deposuna getirebilir ve kod yazmadan bunları servis edebilirsiniz
• Yerel geliştirme ve test - Spark ortamıyla özellik kümelerini yerel olarak tamamen geliştirebilir ve test edebilirsiniz

Özellik gerçekleştirme

Gerçekleştirme, belirli bir özellik penceresi için özellik değerlerinin hesaplamasını ve bu değerlerin bir gerçekleştirme deposunda kalıcılığını içerir. Artık eğitim ve çıkarım amacıyla özellik verileri daha hızlı ve güvenilir bir şekilde alınabilir.

• Yönetilen özellik gerçekleştirme işlem hattı - Sağlama zamanlamasını bildirimli olarak belirtirsiniz ve sistem daha sonra değerlerin gerçekleştirme deposuna zamanlamasını, ön derlemesini ve gerçekleştirilmesini işler
• Backfill desteği - Belirli bir özellik penceresi için özellik kümelerinin isteğe bağlı olarak gerçekleştirilmesini gerçekleştirebilirsiniz
• Gerçekleştirme için Yönetilen Spark desteği - Azure Machine Learning yönetilen Spark (sunucusuz işlem örneklerinde) gerçekleştirme işlerini çalıştırır. Spark altyapısının kurulumundan ve yönetiminden sizi kurtarır.

Not

Şu anda hem çevrimdışı mağaza (ADLS 2. Nesil) hem de çevrimiçi mağaza (Redis) gerçekleştirmesi desteklenmektedir.

Özellik alma

Azure Machine Learning, çevrimdışı özellik almayı işleyen yerleşik bir bileşen içerir. Azure Machine Learning işlem hattı işinin eğitim ve toplu çıkarım adımlarındaki özelliklerin kullanılmasına olanak tanır.

Yönetilen özellik deposu şu özellik alma özelliklerini sağlar:

• Bildirim temelli eğitim verileri oluşturma - Yerleşik özellik alma bileşeniyle, kod yazmadan işlem hatlarınızda eğitim verileri oluşturabilirsiniz
• Bildirim temelli toplu çıkarım veri oluşturma - Aynı yerleşik özellik alma bileşeniyle toplu çıkarım verileri oluşturabilirsiniz
• Programlı özellik alma - Eğitim/çıkarım verilerini oluşturmak için Python SDK'sını get_offline_features()da kullanabilirsiniz

İzleme

Yönetilen özellik deposu aşağıdaki izleme özelliklerini sağlar:

• Gerçekleştirme işlerinin durumu - Kullanıcı arabirimini, CLI'yı veya SDK'yı kullanarak gerçekleştirme işlerinin durumunu görüntüleyebilirsiniz
• Gerçekleştirme işleri hakkında bildirim - Gerçekleştirme işlerinin farklı durumlarında e-posta bildirimleri ayarlayabilirsiniz

Güvenlik

Yönetilen özellik deposu şu güvenlik özelliklerini sağlar:

• RBAC - Özellik deposu, özellik kümesi ve varlıklar için rol tabanlı erişim denetimi.
• Özellik depoları arasında sorgulama - Kullanıcılar için farklı erişim izinlerine sahip birden çok özellik deposu oluşturabilir, ancak birden çok özellik deposundan sorgulamaya (örneğin, eğitim verileri oluşturma) izin vekleyebilirsiniz

Sonraki adımlar

• Yönetilen Feature Store'da üst düzey varlıkları anlama
• Yönetilen Feature Store için erişim denetimini yönetme
• Azure Machine Learning Yönetilen Feature Store örnekleri deposu