AI/ML etki alanı odaklı özellik mühendisliği için veri ağlarını kullanıma hazır hale getirme
Veri ağı, kuruluşların merkezi bir veri gölünden veya veri ambarından, dört ilkeyle altı çizilen analiz verilerinin etki alanı odaklı merkezi olmayan hale getirilmesine yardımcı olur: Etki Alanı Sahipliği, Ürün Olarak Veri, Kendi Kendine Hizmet Veri Platformu ve Federasyon hesaplama idaresi. Veri ağı , dağıtılmış veri sahipliğinin avantajlarını ve kuruluşlar için iş ve değer elde etme süresini hızlandıran geliştirilmiş veri kalitesi ve idaresi sağlar.
Veri ağı uygulaması
Tipik bir veri ağı uygulaması, veri işlem hatları oluşturan veri mühendislerine sahip etki alanı ekiplerini içerir. Ekip, veri gölleri, veri ambarı veya data lakehouse gibi operasyonel ve analitik veri depolarını korur. İşlem hatlarını diğer etki alanı ekiplerinin veya veri bilimi ekiplerinin tüketmesi için veri ürünleri olarak yayınlar. Diğer ekipler, aşağıdaki diyagramda gösterildiği gibi merkezi bir veri idare platformu kullanarak veri ürünlerini kullanır.
Veri ağı, veri ürünlerinin iş zekası için dönüştürülmüş ve toplu veri kümelerine nasıl hizmet yaptığı konusunda nettir. Ancak kuruluşların yapay zeka/ML modelleri oluşturmak için benimsemesi gereken yaklaşım açık değildir. Veri bilimi ekiplerini yapılandırma, AI/ML modeli idaresi ve AI/ML modellerini veya özelliklerini etki alanı ekipleri arasında paylaşma konusunda da rehberlik yoktur.
Aşağıdaki bölümde kuruluşların veri ağı içinde yapay zeka/ML özellikleri geliştirmek için kullanabileceği birkaç strateji özetlenmiştir. Ayrıca etki alanı odaklı özellik mühendisliği veya özellik ağıyla ilgili bir strateji teklifi görürsünüz.
Veri ağı için AI/ML stratejileri
Yaygın stratejilerden biri, kuruluşun veri bilimi ekiplerini veri tüketicisi olarak benimsemesidir. Bu ekipler, kullanım örneğine göre veri ağındaki çeşitli etki alanı veri ürünlerine erişir. Yapay zeka/ML modelleri geliştirmek ve oluşturmak için veri keşfi ve özellik mühendisliği gerçekleştirir. Bazı durumlarda, etki alanı ekipleri yeni özellikleri genişletmek ve türetmek için verilerini ve diğer ekiplerin veri ürününü kullanarak kendi AI/ML modellerini de geliştirir.
Özellik mühendisliği , model oluşturmanın temelini oluşturur ve genellikle karmaşıktır ve etki alanı uzmanlığı gerektirir. Veri bilimi ekiplerinin daha sonra çeşitli veri ürünlerini çözümlemesi gerektiğinden yukarıdaki strateji zaman alabilir. Yüksek kaliteli özellikler oluşturmak için tam etki alanı bilgilerine sahip olmayabilirler. Etki alanı bilgisi eksikliği, etki alanı ekipleri arasında yinelenen özellik mühendisliği çalışmalarına yol açabilir. Ayrıca takımlar arasında tutarsız özellik kümelerinden kaynaklanan yapay zeka/ML modeli yeniden üretilebilirliği gibi sorunlar da vardır. Veri ürünlerinin yeni sürümleri yayınlandıkçe veri bilimi veya etki alanı ekiplerinin özellikleri sürekli yenilemesi gerekir.
Bir diğer strateji de etki alanı ekiplerinin yapay zeka/ML modellerini Açık Sinir Ağı Değişimi (ONNX) gibi bir biçimde yayınlamalarıdır, ancak bu sonuçlar kara kutulardır ve yapay zeka/Modeller veya özellikleri etki alanları arasında birleştirmek zor olabilir.
Etki alanı ve veri bilimi ekiplerinde yapay zeka/ML modelini merkezi olmayan bir şekilde oluşturup bu zorlukları gidermenin bir yolu var mı? Önerilen etki alanı odaklı özellik mühendisliği veya özellik ağı stratejisi bir seçenektir.
Etki alanı odaklı özellik mühendisliği veya özellik ağı
Etki alanı odaklı özellik mühendisliği veya özellik ağı stratejisi, veri ağı ayarında yapay zeka/ML modeli oluşturmaya merkezi olmayan bir yaklaşım sunar. Aşağıdaki diyagramda strateji ve veri örgüsünün dört ana ilkesine nasıl çözüm olduğu gösterilmektedir.
Etki alanı ekiplerine göre etki alanı sahipliği özellik mühendisliği
Bu stratejide kuruluş, veri bilimciler ile bir etki alanı ekibindeki veri mühendislerini eşleştirerek veri keşfini veri gölü gibi temiz ve dönüştürülmüş veriler üzerinde çalıştırır. Mühendislik, bir özellik deposunda depolayan özellikler oluşturur. Özellik deposu, eğitim ve çıkarım özellikleri sunan ve özellik sürümünü, meta verilerini ve istatistikleri izlemeye yardımcı olan bir veri deposudur. Bu özellik, etki alanı ekibindeki veri bilim adamlarının etki alanı uzmanlarıyla yakın çalışmalarına ve etki alanında veri değiştikçe özelliklerin yenilenmesini sağlar.
Ürün olarak veri: Özellik kümeleri
Etki alanı ekibi tarafından oluşturulan ve etki alanı veya yerel özellikler olarak adlandırılan özellikler, veri idare platformundaki veri kataloğunda özellik kümeleri olarak yayımlar. Bu özellik kümeleri, yapay zeka/ML modelleri oluşturmak için veri bilimi ekipleri veya diğer etki alanı ekipleri tarafından kullanılabilir. Veri bilimi veya etki alanı ekipleri, yapay zeka/ML modeli geliştirme sırasında etki alanı özelliklerini birleştirerek paylaşılan veya küresel özellikler olarak adlandırılan yeni özellikler oluşturabilir. Bu paylaşılan özellikler, tüketim için özellik kümeleri kataloğunda yeniden yayımlanır.
Self servis veri platformu ve federasyon hesaplama idaresi: Özellik standartlaştırma ve kalite
Bu strateji, özellik mühendisliği işlem hatları ve etki alanı ekipleri arasında tutarsız özellik tanımları için farklı bir teknoloji yığını benimsemeye yol açabilir. Self servis veri platformu ilkeleri, etki alanı ekiplerinin özellik mühendisliği işlem hatlarını oluşturmak ve erişim denetimini zorunlu kılmak için ortak altyapı ve araçları kullanmasını sağlar. Federasyon hesaplama idaresi ilkesi, genel standartlaştırma aracılığıyla özellik kümelerinin birlikte çalışabilirliğini sağlar ve özellik kalitesini denetler.
Etki alanı odaklı özellik mühendisliği veya özellik ağı stratejisinin kullanılması, kuruluşların yapay zeka/ML modelleri geliştirme süresini azaltmaya yardımcı olmak için merkezi olmayan bir yapay zeka/ML modeli oluşturma yaklaşımı sunar. Bu strateji, özelliklerin etki alanı ekipleri arasında tutarlı kalmasına yardımcı olur. Daha doğru yapay zeka/ML modelleri için yüksek kaliteli özellikler elde ederek işletmenin değerini artıran eforların çoğaltılmasını önler.
Azure'da veri ağı uygulaması
Bu makalede yapay zeka/ML'yi bir veri ağı içinde kullanıma hazır hale getirmeyle ilgili kavramlar açıklanır ve bu stratejileri oluşturmaya yönelik araçlar veya mimariler ele alınmıyor. Azure,Azure Databricks özellik deposu ve LinkedIn'den Feathr gibi özellik deposu tekliflerine sahiptir. Özellik depolarını yönetmek ve yönetmek için Microsoft Purview özel bağlayıcıları geliştirebilirsiniz.