Azure Machine Learning v1'de veriler
ŞUNLAR IÇIN GEÇERLIDIR:
Azure CLI ml uzantısı v1
ŞUNUN IÇIN GEÇERLIDIR: Python SDK azureml v1
Azure Machine Learning, buluttaki verilerinize bağlanmayı kolaylaştırır. Depolama türünüzle ilgili kod yazmanıza gerek kalmadan verilerinize güvenli bir şekilde erişebilmeniz ve verilerinizle çalışabilmeniz için temel depolama hizmeti üzerinde bir soyutlama katmanı sağlar. Azure Machine Learning şu veri özelliklerini de sağlar:
- Pandas ve Spark DataFrame'lerle birlikte çalışabilirlik
- Veri kökeninin sürümü oluşturma ve izleme
- Veri etiketleme
- Veri değişikliklerini izleme
Veri iş akışı
Verileri bulut tabanlı depolama çözümünüzde kullanmak için bu veri teslim iş akışını öneririz. İş akışı bir Azure depolama hesabınız ve Azure bulut tabanlı depolama hizmetinde verileriniz olduğunu varsayar.
Azure depolama alanınıza bağlantı bilgilerini depolamak için Azure Machine Learning veri deposu oluşturma
Bu veri deposundan, temel alınan depolama alanınızdaki belirli bir dosyaya veya dosyalara işaret eden bir Azure Machine Learning veri kümesi oluşturun
Bu veri kümesini makine öğrenmesi denemenizde kullanmak için
Model eğitimi için veri kümesini denemenizin işlem hedefine bağlama
OR
Veri kümesini doğrudan Azure Machine Learning çözümlerinde kullanın; örneğin, otomatik makine öğrenmesi (otomatik ML) deneme çalıştırmaları, makine öğrenmesi işlem hatları veya Azure Machine Learning tasarımcısı.
Veri kaymasını algılamak için model çıktı veri kümeniz için veri kümesi izleyicileri oluşturma
Algılanan veri kayma için giriş veri kümenizi güncelleştirin ve modelinizi uygun şekilde yeniden eğitin
Bu ekran görüntüsü önerilen iş akışını gösterir:
Veri depolarıyla depolamaya bağlanma
Azure Machine Learning veri depoları, veri depolama bağlantı bilgilerinizi Azure'da güvenli bir şekilde barındırdığından bu bilgileri betiklerinize yerleştirmeniz gerekmez. Bir depolama hesabına bağlanma ve temel depolama hizmetinizdeki veri erişimi hakkında daha fazla bilgi için Bkz . Veri deposu kaydetme ve oluşturma.
Desteklenen bu Azure bulut tabanlı depolama hizmetleri veri deposu olarak kaydedilebilir:
- Azure Blob Kapsayıcısı
- Azure Dosya Paylaşımı
- Azure Data Lake
- Azure Data Lake 2. Nesil
- Azure SQL Veritabanı
- PostgreSQL için Azure Veritabanı
- Databricks Dosya Sistemi
- MySQL için Azure Veritabanı
İpucu
Hizmet sorumlusu veya paylaşılan erişim imzası (SAS) belirteci gibi depolama hizmetlerine erişmek için kimlik bilgileri tabanlı kimlik doğrulamasıyla veri depoları oluşturabilirsiniz. Çalışma alanına Okuyucu erişimi olan kullanıcılar bu kimlik bilgilerine erişebilir.
Bu sorun oluşturuyorsa, depolama hizmetlerine bağlantılar hakkında daha fazla bilgi için kimlik tabanlı veri erişimi kullanan bir veri deposu oluşturma adresini ziyaret edin.
Veri kümeleriyle depolama alanındaki verilere başvurma
Azure Machine Learning veri kümeleri verilerinizin kopyaları değildir. Veri kümesi oluşturma işlemi, depolama hizmetindeki verilere ve meta verilerinin bir kopyasına başvuru oluşturur.
Veri kümeleri gevşek bir şekilde değerlendirildiğinden ve veriler mevcut konumunda kaldığından,
- Ek depolama maliyeti yoktur
- Özgün veri kaynaklarınızda yanlışlıkla yapılan değişiklikleri riske atmayın
- ML iş akışı performans hızlarını geliştirme
Depolama alanındaki verilerinizle etkileşim kurmak için, makine öğrenmesi görevleri için verilerinizi tüketilebilir bir nesneye paketlemek üzere bir veri kümesi oluşturun. Veri alımı karmaşıklığı olmadan farklı denemelerde paylaşmak ve yeniden kullanmak için veri kümesini çalışma alanınıza kaydedin.
Veri depoları aracılığıyla yerel dosyalardan, genel URL'lerden, Azure Açık Veri Kümelerinden veya Azure depolama hizmetlerinden veri kümeleri oluşturabilirsiniz.
İki tür veri kümesi vardır:
FileDataset, veri depolarınızdaki veya genel URL'lerinizdeki tek veya birden çok dosyaya başvurur. Verileriniz zaten temizlenmiş ve eğitim denemelerine hazırsa FileDatasets tarafından başvuruda bulunılan dosyaları işlem hedefinize indirebilir veya bağlayabilirsiniz
TabularDataset, sağlanan dosyayı veya dosya listesini ayrıştırarak verileri tablo biçiminde temsil eder. Daha fazla düzenleme ve temizleme için tabularDataset'i pandas veya Spark DataFrame'e yükleyebilirsiniz. TabularDatasets oluşturabileceğiniz veri biçimlerinin tam listesi için TabularDatasetFactory sınıfını ziyaret edin
Bu kaynaklar veri kümesi özellikleri hakkında daha fazla bilgi sunar:
- Veri kümesi kökenini sürüm ve izleme
- Veri kayması algılamaya yardımcı olmak için veri kümenizi izleme
Verilerinizle çalışma
Veri kümeleriyle, Azure Machine Learning özellikleriyle sorunsuz tümleştirme yoluyla makine öğrenmesi görevlerini gerçekleştirebilirsiniz.
- Veri etiketleme projesi oluşturma
- Makine öğrenmesi modellerini eğitme:
- Makine öğrenmesi işlem hatlarında toplu çıkarım ile puanlama için veri kümelerine erişme
- Veri kayması algılaması için veri kümesi izleyicisi ayarlama
Verileri veri etiketleme projeleriyle etiketleme
Makine öğrenmesi projelerinde büyük hacimli verilerin etiketlenmesi baş ağrısına neden olabilir. Görüntü sınıflandırması veya nesne algılama gibi bir görüntü işleme bileşeni içeren projeler için genellikle binlerce resim ve buna karşılık gelen etiketler gerekir.
Azure Machine Learning etiketleme projeleri oluşturmak, yönetmek ve izlemek için merkezi bir konum sağlar. Etiketleme projeleri, etiketleme görevlerini daha verimli bir şekilde yönetebilmeniz için verilerin, etiketlerin ve ekip üyelerinin eşgüdümlü olarak yönetilmesine yardımcı olur. Şu anda desteklenen görevler, çok etiketli veya çok sınıflı görüntü sınıflandırmasını ve sınırlanmış kutuları kullanarak nesne tanımlamayı içerir.
Proje veya metin etiketleme projesi için bir görüntü etiketleme oluşturun ve makine öğrenmesi denemelerinde kullanmak üzere bir veri kümesi çıktısı oluşturun.
Veri kayarak model performansını izleme
Makine öğrenmesi bağlamında veri kayması, model giriş verilerinde model performansında düşüşe yol açan değişikliği içerir. Model doğruluğunun zaman içinde düşmesinin ve veri kaymasına ilişkin izlemenin model performansı sorunlarını algılamaya yardımcı olmasının önemli bir nedenidir.
Daha fazla bilgi için veri kümesindeki yeni verilerde veri kaymayı algılamayı ve uyarı almayı öğrenmek için Veri kümesi izleyicisi oluşturma bölümünü ziyaret edin.