Aracılığıyla paylaş


Azure Machine Learning v1'de veriler

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v1

ŞUNUN IÇIN GEÇERLIDIR: Python SDK azureml v1

Azure Machine Learning, buluttaki verilerinize bağlanmayı kolaylaştırır. Depolama türünüzle ilgili kod yazmanıza gerek kalmadan verilerinize güvenli bir şekilde erişebilmeniz ve verilerinizle çalışabilmeniz için temel depolama hizmeti üzerinde bir soyutlama katmanı sağlar. Azure Machine Learning şu veri özelliklerini de sağlar:

  • Pandas ve Spark DataFrame'lerle birlikte çalışabilirlik
  • Veri kökeninin sürümü oluşturma ve izleme
  • Veri etiketleme
  • Veri değişikliklerini izleme

Veri iş akışı

Verileri bulut tabanlı depolama çözümünüzde kullanmak için bu veri teslim iş akışını öneririz. İş akışı bir Azure depolama hesabınız ve Azure bulut tabanlı depolama hizmetinde verileriniz olduğunu varsayar.

  1. Azure depolama alanınıza bağlantı bilgilerini depolamak için Azure Machine Learning veri deposu oluşturma

  2. Bu veri deposundan, temel alınan depolama alanınızdaki belirli bir dosyaya veya dosyalara işaret eden bir Azure Machine Learning veri kümesi oluşturun

  3. Bu veri kümesini makine öğrenmesi denemenizde kullanmak için

    • Model eğitimi için veri kümesini denemenizin işlem hedefine bağlama

      OR

    • Veri kümesini doğrudan Azure Machine Learning çözümlerinde kullanın; örneğin, otomatik makine öğrenmesi (otomatik ML) deneme çalıştırmaları, makine öğrenmesi işlem hatları veya Azure Machine Learning tasarımcısı.

  4. Veri kaymasını algılamak için model çıktı veri kümeniz için veri kümesi izleyicileri oluşturma

  5. Algılanan veri kayma için giriş veri kümenizi güncelleştirin ve modelinizi uygun şekilde yeniden eğitin

Bu ekran görüntüsü önerilen iş akışını gösterir:

Veri deposuna ve ardından bir veri kümesine akan Azure Depolama Hizmeti'ni gösteren ekran görüntüsü.

Veri depolarıyla depolamaya bağlanma

Azure Machine Learning veri depoları, veri depolama bağlantı bilgilerinizi Azure'da güvenli bir şekilde barındırdığından bu bilgileri betiklerinize yerleştirmeniz gerekmez. Bir depolama hesabına bağlanma ve temel depolama hizmetinizdeki veri erişimi hakkında daha fazla bilgi için Bkz . Veri deposu kaydetme ve oluşturma.

Desteklenen bu Azure bulut tabanlı depolama hizmetleri veri deposu olarak kaydedilebilir:

  • Azure Blob Kapsayıcısı
  • Azure Dosya Paylaşımı
  • Azure Data Lake
  • Azure Data Lake 2. Nesil
  • Azure SQL Veritabanı
  • PostgreSQL için Azure Veritabanı
  • Databricks Dosya Sistemi
  • MySQL için Azure Veritabanı

İpucu

Hizmet sorumlusu veya paylaşılan erişim imzası (SAS) belirteci gibi depolama hizmetlerine erişmek için kimlik bilgileri tabanlı kimlik doğrulamasıyla veri depoları oluşturabilirsiniz. Çalışma alanına Okuyucu erişimi olan kullanıcılar bu kimlik bilgilerine erişebilir.

Bu sorun oluşturuyorsa, depolama hizmetlerine bağlantılar hakkında daha fazla bilgi için kimlik tabanlı veri erişimi kullanan bir veri deposu oluşturma adresini ziyaret edin.

Veri kümeleriyle depolama alanındaki verilere başvurma

Azure Machine Learning veri kümeleri verilerinizin kopyaları değildir. Veri kümesi oluşturma işlemi, depolama hizmetindeki verilere ve meta verilerinin bir kopyasına başvuru oluşturur.

Veri kümeleri gevşek bir şekilde değerlendirildiğinden ve veriler mevcut konumunda kaldığından,

  • Ek depolama maliyeti yoktur
  • Özgün veri kaynaklarınızda yanlışlıkla yapılan değişiklikleri riske atmayın
  • ML iş akışı performans hızlarını geliştirme

Depolama alanındaki verilerinizle etkileşim kurmak için, makine öğrenmesi görevleri için verilerinizi tüketilebilir bir nesneye paketlemek üzere bir veri kümesi oluşturun. Veri alımı karmaşıklığı olmadan farklı denemelerde paylaşmak ve yeniden kullanmak için veri kümesini çalışma alanınıza kaydedin.

Veri depoları aracılığıyla yerel dosyalardan, genel URL'lerden, Azure Açık Veri Kümelerinden veya Azure depolama hizmetlerinden veri kümeleri oluşturabilirsiniz.

İki tür veri kümesi vardır:

  • FileDataset, veri depolarınızdaki veya genel URL'lerinizdeki tek veya birden çok dosyaya başvurur. Verileriniz zaten temizlenmiş ve eğitim denemelerine hazırsa FileDatasets tarafından başvuruda bulunılan dosyaları işlem hedefinize indirebilir veya bağlayabilirsiniz

  • TabularDataset, sağlanan dosyayı veya dosya listesini ayrıştırarak verileri tablo biçiminde temsil eder. Daha fazla düzenleme ve temizleme için tabularDataset'i pandas veya Spark DataFrame'e yükleyebilirsiniz. TabularDatasets oluşturabileceğiniz veri biçimlerinin tam listesi için TabularDatasetFactory sınıfını ziyaret edin

Bu kaynaklar veri kümesi özellikleri hakkında daha fazla bilgi sunar:

Verilerinizle çalışma

Veri kümeleriyle, Azure Machine Learning özellikleriyle sorunsuz tümleştirme yoluyla makine öğrenmesi görevlerini gerçekleştirebilirsiniz.

Verileri veri etiketleme projeleriyle etiketleme

Makine öğrenmesi projelerinde büyük hacimli verilerin etiketlenmesi baş ağrısına neden olabilir. Görüntü sınıflandırması veya nesne algılama gibi bir görüntü işleme bileşeni içeren projeler için genellikle binlerce resim ve buna karşılık gelen etiketler gerekir.

Azure Machine Learning etiketleme projeleri oluşturmak, yönetmek ve izlemek için merkezi bir konum sağlar. Etiketleme projeleri, etiketleme görevlerini daha verimli bir şekilde yönetebilmeniz için verilerin, etiketlerin ve ekip üyelerinin eşgüdümlü olarak yönetilmesine yardımcı olur. Şu anda desteklenen görevler, çok etiketli veya çok sınıflı görüntü sınıflandırmasını ve sınırlanmış kutuları kullanarak nesne tanımlamayı içerir.

Proje veya metin etiketleme projesi için bir görüntü etiketleme oluşturun ve makine öğrenmesi denemelerinde kullanmak üzere bir veri kümesi çıktısı oluşturun.

Veri kayarak model performansını izleme

Makine öğrenmesi bağlamında veri kayması, model giriş verilerinde model performansında düşüşe yol açan değişikliği içerir. Model doğruluğunun zaman içinde düşmesinin ve veri kaymasına ilişkin izlemenin model performansı sorunlarını algılamaya yardımcı olmasının önemli bir nedenidir.

Daha fazla bilgi için veri kümesindeki yeni verilerde veri kaymayı algılamayı ve uyarı almayı öğrenmek için Veri kümesi izleyicisi oluşturma bölümünü ziyaret edin.

Sonraki adımlar