Toplu iş uç noktalarını kullanarak Dokudan Azure Machine Learning modellerini çalıştırma (önizleme)

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Bu makalede, Microsoft Fabric'ten Azure Machine Learning toplu dağıtımlarını kullanmayı öğreneceksiniz. İş akışı toplu iş uç noktalarına dağıtılan modelleri kullansa da, Doku'dan toplu işlem hattı dağıtımlarının kullanımını da destekler.

Önemli

Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.

Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Önkoşullar

• Microsoft Fabric aboneliği alın. İsterseniz ücretsiz bir Microsoft Fabric deneme sürümüne kaydolabilirsiniz.
• Microsoft Fabric'te oturum açın.
• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
• Azure Machine Learning çalışma alanı. Bir çalışma alanınız yoksa, çalışma alanlarını yönetme bölümünde yer alan adımları kullanarak bir tane oluşturun.
  • Çalışma alanında aşağıdaki izinlere sahip olduğunuzdan emin olun:
    • Toplu iş uç noktalarını ve dağıtımlarını oluşturma/yönetme: Sahip rollerini, katkıda bulunanı veya izin veren Microsoft.MachineLearningServices/workspaces/batchEndpoints/*özel rolü kullanın.
    • Çalışma alanı kaynak grubunda ARM dağıtımları oluşturma: Çalışma alanının dağıtıldığı kaynak grubunda izin veren Microsoft.Resources/deployments/write Sahip, katkıda bulunan veya özel rol rollerini kullanın.
• Toplu iş uç noktasına dağıtılan bir model. Yoksa, toplu iş uç noktalarındaki puanlama için modelleri dağıtma bölümünde yer alan adımları kullanarak bir tane oluşturun.
• Puanlama için kullanılacak heart-unlabeled.csv örnek veri kümesini indirin.

Mimari

Azure Machine Learning, Doku'nun OneLake'inde depolanan verilere doğrudan erişemez. Bununla birlikte, Azure Data Lake 2. Nesil'de depolanan verileri okumak ve yazmak için Bir Lakehouse içinde kısayollar oluşturmak için OneLake'in özelliğini kullanabilirsiniz. Azure Machine Learning, Azure Data Lake 2. Nesil depolamayı desteklediğinden, bu kurulum Doku ve Azure Machine Learning'i birlikte kullanmanıza olanak tanır. Veri mimarisi aşağıdaki gibidir:

Veri erişimini yapılandırma

Doku ve Azure Machine Learning'in kopyalamaya gerek kalmadan aynı verileri okumasına ve yazmasına izin vermek için OneLake kısayollarından ve Azure Machine Learning veri depolarından yararlanabilirsiniz. OneLake kısayolunu ve veri deposunu aynı depolama hesabına işaret ederek hem Doku hem de Azure Machine Learning'in aynı temel alınan verileri okumasını ve yazmasını sağlayabilirsiniz.

Bu bölümde, toplu iş uç noktasının kullanacağı ve Doku kullanıcılarının OneLake'de göreceği bilgileri depolamak için kullanılacak bir depolama hesabı oluşturacak veya tanımlayacaksınız. Doku yalnızca Azure Data Lake 2. Nesil gibi hiyerarşik adların etkinleştirildiği depolama hesaplarını destekler.

Depolama hesabına bir OneLake kısayolu oluşturma

1. Synapse Veri Madenciliği deneyimini Doku'da açın.

2. Sol taraftaki panelden Doku çalışma alanınızı seçerek açın.

3. Bağlantıyı yapılandırmak için kullanacağınız lakehouse'ı açın. Henüz bir lakehouse'nuz yoksa, bir göl evi oluşturmak için Veri Madenciliği deneyimine gidin. Bu örnekte trusted adlı bir göl evi kullanırsınız.

4. Sol taraftaki gezinti çubuğunda Dosyalar için daha fazla seçenek açın ve sihirbazı açmak için Yeni kısayol'a tıklayın.

   

5. Azure Data Lake Storage 2. Nesil seçeneğini belirleyin.

   

6. Bağlantı ayarları bölümünde Azure Data Lake 2. Nesil depolama hesabıyla ilişkili URL'yi yapıştırın.

   

7. Bağlantı kimlik bilgileri bölümünde:

   1. Bağlantı için Yeni bağlantı oluştur'u seçin.
   2. Bağlantı adı için varsayılan doldurulan değeri koruyun.
   3. Kimlik doğrulama türü olarak, OAuth 2.0 aracılığıyla bağlı kullanıcının kimlik bilgilerini kullanmak için Kuruluş hesabı'nı seçin.
   4. Oturum açmak için Oturum aç'ı seçin.

8. İleri'yi seçin.

9. Gerekirse, depolama hesabına göre kısayol yolunu yapılandırın. Kısayolunun işaret edeceği klasörü yapılandırmak için bu ayarı kullanın.

10. Kısayolun Adını yapılandırın. Bu ad göl evi içinde bir yol olacak. Bu örnekte, kısayol veri kümelerini adlandırın.

11. Değişiklikleri kaydedin.

Depolama hesabına işaret eden bir veri deposu oluşturma

1. Azure Machine Learning stüdyosu açın.

2. Azure Machine Learning çalışma alanınıza gidin.

3. Veri bölümüne gidin.

4. Veri depoları sekmesini seçin.

5. Oluştur'u belirleyin.

6. Veri depolarını aşağıdaki gibi yapılandırın:

   1. Datastore adı için trusted_blob girin.

   2. Veri deposu türü için Azure Blob Depolama seçin.

      İpucu

      Azure Data Lake 2. Nesil yerine neden Azure Blob Depolama yapılandırmanız gerekir? Batch uç noktaları yalnızca Blob Depolama hesaplarına tahmin yazabilir. Ancak, her Azure Data Lake 2. Nesil depolama hesabı aynı zamanda bir blob depolama hesabıdır; bu nedenle, bunlar birbirinin yerine kullanılabilir.

   3. Abonelik Kimliği, Depolama hesabı ve Blob kapsayıcısını (dosya sistemi) kullanarak sihirbazdan depolama hesabını seçin.

      

   4. Oluştur'u belirleyin.

7. Toplu iş uç noktasının çalıştığı işlemde verileri bu depolama hesabına bağlama izni olduğundan emin olun. Erişim, uç noktayı çağıran kimlik tarafından verilmeye devam etse de, toplu iş uç noktasının çalıştırıldığı işlem, sağladığınız depolama hesabını bağlama iznine sahip olmalıdır. Daha fazla bilgi için bkz . Depolama hizmetlerine erişme.

Örnek veri kümesini karşıya yükleme

Giriş olarak kullanılacak uç nokta için bazı örnek verileri karşıya yükleyin:

1. Doku çalışma alanınıza gidin.

2. Kısayolu oluşturduğunuz göl evi seçin.

3. Veri kümeleri kısayolu'na gidin.

4. Puanlamak istediğiniz örnek veri kümesini depolamak için bir klasör oluşturun. Klasörü uci-heart-unlabeled olarak adlandırın.

5. Veri al seçeneğini kullanın ve Dosyaları karşıya yükle'yi seçerek örnek veri kümesini heart-unlabeled.csv yükleyin.

   

6. Örnek veri kümesini karşıya yükleyin.

   

7. Örnek dosya tüketilmeye hazır. Kaydettiğiniz konumun yolunu not edin.

İşlem hattını toplu olarak çıkarmak için doku oluşturma

Bu bölümde, var olan Doku çalışma alanınızda bir Dokudan topluya çıkarım işlem hattı oluşturacak ve toplu iş uç noktalarını çağıracaksınız.

1. Giriş sayfanızın sol alt köşesindeki deneyim seçici simgesini kullanarak Veri Madenciliği deneyimine geri dönün (zaten bu deneyimden uzaklaştıysanız).

2. Doku çalışma alanınızı açın.

3. Giriş sayfasının Yeni bölümünde Veri işlem hattı'nı seçin.

4. İşlem hattını adlandırın ve Oluştur'u seçin.

   

5. Tasarımcı tuvalindeki araç çubuğundan Etkinlikler sekmesini seçin.

6. Sekmenin sonundaki diğer seçenekleri belirleyin ve Azure Machine Learning'i seçin.

   

7. Ayarlar sekmesine gidin ve etkinliği aşağıdaki gibi yapılandırın:

   1. Dağıtımınızı içeren Azure Machine Learning çalışma alanına yeni bir bağlantı oluşturmak için Azure Machine Learning bağlantısı'nın yanındaki Yeni'yi seçin.

      

   2. Oluşturma sihirbazının Bağlantı ayarları bölümünde, uç noktanızın dağıtıldığı abonelik kimliği, Kaynak grubu adı ve Çalışma alanı adı değerlerini belirtin.

      

   3. Bağlantı kimlik bilgileri bölümünde, bağlantınızın Kimlik doğrulama türü değeri olarak Kuruluş hesabı'nıseçin. Kuruluş hesabı , bağlı kullanıcının kimlik bilgilerini kullanır. Alternatif olarak, Hizmet sorumlusu kullanabilirsiniz. Üretim ayarlarında bir Hizmet sorumlusu kullanmanızı öneririz. Kimlik doğrulama türünden bağımsız olarak, bağlantıyla ilişkili kimliğin dağıttığınız toplu iş uç noktasını çağırma haklarına sahip olduğundan emin olun.

      

   4. Bağlantıyı kaydedin . Bağlantı seçildikten sonra Doku, seçili çalışma alanında kullanılabilir toplu iş uç noktalarını otomatik olarak doldurur.

8. Batch uç noktası için çağırmak istediğiniz toplu iş uç noktasını seçin. Bu örnekte, kalp sınıflandırıcı-...'yı seçin.

   

   Batch dağıtımı bölümü, uç noktanın altındaki kullanılabilir dağıtımlarla otomatik olarak doldurulur.

9. Batch dağıtımı için, gerekirse listeden belirli bir dağıtımı seçin. Bir dağıtım seçmezseniz, Doku uç noktanın altındaki Varsayılan dağıtımı çağırır ve toplu iş uç noktası oluşturucusunun hangi dağıtımın çağrılmasına karar vermesine olanak tanır. Çoğu senaryoda bu varsayılan davranışı korumak istersiniz.

   

Toplu iş uç noktası için girişleri ve çıkışları yapılandırma

Bu bölümde, toplu iş uç noktasından girişleri ve çıkışları yapılandıracaksınız. Toplu uç noktalara girişler , işlemi çalıştırmak için gereken verileri ve parametreleri sağlar. Doku'daki Azure Machine Learning toplu işlem hattı hem model dağıtımlarınıhem de işlem hattı dağıtımlarını destekler. Sağladığınız girişlerin sayısı ve türü dağıtım türüne bağlıdır. Bu örnekte, tam olarak bir giriş gerektiren ve bir çıkış üreten bir model dağıtımı kullanırsınız.

Toplu uç nokta girişleri ve çıkışları hakkında daha fazla bilgi için bkz . Batch Uç Noktalarındaki girişleri ve çıkışları anlama.

Giriş bölümünü yapılandırma

İş girişleri bölümünü aşağıdaki gibi yapılandırın:

1. İş girişleri bölümünü genişletin.

2. Uç noktanıza yeni bir giriş eklemek için Yeni'yi seçin.

3. Girdiyi input_dataolarak adlandırın. Model dağıtımı kullandığınızdan, herhangi bir adı kullanabilirsiniz. Öte yandan işlem hattı dağıtımları için modelinizin beklediği girişin tam adını belirtmeniz gerekir.

4. Girişin özelliğini (ad ve değer alanı) açmak için yeni eklediğiniz girişin yanındaki açılan menüyü seçin.

5. Oluşturduğunuz girişin türünü belirtmek için Ad alanına girinJobInputType.

6. Girişin bir klasör yolu olduğunu belirtmek için Değer alanına girinUriFolder. Bu alan için desteklenen diğer değerler UriFile (dosya yolu) veya Değişmez Değerdir (dize veya tamsayı gibi herhangi bir değişmez değer). Dağıtımınızın beklediği doğru türü kullanmanız gerekir.

7. Bu giriş için başka bir özellik eklemek için özelliğin yanındaki artı işaretini seçin.

8. Verilerin yolunu belirtmek için Ad alanına girinUri.

9. Değer alanına verileri bulmak için yolunu girinazureml://datastores/trusted_blob/datasets/uci-heart-unlabeled. Burada, hem Doku'da OneLake'e hem de Azure Machine Learning'e bağlı depolama hesabına giden bir yol kullanırsınız. azureml://datastores/trusted_blob/datasets/uci-heart-unlabeled, toplu iş uç noktasına dağıtılan model için beklenen giriş verilerini içeren CSV dosyalarının yoludur. Depolama hesabı https://<storage-account>.dfs.azure.comiçin gibi doğrudan bir yol da kullanabilirsiniz.

   

   İpucu

   Girişiniz Değişmez Değer türündeyse özelliğini Uri 'Value' ile değiştirin.

Uç noktanız daha fazla giriş gerektiriyorsa, her biri için önceki adımları yineleyin. Bu örnekte, model dağıtımları tam olarak bir giriş gerektirir.

Çıkış bölümünü yapılandırma

İş çıkışları bölümünü aşağıdaki gibi yapılandırın:

1. İş çıkışları bölümünü genişletin.

2. Uç noktanıza yeni bir çıkış eklemek için Yeni'yi seçin.

3. Çıkışı output_dataolarak adlandırın. Model dağıtımı kullandığınızdan, herhangi bir adı kullanabilirsiniz. Öte yandan işlem hattı dağıtımları için modelinizin oluşturduğunu çıkışın tam adını belirtmeniz gerekir.

4. Çıkışın özelliğini (ad ve değer alanı) açmak için yeni eklediğiniz çıkışın yanındaki açılan menüyü seçin.

5. Oluşturduğunuz çıktı türünü belirtmek için Ad alanına girinJobOutputType.

6. Çıkışın bir dosya yolu olduğunu belirtmek için Değer alanına girinUriFile. Bu alan için desteklenen diğer değer UriFolder'dır (klasör yolu). İş girişi bölümünden farklı olarak Değişmez Değer (dize veya tamsayı gibi herhangi bir değişmez değer) çıkış olarak desteklenmez.

7. Bu çıkış için başka bir özellik eklemek için özelliğin yanındaki artı işaretini seçin.

8. Verilerin yolunu belirtmek için Ad alanına girinUri.

9. Değer alanına çıkışın yerleştirilmesi gereken yolu girin@concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv'). Azure Machine Learning toplu iş uç noktaları yalnızca veri deposu yollarının çıkış olarak kullanılmasını destekler. Çakışmaları önlemek için çıkışların benzersiz olması gerektiğinden, yolu oluşturmak için bir dinamik ifade @concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv')() kullandınız.

   

Uç noktanız daha fazla çıkış döndürüyorsa, her biri için önceki adımları yineleyin. Bu örnekte model dağıtımları tam olarak bir çıkış oluşturur.

(İsteğe bağlı) İş ayarlarını yapılandırma

Aşağıdaki özellikleri ekleyerek İş ayarlarını da yapılandırabilirsiniz:

Model dağıtımları için:

Ayar	Açıklama
MiniBatchSize	Toplu iş boyutu.
ComputeInstanceCount	Dağıtımdan sorulacak işlem örneği sayısı.

İşlem hattı dağıtımları için:

Ayar	Açıklama
ContinueOnStepFailure	İşlem hattının bir hatadan sonra düğümleri işlemeyi durdurup durdurmaması gerektiğini gösterir.
DefaultDatastore	Çıkışlar için kullanılacak varsayılan veri depoyu gösterir.
ForceRun	Çıkış önceki bir çalıştırmadan çıkarılsa bile işlem hattının tüm bileşenleri çalışmaya zorlaması gerekip gerekmediğini gösterir.

Yapılandırıldıktan sonra işlem hattını test edebilirsiniz.

İlgili bağlantılar

• Toplu dağıtımlarda düşük öncelikli VM'leri kullanma
• Toplu iş uç noktaları üzerinde yetkilendirme
• Toplu iş uç noktalarındaki ağ yalıtımı