Toplu iş uç noktalarını kullanarak Dokudan Azure Machine Learning modellerini çalıştırma (önizleme)
ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)
Bu makalede, Microsoft Fabric'ten Azure Machine Learning toplu dağıtımlarını kullanmayı öğreneceksiniz. İş akışı toplu iş uç noktalarına dağıtılan modelleri kullansa da, Doku'dan toplu işlem hattı dağıtımlarının kullanımını da destekler.
Önemli
Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.
Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Önkoşullar
- Microsoft Fabric aboneliği alın. İsterseniz ücretsiz bir Microsoft Fabric deneme sürümüne kaydolabilirsiniz.
- Microsoft Fabric'te oturum açın.
- Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
- Azure Machine Learning çalışma alanı. Bir çalışma alanınız yoksa, çalışma alanlarını yönetme bölümünde yer alan adımları kullanarak bir tane oluşturun.
- Çalışma alanında aşağıdaki izinlere sahip olduğunuzdan emin olun:
- Toplu iş uç noktalarını ve dağıtımlarını oluşturma/yönetme: Sahip rollerini, katkıda bulunanı veya izin veren
Microsoft.MachineLearningServices/workspaces/batchEndpoints/*
özel rolü kullanın. - Çalışma alanı kaynak grubunda ARM dağıtımları oluşturma: Çalışma alanının dağıtıldığı kaynak grubunda izin veren
Microsoft.Resources/deployments/write
Sahip, katkıda bulunan veya özel rol rollerini kullanın.
- Toplu iş uç noktalarını ve dağıtımlarını oluşturma/yönetme: Sahip rollerini, katkıda bulunanı veya izin veren
- Çalışma alanında aşağıdaki izinlere sahip olduğunuzdan emin olun:
- Toplu iş uç noktasına dağıtılan bir model. Yoksa, toplu iş uç noktalarındaki puanlama için modelleri dağıtma bölümünde yer alan adımları kullanarak bir tane oluşturun.
- Puanlama için kullanılacak heart-unlabeled.csv örnek veri kümesini indirin.
Mimari
Azure Machine Learning, Doku'nun OneLake'inde depolanan verilere doğrudan erişemez. Bununla birlikte, Azure Data Lake 2. Nesil'de depolanan verileri okumak ve yazmak için Bir Lakehouse içinde kısayollar oluşturmak için OneLake'in özelliğini kullanabilirsiniz. Azure Machine Learning, Azure Data Lake 2. Nesil depolamayı desteklediğinden, bu kurulum Doku ve Azure Machine Learning'i birlikte kullanmanıza olanak tanır. Veri mimarisi aşağıdaki gibidir:
Veri erişimini yapılandırma
Doku ve Azure Machine Learning'in kopyalamaya gerek kalmadan aynı verileri okumasına ve yazmasına izin vermek için OneLake kısayollarından ve Azure Machine Learning veri depolarından yararlanabilirsiniz. OneLake kısayolunu ve veri deposunu aynı depolama hesabına işaret ederek hem Doku hem de Azure Machine Learning'in aynı temel alınan verileri okumasını ve yazmasını sağlayabilirsiniz.
Bu bölümde, toplu iş uç noktasının kullanacağı ve Doku kullanıcılarının OneLake'de göreceği bilgileri depolamak için kullanılacak bir depolama hesabı oluşturacak veya tanımlayacaksınız. Doku yalnızca Azure Data Lake 2. Nesil gibi hiyerarşik adların etkinleştirildiği depolama hesaplarını destekler.
Depolama hesabına bir OneLake kısayolu oluşturma
Synapse Veri Madenciliği deneyimini Doku'da açın.
Sol taraftaki panelden Doku çalışma alanınızı seçerek açın.
Bağlantıyı yapılandırmak için kullanacağınız lakehouse'ı açın. Henüz bir lakehouse'nuz yoksa, bir göl evi oluşturmak için Veri Madenciliği deneyimine gidin. Bu örnekte trusted adlı bir göl evi kullanırsınız.
Sol taraftaki gezinti çubuğunda Dosyalar için daha fazla seçenek açın ve sihirbazı açmak için Yeni kısayol'a tıklayın.
Azure Data Lake Storage 2. Nesil seçeneğini belirleyin.
Bağlantı ayarları bölümünde Azure Data Lake 2. Nesil depolama hesabıyla ilişkili URL'yi yapıştırın.
Bağlantı kimlik bilgileri bölümünde:
- Bağlantı için Yeni bağlantı oluştur'u seçin.
- Bağlantı adı için varsayılan doldurulan değeri koruyun.
- Kimlik doğrulama türü olarak, OAuth 2.0 aracılığıyla bağlı kullanıcının kimlik bilgilerini kullanmak için Kuruluş hesabı'nı seçin.
- Oturum açmak için Oturum aç'ı seçin.
İleri'yi seçin.
Gerekirse, depolama hesabına göre kısayol yolunu yapılandırın. Kısayolunun işaret edeceği klasörü yapılandırmak için bu ayarı kullanın.
Kısayolun Adını yapılandırın. Bu ad göl evi içinde bir yol olacak. Bu örnekte, kısayol veri kümelerini adlandırın.
Değişiklikleri kaydedin.
Depolama hesabına işaret eden bir veri deposu oluşturma
Azure Machine Learning çalışma alanınıza gidin.
Veri bölümüne gidin.
Veri depoları sekmesini seçin.
Oluştur'u belirleyin.
Veri depolarını aşağıdaki gibi yapılandırın:
Datastore adı için trusted_blob girin.
Veri deposu türü için Azure Blob Depolama seçin.
İpucu
Azure Data Lake 2. Nesil yerine neden Azure Blob Depolama yapılandırmanız gerekir? Batch uç noktaları yalnızca Blob Depolama hesaplarına tahmin yazabilir. Ancak, her Azure Data Lake 2. Nesil depolama hesabı aynı zamanda bir blob depolama hesabıdır; bu nedenle, bunlar birbirinin yerine kullanılabilir.
Abonelik Kimliği, Depolama hesabı ve Blob kapsayıcısını (dosya sistemi) kullanarak sihirbazdan depolama hesabını seçin.
Oluştur'u belirleyin.
Toplu iş uç noktasının çalıştığı işlemde verileri bu depolama hesabına bağlama izni olduğundan emin olun. Erişim, uç noktayı çağıran kimlik tarafından verilmeye devam etse de, toplu iş uç noktasının çalıştırıldığı işlem, sağladığınız depolama hesabını bağlama iznine sahip olmalıdır. Daha fazla bilgi için bkz . Depolama hizmetlerine erişme.
Örnek veri kümesini karşıya yükleme
Giriş olarak kullanılacak uç nokta için bazı örnek verileri karşıya yükleyin:
Doku çalışma alanınıza gidin.
Kısayolu oluşturduğunuz göl evi seçin.
Veri kümeleri kısayolu'na gidin.
Puanlamak istediğiniz örnek veri kümesini depolamak için bir klasör oluşturun. Klasörü uci-heart-unlabeled olarak adlandırın.
Veri al seçeneğini kullanın ve Dosyaları karşıya yükle'yi seçerek örnek veri kümesini heart-unlabeled.csv yükleyin.
Örnek veri kümesini karşıya yükleyin.
Örnek dosya tüketilmeye hazır. Kaydettiğiniz konumun yolunu not edin.
İşlem hattını toplu olarak çıkarmak için doku oluşturma
Bu bölümde, var olan Doku çalışma alanınızda bir Dokudan topluya çıkarım işlem hattı oluşturacak ve toplu iş uç noktalarını çağıracaksınız.
Giriş sayfanızın sol alt köşesindeki deneyim seçici simgesini kullanarak Veri Madenciliği deneyimine geri dönün (zaten bu deneyimden uzaklaştıysanız).
Doku çalışma alanınızı açın.
Giriş sayfasının Yeni bölümünde Veri işlem hattı'nı seçin.
İşlem hattını adlandırın ve Oluştur'u seçin.
Tasarımcı tuvalindeki araç çubuğundan Etkinlikler sekmesini seçin.
Sekmenin sonundaki diğer seçenekleri belirleyin ve Azure Machine Learning'i seçin.
Ayarlar sekmesine gidin ve etkinliği aşağıdaki gibi yapılandırın:
Dağıtımınızı içeren Azure Machine Learning çalışma alanına yeni bir bağlantı oluşturmak için Azure Machine Learning bağlantısı'nın yanındaki Yeni'yi seçin.
Oluşturma sihirbazının Bağlantı ayarları bölümünde, uç noktanızın dağıtıldığı abonelik kimliği, Kaynak grubu adı ve Çalışma alanı adı değerlerini belirtin.
Bağlantı kimlik bilgileri bölümünde, bağlantınızın Kimlik doğrulama türü değeri olarak Kuruluş hesabı'nı seçin. Kuruluş hesabı , bağlı kullanıcının kimlik bilgilerini kullanır. Alternatif olarak, Hizmet sorumlusu kullanabilirsiniz. Üretim ayarlarında bir Hizmet sorumlusu kullanmanızı öneririz. Kimlik doğrulama türünden bağımsız olarak, bağlantıyla ilişkili kimliğin dağıttığınız toplu iş uç noktasını çağırma haklarına sahip olduğundan emin olun.
Bağlantıyı kaydedin . Bağlantı seçildikten sonra Doku, seçili çalışma alanında kullanılabilir toplu iş uç noktalarını otomatik olarak doldurur.
Batch uç noktası için çağırmak istediğiniz toplu iş uç noktasını seçin. Bu örnekte, kalp sınıflandırıcı-...'yı seçin.
Batch dağıtımı bölümü, uç noktanın altındaki kullanılabilir dağıtımlarla otomatik olarak doldurulur.
Batch dağıtımı için, gerekirse listeden belirli bir dağıtımı seçin. Bir dağıtım seçmezseniz, Doku uç noktanın altındaki Varsayılan dağıtımı çağırır ve toplu iş uç noktası oluşturucusunun hangi dağıtımın çağrılmasına karar vermesine olanak tanır. Çoğu senaryoda bu varsayılan davranışı korumak istersiniz.
Toplu iş uç noktası için girişleri ve çıkışları yapılandırma
Bu bölümde, toplu iş uç noktasından girişleri ve çıkışları yapılandıracaksınız. Toplu uç noktalara girişler , işlemi çalıştırmak için gereken verileri ve parametreleri sağlar. Doku'daki Azure Machine Learning toplu işlem hattı hem model dağıtımlarını hem de işlem hattı dağıtımlarını destekler. Sağladığınız girişlerin sayısı ve türü dağıtım türüne bağlıdır. Bu örnekte, tam olarak bir giriş gerektiren ve bir çıkış üreten bir model dağıtımı kullanırsınız.
Toplu uç nokta girişleri ve çıkışları hakkında daha fazla bilgi için bkz . Batch Uç Noktalarındaki girişleri ve çıkışları anlama.
Giriş bölümünü yapılandırma
İş girişleri bölümünü aşağıdaki gibi yapılandırın:
İş girişleri bölümünü genişletin.
Uç noktanıza yeni bir giriş eklemek için Yeni'yi seçin.
Girdiyi
input_data
olarak adlandırın. Model dağıtımı kullandığınızdan, herhangi bir adı kullanabilirsiniz. Öte yandan işlem hattı dağıtımları için modelinizin beklediği girişin tam adını belirtmeniz gerekir.Girişin özelliğini (ad ve değer alanı) açmak için yeni eklediğiniz girişin yanındaki açılan menüyü seçin.
Oluşturduğunuz girişin türünü belirtmek için Ad alanına girin
JobInputType
.Girişin bir klasör yolu olduğunu belirtmek için Değer alanına girin
UriFolder
. Bu alan için desteklenen diğer değerler UriFile (dosya yolu) veya Değişmez Değerdir (dize veya tamsayı gibi herhangi bir değişmez değer). Dağıtımınızın beklediği doğru türü kullanmanız gerekir.Bu giriş için başka bir özellik eklemek için özelliğin yanındaki artı işaretini seçin.
Verilerin yolunu belirtmek için Ad alanına girin
Uri
.Değer alanına verileri bulmak için yolunu girin
azureml://datastores/trusted_blob/datasets/uci-heart-unlabeled
. Burada, hem Doku'da OneLake'e hem de Azure Machine Learning'e bağlı depolama hesabına giden bir yol kullanırsınız. azureml://datastores/trusted_blob/datasets/uci-heart-unlabeled, toplu iş uç noktasına dağıtılan model için beklenen giriş verilerini içeren CSV dosyalarının yoludur. Depolama hesabıhttps://<storage-account>.dfs.azure.com
için gibi doğrudan bir yol da kullanabilirsiniz.İpucu
Girişiniz Değişmez Değer türündeyse özelliğini
Uri
'Value' ile değiştirin.
Uç noktanız daha fazla giriş gerektiriyorsa, her biri için önceki adımları yineleyin. Bu örnekte, model dağıtımları tam olarak bir giriş gerektirir.
Çıkış bölümünü yapılandırma
İş çıkışları bölümünü aşağıdaki gibi yapılandırın:
İş çıkışları bölümünü genişletin.
Uç noktanıza yeni bir çıkış eklemek için Yeni'yi seçin.
Çıkışı
output_data
olarak adlandırın. Model dağıtımı kullandığınızdan, herhangi bir adı kullanabilirsiniz. Öte yandan işlem hattı dağıtımları için modelinizin oluşturduğunu çıkışın tam adını belirtmeniz gerekir.Çıkışın özelliğini (ad ve değer alanı) açmak için yeni eklediğiniz çıkışın yanındaki açılan menüyü seçin.
Oluşturduğunuz çıktı türünü belirtmek için Ad alanına girin
JobOutputType
.Çıkışın bir dosya yolu olduğunu belirtmek için Değer alanına girin
UriFile
. Bu alan için desteklenen diğer değer UriFolder'dır (klasör yolu). İş girişi bölümünden farklı olarak Değişmez Değer (dize veya tamsayı gibi herhangi bir değişmez değer) çıkış olarak desteklenmez.Bu çıkış için başka bir özellik eklemek için özelliğin yanındaki artı işaretini seçin.
Verilerin yolunu belirtmek için Ad alanına girin
Uri
.Değer alanına çıkışın yerleştirilmesi gereken yolu girin
@concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv')
. Azure Machine Learning toplu iş uç noktaları yalnızca veri deposu yollarının çıkış olarak kullanılmasını destekler. Çakışmaları önlemek için çıkışların benzersiz olması gerektiğinden, yolu oluşturmak için bir dinamik ifade@concat(@concat('azureml://datastores/trusted_blob/paths/endpoints', pipeline().RunId, 'predictions.csv')
() kullandınız.
Uç noktanız daha fazla çıkış döndürüyorsa, her biri için önceki adımları yineleyin. Bu örnekte model dağıtımları tam olarak bir çıkış oluşturur.
(İsteğe bağlı) İş ayarlarını yapılandırma
Aşağıdaki özellikleri ekleyerek İş ayarlarını da yapılandırabilirsiniz:
Model dağıtımları için:
Ayar | Açıklama |
---|---|
MiniBatchSize |
Toplu iş boyutu. |
ComputeInstanceCount |
Dağıtımdan sorulacak işlem örneği sayısı. |
İşlem hattı dağıtımları için:
Ayar | Açıklama |
---|---|
ContinueOnStepFailure |
İşlem hattının bir hatadan sonra düğümleri işlemeyi durdurup durdurmaması gerektiğini gösterir. |
DefaultDatastore |
Çıkışlar için kullanılacak varsayılan veri depoyu gösterir. |
ForceRun |
Çıkış önceki bir çalıştırmadan çıkarılsa bile işlem hattının tüm bileşenleri çalışmaya zorlaması gerekip gerekmediğini gösterir. |
Yapılandırıldıktan sonra işlem hattını test edebilirsiniz.